《日経Robotics》機械学習の新べき乗則、大きなモデルを使うと汎化しサンプル効率も改善する
世の中の現象の多くがべき乗則で説明できる。例えばジップの法則は出現頻度が$x$番目に大きい単語の頻度は、1位の単語と比較して1/xの頻度であるというものである。パレートの法則(全体の数字の8割が2割の構成要素で実現されている)、友人の数や地震の大きさの分布などについてもそうだ。