「スケーリング則はもう限界だ」という声に惑わされてはならない。2025年も依然としてスケーリング則は重要であり続ける

■2. テキスト以外の分野（特にロボティクスや生物学）でもスケーリング則が発見され、活用される ここ数週間、AI分野で注目を集めているのが「スケーリング則」の行方だ。スケーリング則が限界を迎えつつあるのではないか、という議論が活発になっている。 スケーリング則は、2020年のOpenAIの論文で最初に体系的に示された概念で、モデルのパラメータ数、訓練データ量、計算資源を増やせば増やすほど、テスト時の損失（誤差）が予測可能なかたちで減少し、モデルの性能が向上するという単純な経験則である。GPT-2からGPT-3、そしてGPT-4への劇的な性能向上は、このスケーリング則がもたらした成果だ。 もっとも、ムーアの法則と同様、スケーリング則は実際には「法則」というより経験的な観察にすぎない。11月から12月にかけて、複数の報告が出ており、大手AIラボが大規模言語モデル（LLM）のさらなる拡大に対して成果を得にくくなり始めていることがうかがえる。GPT-5のリリースが繰り返し遅れているのは、この状況を反映しているとも言われている。 スケーリング則が頭打ちしているという見方への代表的な反論は、「推論時の計算資源（テスト時計算、test-time compute）を大幅に増やすことで、新しいスケーリングの可能性が開ける」という主張だ。つまり、訓練段階で膨大な計算資源を費やすのではなく、OpenAIのo3のような新しい推論モデルを用い、推論時に莫大な計算資源をつぎ込み、「より長く考えさせる」ことで性能を飛躍させるという発想である。 これは重要な観点であり、実際にテスト時計算を拡充するアプローチは有望だと考えられている。 しかし、スケーリング則に関してより大事で、なおかつ現在の議論ではあまり触れられていない点がある。2020年の論文以来、スケーリング則に関する多くの議論は言語に焦点を当ててきたが、言語はAIが扱う唯一の重要なデータモダリティ（データの種類や形式）ではない。 ロボティクスや生物学、あるいはワールドモデル、ウェブエージェントなど、テキスト以外の領域ではスケーリング則がまだ飽和していないどころか、始まったばかりだ。実際、これらの分野でスケーリング則の存在を明確に証明する研究は、まだ公表されていない。 たとえば、生物学領域のEvolutionaryScale、ロボティクスのPhysical Intelligence、ワールドモデルのWorld Labsといったスタートアップは、OpenAIが2020年代前半にLLMで成し遂げたようなスケーリング則の発見と活用を、これら新しいデータモダリティで実現しようとしている。2025年は、その成果が大いに期待できるだろう。 「スケーリング則はもう限界だ」という声に惑わされてはならない。2025年も依然としてスケーリング則は重要であり続ける。しかし、その主戦場は、LLMの事前学習からロボット工学や生物学など、他のモダリティへと移っていくはずだ。