しかし、生成AIの話題性とは裏腹に、日常的に利用している人はまだ少数にとどまっている。企業からの関心は高いが、製品として展開している企業は少なく、多くは試験導入段階だ。こうした状況下で、「生成AIへの巨額投資は本当に価値があるのか」という疑問が浮上している。特にプロダクトマーケットフィットが確立されていない現状では、投資への慎重論も高まっている。

「生成AIは次のプラットフォームシフトになる」と広く信じられているが、その将来は不確かな要素が多い。そこに「スケーリング則の限界説」が突如として浮上した。 1年前の12月、生成AI市場はOpenAIでサム・アルトマン氏の解任騒動が勃発して大騒ぎになったが、今年も「スケーリング限界説」で大揺れの年末となった。 ■生成AIモデルの性能向上ペースが鈍化 生成AIのスケーリング則は、「モデルのパラメータ数、学習データ量、計算量を増やすほど、AIの性能が向上する」という経験則である。2020年のOpenAIの論文で示され、GPT-2からGPT-3、そしてGPT-4への驚異的なパフォーマンス向上から、LLMなどの性能向上を説明する概念として広く受け入れられてきた。ところが、現在開発中のAIモデルの性能が予測を下回る現象が報じられ始め、スケーリング則が限界に達しつつあるという議論が活発化している。 性能向上の鈍化には複数の要因が指摘されている。第一に、収穫逓減の法則である。無限にリソースを投入しても、無限の性能向上にはつながらない。ある点を過ぎると、性能向上率は徐々に鈍化していく。つまり、以前ほど大規模化による効果が得られなくなってきている。第二に、データの制約である。トレーニングに利用可能なデータはすでに学習し尽くされている可能性があり、しかも高い性能のためには、より高品質で多様なデータが必要となるが、それらを集めることは困難になっている。第三に、持続可能性の限界である。モデルが大規模化するほど、膨大な計算リソースが必要になるが、GPUも電力も無限に投入し続けられるものではない。そもそもスケーリング則は、半導体集積回路の集積密度が一定期間ごとに倍になるという「ムーアの法則」と同様、実際の法則ではなく、単なる経験的観察に過ぎない。なぜそのような成長が起こるのか、理論的に裏付けられてはいないため、予測の根拠としては不確実性が高い。 ■新たなアプローチと推論の強化 そこで、リソースの増加に頼るだけではなく、少ないデータや計算リソースで高い性能を発揮できる学習アルゴリズムの開発や、生成データの学習利用、スケーリング則の背後にある理論を解明してより深い理解に基づいたモデル開発など、様々な試みが始まっている。中でも重要なアプローチとなっているのが推論の強化である。推論時（テスト時）の計算リソースを増やすことで、学習済みのモデルを効率的に活用し、性能を引き出す。推論により長い時間をかけるほど、AIの性能が向上するという新たなスケーリング則も提唱されている。