１１月１１日、米オープンＡＩなどの生成人工知能（ＡＩ）を開発する企業は、アルゴリズムが 「考える」ためにより人間に近い方法を使った訓練技術を開発している。２０２３年２月撮影（２０２４年　ロイター/Dado Ruvic）

Krystal Hu　Anna Tong [１１日 ロイター] - 米オープンＡＩなどの生成人工知能（ＡＩ）を開発する企業は、アルゴリズムが 「考える」ためにより人間に近い方法を使った訓練技術を開発している。これにより、従来を上回る大規模言語モデルを追求する際の予期せぬ遅れや、課題を克服することを目指している。 １０人を超えるＡＩ科学者や研究者、投資家はロイターに対し、オープンＡＩが最近リリースした大規模言語モデル「ｏ１」の背景にある技術はＡＩツールの競争を再定義する可能性があると指摘した。エネルギーから半導体の種類に至るまで、ＡＩ企業が飽くなき要求をするリソースの種類に影響を及ぼすとの見方を示した。 ２年前に「チャットＧＰＴ」が流行後、ＡＩブームで大きな利益を得ているＩＴ企業は、データやコンピューターの性能を引き上げて現在のモデルを「スケールアップ」すればＡＩモデルは改善し続けると公言してきた。 しかし今となっては、最も著名なＡＩ科学者らの一部がこのような「大は小を兼ねる」という哲学の限界に言及している。 オープンＡＩ共同創業者のイリヤ・サツキバー氏はロイターに対して最近、言語パターンと構造を理解するためにラベル付けされていない膨大なデータを使ってＡＩモデルを訓練する段階の「事前訓練」の規模拡大による結果が頭打ちになっていると説明した。 サツキバー氏は「２０１０年代はスケーリングの時代だったが、今や驚きと発見の時代に再び戻った。誰もが次のものを探している」とし、「正しいことをスケーリングすることは、かつてないほど重要になっている」と語った。 別の問題は大規模言語モデルを手がけることで膨大な量のデータを消費し、ＡＩモデルが世界中のアクセスしやすいデータを使い果たしていることだ。電力不足もまた、膨大な量のデータを必要とする訓練の妨げとなっている。 このような課題を克服するため、研究者らはいわゆる「推論」段階やモデルを使う際に既存のＡＩモデルを強化する技術の「テストタイム・コンピュート」を模索している。例えば即座に単一の答えを選ぶのではなく、モデルがリアルタイムで複数の可能性を生成、評価することで最終的に最善の方法を選択する方法だ。 この方法を採用すればモデルは数学やコードの問題といった難しい課題や、人間のような推論や意思決定を必要とする複雑な操作により多くの処理能力を割くことができるようになる。 米サンフランシスコで１０月に開催された「ＴＥＤ　ＡＩ会議」で、ｏ１の開発に携わったオープンＡＩの研究者、ノーム・ブラウン氏は「ポーカーの手をボットに２０秒だけ考えさせるだけで、モデルを１０万倍にスケールアップし、１０万倍の時間を費やして訓練したのと同じだけのパフォーマンスが得られることが分かった」と訴えた。 ロイターが最初に７月報じた通り、オープンＡＩはｏ１にこの技術を採用している。