巨大化がAIブームを生み出し、AIブームが巨大化を加速する

なぜAI開発企業が大規模化を競っているのかを「おさらい」しておきたい。 今のAIブームの大きなターニングポイントは、OpenAIが2022年11月30日にサービスを開始した対話型のAIサービス「ChatGPT」が注目を集めたことである。ChatGPTは「このAIには知性のようなものがあるのではないか？」と感じるほどの性能を発揮した。その最大の要因は学習データの大規模化である。 AIの心臓部であるLLM（大規模言語モデル）には「スケーリング則」と呼ばれる性質がある。これは「規模が大きくなるほど性能が高まる」という性質である。このスケーリング則が知れ渡り、大手テクノロジー企業はAIの大規模化の競争を繰り広げている。 現状のAIの規模は、具体的にはどれほどなのか。2020年にOpenAIが発表した「GPT-3」の内部では、45テラバイトのテキストデータを学習に用いた1750億パラメーター（変数）の数学的モデルを用いていた。最新のGPT-4.0oの数字は非公表である。GPT-3に比べ10倍～100倍の規模に達していると考えられている。 高性能ぶりを示すため、複数のタスク（課題）の成績が公表されている。公開当初のChatGPTで使われたAI技術「GPT-3.5」は、米国の医師国家試験（USMLE）、MBA（経営学修士）の最終試験、ロースクール（法科大学院）の試験などで合格点を取る成績を収めた。その後に登場したGPT-4ではさらに成績が上がっている。 AIを作るプロセスでは、まず大量のデータを集め、大規模なコンピューター群を調達する。変数の数が数千億に達する巨大な数学的モデルをコンピューターが扱える形で構築し、コンピューター群をフル回転させて大量のデータをモデルに「学習」させる。その後、人間にとって好ましい応答をするように「調整（アライメント）」し（例えば差別発言や、「爆弾の作り方」のような発言をしないように対策する）、特定のタスクの成績が上がるようにチューニングを施す（タスクには、前述した医師国家試験や経営学修士の試験、法科大学院の試験なども含まれると考えられる）。 ここで性能を決める大きな要素が、学習データの規模とコンピューターの規模だ。