生成AIの消費電力、全人類のAIアプリケーション利用に必要なのは原発2基
次世代生成AIのトレーニングで浮上する新たな問題
エドゥノフ氏は、生成AIモデルの「トレーニング」においては、消費電力とは別に、新たな問題が浮上していると指摘する。 それは次世代の生成AIモデルをトレーニングするために必要なデータが足りないという問題だ。 現在、市場で最も優れた生成AIモデルといわれているのがOpenAIのGPT－4だが、AIコミュニティの間では、同モデルのトレーニングにはインターネット上で公開されているすべてのデータが用いられたとう説が有力視されている。 仮にインターネットで公開されているデータをトークン化した場合、トークン数は約100兆トークンとなり、これをさらにクリーンアップして重複を除去した場合、10兆から20兆トークンほどに収まると推計される。 もしGPT-4が20兆トークンでトレーニングされたとすると、今後登場する次世代のハイパフォーマンスモデルのトレーニングには、その10倍となる200兆トークンが必要になる見込みだ。 しかしトレーニングに利用できる高品質データがもはやインターネット上の公開データには存在しておらず、十分なトークンを確保できないことが次世代モデル開発の制約になっているという。
OpenAIのGPTモデルがトレーニング時に消費した電力
OpenAIの開発者フォーラムでは、GPT－3が約3,000億トークンのデータによってトレーニングされたのではないかとの憶測が流れており、非公式の定説となっている。 MIT Lincoln Laboratoryが2023年11月22日に発表したレポートによると、GPT－3のトレーニングでは約1,300メガワット時の電力が消費されたとされる。これは、米国の平均的な家庭1,450世帯が1カ月間に消費する電力に相当するという。 エドゥノフ氏のように原発換算すると、一般的な商用原子炉の出力を1ギガワット時とした場合、1,300メガワットは1.3ギガワットとなるため、GPT－3のトレーニングでは1ギガワットの出力を持つ原発が1.3時間稼働した量になると推計できる。 さらに、GPT-4のトレーニングデータ量を20兆トークンと仮定すると、GPT－3のトレーニングトークン数3,000億の66倍となり、これを単純に電力換算すると約86ギガワット時となる。これは、1ギガワットの出力を持つ原発が86時間稼働するのと同等となり、また米国の平均的な家庭9万5,700世帯1カ月分の電力消費量となる。 Towards Data Science（TDS）でもGPT－4のトレーニング電力消費に関連して、これと似た推計がなされている。TDSの推計値は52～62ギガワット時だ。 もしGPT-4の次世代モデルが10倍の規模になるとすると、トレーニング時の電力消費もそれに応じて増加することになる。このことはAI開発者の問題意識となっており、最近ではより少ないデータでハイパフォーマンスのモデルを開発しようという流れができつつある。 たとえば、マイクロソフトが2023年11月末に発表した生成AIモデル「Orca 2」はその流れを踏襲するもの。2024年は、クローズドソース、オープンソースともに、AIモデルの肥大化ではなく効率化が重視される年になりそうだ。
文：細谷元（Livit）
