ChatGPTも爆速になるGroqのLPU、その特徴、GPUとの違い

Groqが最近リリースしたGroqCloudのプレイグラウンド機能

ロス氏は、同社のLPUについて次のように語る。「われわれのLPUは、コードや自然言語のような連続したデータを扱うように設計されているため、GPUやCPUが苦手とする2つの領域、すなわち計算密度とメモリ帯域幅の問題を回避できる」。 計算密度とは、一定の面積を持つチップがどれだけの計算を行えるかを表す指標。計算密度が高いほど、より多くの計算を高速に処理できる。一方メモリ帯域幅は、チップとメモリの間でデータをやり取りする速度を表す。メモリ帯域幅が広いほど、大量のデータを高速に読み書きすることが可能だ。 一般的にGPUとCPUは、この2つの領域が苦手といわれている。LPUは、これらの課題を回避するように設計されており、GPUやCPUに比べ、コードや自然言語のような連続したデータをより効率的に処理できるというのだ。 Mezha（2024年2月22日）の説明では、LPUはGPUとは異なり、LLMの推論を高速化することに特化したAIチップで、そのチップを搭載したGroqのチャットボットは、情報ソースを引用しつつ、ユーザーへの応答を一瞬で生成できる。実際のデモでは、CNNの司会者がチャットボットと会話し、その応答速度の速さに感銘を受けたことが紹介されている。 同社によれば、LPUを利用することでChatGPTの実行速度を大幅に高められる可能性がある。ロス氏は、「仮にChatGPTがGroqのチップを利用していたら、NVIDIAのGPUを利用した場合に比べて13倍以上の速度で動作していたことになる」と豪語する。 ロス氏はフォーブスの取材で、Groqのチップの設計について「シンプルに見えるが、1秒あたり1京回（1,000兆回）の演算を実行できる。何十回、何百回と複製される小さなプログラム可能なコアではなく、数百の機能ユニットを持つ巨大な単一プロセッサを採用」したことがこの高速化につながったと説明している。 次セクションでも触れるが、Groqが最近リリースした新しいプレイグラウンド機能で、同社のAIチップ上で稼働するオープンソース大規模言語モデルを利用することができる。実際、Mistral社のMixtralモデルを使って「What is Groq？」とテストプロンプトを打ち込んでみたが、推論プロセスにかかった時間はわずか0.411秒、回答生成までの合計時間は1秒ほどだった。 ChatGPT（GPT-4）にも同じプロンプトを打ち込み、回答生成完了までの時間を計測したが約20秒かかった。ロス氏が言うように、GroqのAIチップであればChatGPTが10倍以上の速度で動作するというのも納得させられるパフォーマンスだ。