コスト問題を抱える生成AIモデル

クローズドソースの大規模言語モデルとしては、OpenAIのGPT-3.5やGPT-4が有名だ。 現在これに対抗するオープンソースの大規模言語モデルの代表格として認知されているのがメタのLlama2となる。 Mistral AIはこれら競合企業に対しどのようなアプローチで市場における存在感を高めようとしているのか。同社の最新AIモデルに見られるのは、モデルの効率化と他のモデルにはない多言語能力による差別化だ。 大規模言語モデルは、絶対的ではないものの、パラメータ数が増えるほどパフォーマンスが高まるという性質を持っている。このため、これまでの大規模言語モデル開発では、AIモデルの精度を高めるための主要な手段として、パラメータ数を増やすことに重きが置かれてきた。 その最たる例がOpenAIのGPT-4といえるだろう。OpenAIが提供しているチャットサービスChatGPTのデフォルトモデルは、パラメータ数1,750億のGPT－3.5。公式発表はないものの、AI開発コミュニティでは、GPT-4のパラメータ数は1兆5,000億～1兆7,000億とGPT－3.5の10倍ほどであるとの憶測が流れているのだ。 実際GPT-4は他社・他モデルに比べ高いパフォーマンスを持つものの、非常に高コストであることから、同モデルを用いたAIアプリケーションの広域展開は難しいものとなっている。一般的にパラメータ数が増える（モデルサイズが大きくなる）と、処理に必要なコンピューティングリソースコストが増大する。GPT－4の運用では膨大なコンピューティングリソースが割かれているとみられ、それがエンドユーザーに転嫁されている。 メタが開発したオープンソースのLlama2は無料で利用できるためモデル利用のコストはかからないが、その最上位モデルであるLlama2－70Bは700億（70B）のパラメータを持っており、企業が自社展開するには相応のハードウェアやクラウドスペックが必要となる。 NVIDIAによると、Llama2－70Bのチャットモデルでは、320GBのGPUメモリが必要になるという。これはNVIDIAのGPU「A100 40GB」8台分に相当するメモリ数。少し前のGPUモデルであるA100は現在市場で1万～1万5,000ドルほどで取引されている。したがってGPUだけでも、Llama2－70Bのチャットモデルを稼働するには、8万～12万ドルのコストがかかることになる。 通常32ビットの浮動小数点数を使用するパラメータを4ビットなどより少ないビット数で表現するアプローチも存在する。これによりAIのモデルサイズを縮小し、メモリの使用量を減らすことも可能だ。4ビットに縮小する場合、モデルサイズは8分の1となり、必要となるGPUメモリを40GBに下げることができると報告されている。それでもA100 40GBを1台用意する必要があり、最低でも1万～1万5000ドルのコストが伴う。