より小型に、10億以下のパラメータ、メタの試み

こうしたコスト問題が広く認知されていく中、小型モデルへの需要が高まっている。 NVIDIAとMistralがこのほど共同で発表した「Mistral NeMo」などは、高まる需要を反映するモデルといえるだろう。Mistral NeMoは、120億パラメータを持ち、コンシューマグレードのGPU「RTX4090」1台で運用可能とされるモデルだ。RTX4090自体は、20～30万円ほどで入手できるため、コストを大幅に下げることが可能となる。 AIモデルの小型化は、今後さらに加速する公算だ。 メタは2024年6月末、パラメータ数が数億という「超小型モデル」の研究論文を発表。モバイルデバイスやエッジデバイスでの言語モデル利用を普及させる構えを示したのだ。この研究論文で公開されたのは、「MobileLLM」と名付けられた超小型言語モデル。スマートフォンなどリソースに制約のあるデバイス向けに設計されている。 MobileLLMの特徴は、そのコンパクトさにある。従来の大規模モデルが数十億から数兆のパラメータを持つのに対し、MobileLLMは10億未満のパラメータで構成されているのだ。具体的には、125M（1億2,500万パラメータ）と350M（3億5,000万パラメータ）の2つのバリエーションが開発された。 このサイズは、特にスマートフォンでの利用に最適化されたものとなっている。 たとえば、iPhone 15のDRAM（メモリ）容量は6GB、Google Pixel 8 Proでは12GB。メタの研究者らは、モバイルアプリはDRAMの10%以上を使用すべきではないと指摘している。なぜなら、DRAMはオペレーティングシステムや他のアプリケーションと共有されるからだ。 この主張のもと、研究者らは3億5,000万パラメータのMobileLLMが必要とするメモリを約350MBに抑えることに成功。これは一般的なスマートフォンのDRAM容量の5%以下に収まる計算になる。ユーザーの日常的なスマートフォン使用に支障をきたすことなく、高度なAI機能を提供できる可能性が示された格好となる。