オンデバイスで稼働するモデルをめぐる開発競争

4Mモデルは、オンデバイスで稼働する高性能な小型モデル開発というアップルのAI戦略を如実に示すものといえるだろう。この戦略は、iPhoneやiPadなどのモバイルデバイスに直接AIモデルを搭載し、クラウドに頼らずにAI機能を提供することを目指すものだ。 4Mモデルは、最大28億パラメータ。比較的小さなモデルであり、オフライン環境やオンデバイスでの利用が想定されている。この領域は、マイクロソフトも注力しており、開発競争は激化の様相を呈している。 マイクロソフトが2024年4月にリリースした「Phi-3」は、小型言語モデルの可能性を示すモデルとして注目を集める存在。大規模な競合モデルに匹敵する高度な推論能力を、大幅に低いコストで実現したことでAIコミュニティで話題になっているのだ。 Phi-3の最小モデルである38億パラメータモデルは、法学、数学、哲学、薬学などの幅広い分野の知識を問うベンチマークテスト「MMLU」で68.8%を獲得。これはOpenAIのGPT-3.5（71.3％）に迫るだけでなく、MistralのMixtral8×7B（68.4％）やメタのLlama3 8B（66％）を上回る数値となる。 さらに、Phi-3はA16 Bionicチップ搭載のiPhone14上で、ネイティブかつオフラインに動作することが確認された点も興味深い。メモリ使用量は約1.8GBに抑えられ、1秒あたり12トークン以上を生成できるパフォーマンスを示したとされる。これは、オンラインで利用するGPT-4 Turbo（1秒あたり18トークン）に迫る速度となる。 オンデバイス／オフラインで利用できる小型モデルは、プライバシー保護やネットワーク接続に依存しない即時性の向上、さらにはAIの普及拡大につながる可能性を秘めており、今後のAI技術の方向性を左右する重要な領域といえる。これまでこの分野を牽引してきたのはマイクロソフトやメタだが、アップルが加わったことで、競争のさらなる激化が予想される。