AI各社が小型言語モデル（SLM）を発表、AI業界に生まれる新たな潮流とは？
Nvidia：デスクトップコンピュータ向けSLM
NvidiaはMistral AIと共同開発したSLM「Mistral-Nemo」をリリースした。Mistral-Nemoは12万8,000コンテキストウィンドウを備えた120億パラメータモデルであり、デスクトップコンピュータで使用できる。大規模なクラウドモデルと小型のモバイルAIの中間的な位置付けだ。 Mistral-Nemoの存在は、これまで大手IT企業や資金豊富な研究機関が独占していたハイクオリティAIへのアクセスを民主化し、さまざまな業界でAI搭載アプリが構築される可能性を提示している。
SLMとLLMの違い
あらためて、SLMとLLMの違いは何なのか。SLMはLLMに比べてパラメータが少なく、設計はシンプルでコンパクト。トレーニング時間もLLMよりもはるかに短い。それでいながら性能はLLMに近づいてきており、分野によっては大型モデルを上回ることもある。 AIの専門家で『Rebooting AI』の著書を持つゲイリー・マーカス氏は、ここ1年のLLMについてこう述べている。「GPT-4はGPT-3.5から飛躍的な進化を遂げた。しかしこの1年、（多くのLLMモデルに）そういった進歩は見られない」。 数十億から数兆ものパラメータが必要といわれるLLMの学習には、膨大なリソースとエネルギーが必要だ。コスト的にも高くつき、OpenAIのサム・アルトマン氏によると「GPT-4のトレーニングには少なくとも1億米ドル以上かかっている」という。 また、モデルの構築からデプロイまでには長い時間がかかる。ケンブリッジ大学の論文によると、1つの機械学習モデルをデプロイするには90日以上が必要であるという。
効率性・アクセシビリティ・専門性
最近はユーザー側の意識も変わってきている。2023年の「ChatGPT狂騒」ともいえる状況は落ち着き、個人も企業も複数のサービスを見比べながら、「自分にぴったりのAI」を探し始めている。 つまり人々は、より効率性が高く、小型デバイスでも使える高いアクセシビリティを持ち、かつ特定の業界やタスクに特化した専門的なAIを求めるようになってきている。網羅的・汎用的なモデルから、よりコンパクトで個別の分野にスペシャライズしたモデルへの需要が高まっているのだ。 そういった意味で、軽さやコスパ、幅広いデバイスへのアクセシビリティを実現するSLMは理想的である。さらに特定の分野に特化したモデルであれば、少ないパラメータでも十分機能を果たすだろう。 Hugging Faceのベン・アラル氏は「携帯電話やパソコンで実行できるため、誰もがAIにアクセスできるようになる」と、述べている。 さらに同社の研究チームリーダーであるレアンドロ・ヴォン・ウェラ氏は、SLMは「開発者、エンドユーザー双方に可能性を開く」と言う。パーソナライズされたオートコンプリート機能や複雑なリクエストの解析など、高性能なGPUやクラウドを必要とせずにカスタムAIアプリケーションを可能にするため、よりアクセスしやすく、プライバシーについての懸念も払拭されるということだ。 なおGPT-4o miniは、2024年9月にリリース予定のiOS18のモバイルデバイスとデスクトップ用Macに搭載されるApple Intelligenceで利用ができるという。今後は私たちも日常的にSLMに触れ、その性能を体感していくことになるだろう。
文：矢羽野晶子 /編集：岡徳之（Livit）
