AI各社が小型言語モデル（SLM）を発表、AI業界に生まれる新たな潮流とは？
ChatGPTなど多くの対話型AIに採用されている大型言語モデル（LLM）。大量のテキストデータを学習して自然言語を生成するLLMは対話型AIとセットで語られることが多い。しかし最近はAI各社からよりコンパクトな小型言語モデル（SLM）が登場し、注目を浴びている。
AI各社が小型言語モデルをリリース
OpenAI、Nvidia、Hugging FaceなどAIの主要プレーヤーたちが、続々とSLMモデルを発表している。各社がリリースしたSLMモデルにはどのようなものがあるのか。1つずつ見ていこう。
OpenAI：GPT-4oの小型モデル「GPT-4o Mini」
OpenAIは同社の最新モデル「GPT-4o」の小型版「GPT-4o mini」を発表した。 「市場で最も費用対効果の高い小型モデル」と謳うGPT-4o miniは、入力100万トークンあたり15セント、出力は100万トークンあたり60セントと高いコストパフォーマンスを実現している（GPT-4oは100万トークンあたり入力5ドル、出力15ドルである）。 企業の経済的負担を大幅に削減し、特に資金力のないスタートアップや中小企業の導入障壁を下げる狙いがある。 GPT-4o miniは「GPT-3.5 Turbo」の後継モデルであり、スピードはGPT-3.5 Turboと同等の約67トークン／秒の送信を目標としている。 将来的には音声や動画も含むマルチモーダル出入力を目指しているが、現在はテキストと画像入力にとどまっている。とはいえ、テキスト入力のみであったGPT-3.5 Turboと比較すると、進化していることに変わりない。
Hugging Face：モバイル上で動作するエッジAI
機械学習用のツールやプログラムを公開するHugging Faceは、小型言語モデル「SmolLM」を開発した。 モバイルデバイスで直接実行するように設計されたSmolLMには、1億3,500万パラメータ（SmolLM-135M）、3億6,000万パラメータ（SmolLM-360M）、17億パラメータ（SmolLM-1.7B）の3つのサイズがあり、いずれも推論や知識をテストするベンチマークで優れた結果を出している。 3つの中の最小モデルであるSmolLM-135Mは、より少ないトレーニングにもかかわらずMetaの「MobileLM-125M」を上回り、中サイズのSmolLM-360Mは5億パラメータ以下のすべてのモデルの中で、最も良い結果を残している。SmolLM-1.7Bは複数のベンチマークでMicrosoftのPhi-1.5、MetaのMobileLM-1.5Bなどを上回っている。 Hugging FaceのSmolLMのリードMLエンジニアであるルーブナ・ベン・アラル氏は、「壁に穴を開けるために鋼の球を必要しないのと同じで、すべてのタスクに大きな基礎モデルが必要ということはないのです」と述べている。 SmolLMはエッジコンピューティングの可能性を大幅に引き上げると同時に、プライバシーやレイテンシーの問題解決にも期待が集まる。AI機能をエッジデバイスにもたらすことで、最小のレイテンシーと最大のプライバシーで動作するアプリケーションの構築が可能となるからだ。これにより、モバイルコンピューティングの可能性を大幅に前進させることにつながるだろう。
