MITスピンオフ企業が開発した「リクイッド・ファウンデーション・モデル」、トランスフォーマーに依存しない新アーキテクチャで既存モデルを凌駕
LFMとトランスフォーマーモデルとの違い
従来のトランスフォーマーモデルを超えるLFMは、どのような特徴を持つのか。 Liquid AIによると、LFMは動的システム理論、信号処理、数値線形代数に深く根ざした計算ユニットを組み合わせて構築されているという。また、LFMは汎用目的のAIモデルとして設計されており、ビデオ、音声、テキスト、時系列データ、信号など、あらゆる種類のデータをモデル化することが可能。この柔軟性は、従来のトランスフォーマーベースのモデルにはない特徴となっている。 冒頭でも触れたが、LFMの最大の特徴はメモリ効率の高さにある。従来のトランスフォーマーモデルと比較して、必要なメモリ容量が大幅に削減されているのだ。これは特に長文を処理する際に顕著な違いとなって現れる。従来型のAIモデルでは、入力するテキストが長くなればなるほど、それに比例してメモリ使用量が増加していく。 一方、LFMは入力データを効率的に圧縮する技術を採用しており、同じハードウェアでもより長い文章を処理できるようになる。たとえば、30億パラメータサイズのモデルで比較すると、メタのLlama 3.2が48GB以上のメモリを必要とするのに対し、LFM-3Bはわずか16GBのメモリで動作する。この効率性は、一般的なラップトップPCでも高度なAI処理が可能になることを意味する。
プレビューリリースでは、LFMの最大コンテキストウィンドウと有効コンテキストウィンドウはともに3万2,000トークンと、トランスフォーマーモデルとは一線を画すパフォーマンスを示す。コンテキストウィンドウとは、AIモデルが一度に処理できる情報量を指す。ChatGPTでいえば、プロンプト欄に入力するテキストなどがそれに該当する。トランスフォーマーモデルでは、一般的に、最大コンテキストウィンドウに対し、有効コンテキストウィンドウは大幅に下がる傾向にある。たとえば、グーグルのGemma2 2Bモデルは8,000トークンが最大コンテキストウィンドウとなっているが、仮に8,000トークン分の情報量を処理させた場合、そのパフォーマンスは大幅に下がることが確認されている。実際に利用できる有効コンテキストウィンドウは4,000トークンとされる。このほか、メタのLlama3.2 2Bモデルも最大コンテキストウィンドウは12万8,000トークンとなっているが、有効コンテキストウィンドウは4,000トークンと、かなり低い値だ。 この高効率なコンテキストウィンドウにより、エッジデバイスでの長文脈タスクが可能になると期待される。開発者にとっては、文書分析や要約、コンテキストを認識するチャットボットとの対話、検索拡張生成（RAG）のパフォーマンス向上など、新しいアプリケーションの可能性が広がる。 Liquid AIは現在、モデルサイズ、トレーニング／テスト時の計算能力、コンテキストウィンドウ面でLFMをさらにスケールアップすることを目指している。言語LFMに加えて、今後数カ月間で、さまざまなデータモダリティ、ドメイン、アプリケーション向けのモデルをリリースする計画という。
