小規模モデルのLlamaを開発した理由

■小規模モデルのLlamaを開発した理由 しかし今回の目玉はビジョンモデルを手に入れたことだけではない。 Llama 3.2は110億パラメータの中規模モデルと900億パラメータの大規模モデルで、複雑な推論や高度にクリエイティブなタスクに対応しているが、加えて10億および30億パラメータの小規模モデルにも、開発の幅を展開しているのだ。 これまでも、Llamaは極端なパラメータの大規模化でどこまでAIの性能を高められるかを追求する方向にはいかず、限られた中規模パラメータでチューニングを行い、性能を引き出す効率性を重視していた。業務システムでの応用が進んだのも、事前学習していないモデルを利用でき、また事前学習ありでもカスタム学習によって回答をコントロールしやすかったためだ。 その長所はそのままに、さらに軽量化を追求してパフォーマンスのバランスをとったというわけだ。もちろん、Llama 3.2の特徴であるマルチモーダルは、軽量モデルでも利用できる。 デバイス内に言語モデルを動かせる推論エンジンが、スマートフォン、タブレット、パソコンに内蔵されるのが当たり前になっていることで、デバイス内で完結する応答性の良いAIへの要求は高まっている。 10億および30億パラメータの軽量モデルは、クアルコムやMediaTekのSoCが内蔵する推論エンジン向けに調整されている。もちろん、大規模モデルと同じくマルチモーダル対応で画像入力にも対応する。 Llamaライセンサーの立場で言えば、このモデルがオープンソースで提供されることで、オンデバイスあるいはエッジデバイスにおいて低レイテンシが要求されるアプリケーションに生成AIを活用することが可能になる。 Meta Platformsは、Llama 3.2を簡単に実装できるよう「Llama Stack Distributions」も提供する。開発者は異なる環境（単一ノード、オンプレミス、クラウド、オンデバイス）でLlamaモデルを簡単に扱えるようになるため、実装するタスクに応じて柔軟なシステム構成を採用できるようになるはずだ。 また検索拡張生成（RAG）に対応した構成にすることもできる。AWS、Databricks、デル、Fireworks、Infosys、Together AIなどの協力企業が、Llama Stack Distributionsを用いたアプリケーション構築への対応を進めている。 なお従来どおり、どの規模のAIモデルもllama.comとHugging Faceでダウンロード可能になっており、AMD、AWS、Google Cloud、Microsoft Azure、エヌビディアなど、多数のパートナープラットフォームで修正することなく動作させることができる。