GPT-4レベルのモデルをカスタマイズ可能に、メタのLlama3.1 405Bモデルがもたらす変革

メタのLlama3.1 405Bモデルがもたらす変革

生成AI市場において、これまでOpenAIのGPT-4、AnthropicのClaude、グーグルのGeminiなど、いわゆるクローズドソースモデルが圧倒的な精度を誇っており、オープンソースモデルは精度面で後塵を拝する状況が続いていた。 メタが2024年7月23日に発表したLlama3.1により、この状況が大きく変わろうとしている。Llama3.1は、3つのサイズ（パラメータ数）からなるモデルファミリー。最小かつ最速が80億パラメータのLlama3.1 8Bモデル、中型が700億パラメータのLlama3.1 70B、最大となるのが4,050億パラメータのLlama3.1 405Bモデルだ。トレーニングには、1万6,000台のNVIDIA・H100が使用されたという。 この中で特に注目されるのが、Llama3.1 405Bモデルだ。4,050億パラメータを持つこのモデルは、OpenAIの最新フラッグシップモデルGPT-4o、またAnthropicの最新モデルClaude3.5 Sonnet、グーグルのGemini1.5 Proに並ぶ性能を有するだけでなく、オープンソースという特性から、カスタマイズできる柔軟性を備えている。 Llama3.1 405Bの特徴として、12万8,000トークンのコンテキストウィンドウを持つことが挙げられる。これは約400ページのドキュメントに相当する長文を処理できることを意味する。前モデルであるLlama3 70Bのコンテキストウィンドウ、8,000トークンから大きな飛躍となる。 また、Llama3モデルは、対応言語が英語のみであったが、Llama3.1は、英語に加え、ポルトガル語、スペイン語、イタリア語、ドイツ語、フランス語、ヒンディー語、タイ語に対応する多言語対応モデルに進化した。日本語は対応言語に含まれていないが、確認したところでは、ある程度のやり取りは可能のようだ。 SambaNovaのプレイグラウンドでLlama3.1 405Bを実際に試すことができる。