GPT-4超えの精度でスマートフォンに導入できる20億パラメータを持つオンデバイスAIモデル「Octopus v2」をスタンフォード大学が開発

近年、言語モデルは自動化されたワークフローに関連するタスク、特に関数呼び出しの能力において、AIエージェントで効果を発揮しています。クラウド環境の大規模言語モデルは高い性能を示しますが、プライバシーとコストの懸念があります。一方、エッジデバイス上の言語モデルは、レイテンシと精度に課題を抱えています。 研究チームは、20億パラメータを持つエッジデバイス上で機能するオンデバイスAIモデル「Octopus v2」を開発しました。Octopus v2は、モバイルデバイス上でもAIエージェントを機能させることを目的に開発され、実際にGPT-4を上回る精度とレイテンシを実現しました。 研究チームは、Google DeepMindのGemma 2Bという20億パラメータモデルをベースにして、Android API呼び出しに焦点を当てた特定のデータセットで微調整を行いました。トレーニングでは、デバイス上での実行のパフォーマンスを最適化するために、完全なモデルトレーニングとLoRA技術が用いられました。 ベンチマークテストでは、Octopus v2は関数呼び出しタスクで99.524%の精度を達成し、GPT-4を上回りました。また、このモデルは応答時間も大幅に短縮し、レイテンシは1回の呼び出しあたり0.38秒に抑えられました。これはLlama-7BのRAGベースの手法と比較して35倍の改善です。さらに、処理に必要なコンテキストの長さが95%短縮され、デバイス上での操作の処理効率が実証されました。