ELYZA、2つの新たな日本語特化の国産LLMを発表--短期で大幅な性能進化
ELYZA（イライザ）は6月26日、日本語に特化した国産の大規模言語モデル（LLM）「ELYZA LLM for JP」の最新モデルとなる700億パラメーターの「Llama-3-ELYZA-JP-70B」と80億パラメーターの「Llama-3-ELYZA-JP-8B」を発表した。 いずれのモデルもMetaの「Llama3」をベースに開発しており、日本語による追加事前学習および指示学習を行っている。70Bモデルは、「GPT-4」や「Claude 3 Sonnet」などの商用グローバルモデルを上回る性能を実現したという。同社は今後、チャット形式でのデモを提供する。高性能な国内製モデルと位置付け企業向けの提供を予定している。 また8Bモデルは、「GPT-3.5 Turbo」を上回る性能を実現し、オープンモデルの中では最高水準の性能を達成しているという。同モデルは一般に公開する。「LLAMA 3 COMMUNITY LICENCE」に準拠しており、「Acceptable Use Policy」に従えば、研究利用のほかに商業目的でも利用できる。 同日の発表会で代表取締役の曽根岡侑也氏は、「これまで国内企業ではできないと思っていたGPT-4を超える性能を実現した。公開されているグローバルモデルと比較しても十分に活用できるという水準に到達している。また、オープンモデルとして商用利用できる形で公開する。最新で実用レベルのLLMをPCやエッジデバイスでも利用してもらい、国産モデルがどこまで進化していのかを体験してもらえる。自分たちにフィット感がある形で利用してもらいたい」と述べた。 ELYZAは、2018年9月に東京大学の松尾豊教授による松尾研究室のメンバーが設立したAIスタートアップ企業。2019年夏からLLMの研究開発と社会実装に特化した事業を進めている。2024年4月には、KDDIが43.4％、KDDI Digital Divergenceが10.0％の株式を取得して、KDDIの連結子会社となり、KDDIグループが持つ計算基盤やネットワーク資源などのアセットを活用した研究開発を進めている。オープンモデル活用型の日本語汎用LLMの開発や、コンタクトセンター特化型LLMなどの領域特化型LLMの開発、生成AIを活用したDX支援やAI SaaSの提供などに取り組んでいる。2024年3月12日には「Llama 2」ベースの700億パラメーターの「ELYZA-japanese-Llama-2-70b」を発表していた。 発表会で曽根岡氏は、「ELYZAはグローバルなオープンモデルをベースに独自のデータセットを活用し、日本語を追加で事前学習させて、日本語に特化したポストトレーニングを実施することにより、日本語に強いモデルを開発する。NECやNTTがフルスクラッチでLLMを開発しているのとは異なる」とした。今回の開発への投資規模は数千万円としている。
