楽天グループは、日本語に最適化した新たなAI(人工知能)モデルを12月18日発表した。日本語大規模言語モデル(LLM)「Rakuten AI 2.0」と、同社で初めてとなる小規模言語モデル(SLM)「Rakuten AI 2.0 mini」の2つ。来春をめどにオープンソースコミュニティに向けて公開する。AIアプリケーション開発企業や技術者など専門家を支援することが目的。 Rakuten AI 2.0は、3月に公開したLLMの基盤モデル「Rakuten AI 7B」を基に開発。8つの70億パラメータで構築した「エキスパート」と呼ぶサブモデルで構成する。Mixture of Experts(MoE)アーキテクチャを採用。複数のサブモデルに分割され、推論・学習中は最も適したエキスパートのサブセットだけ有効化して処理に使うため、高度な推論が可能。

日本語と英語の能力測定を行うモデル評価

MoEアーキテクチャは入力トークンに対して関連性が最も高いエキスパートを動的に選び、計算効率と性能を最適化する。Rakuten AI 2.0は、8倍規模の高密度モデルに近い性能を発揮する一方、消費計算量は4分の1程度に抑えられる。日本語と英語の能力を測るモデル評価の結果、平均日本語性能はRakuten AI 7Bから向上。他のモデルと比べても高い。

Rakuten AI 2.0 miniは15億パラメータの基盤モデル。テキスト生成で高性能・高精度な処理を実現しているという。コンパクトなモデルのためモバイル端末に導入が可能。リモートサーバーにデータを送信することなく運用できる。SLMはLLMと比較して、プライバシー保護、低遅延、コスト効率が必要な特定のアプリケーションに適した形で活用が可能。