メタに挑戦、Databricksもオープンソースモデル開発に参戦 最新モデルが示す意外な日本語能力
Databricksのオープンソースモデル「DBRX」、既存モデルを超える性能
OpenAI、Anthropic、Cohere、グーグルが強い存在感を示す生成AI市場だが、メタを筆頭にオープンソースモデルの展開により、AIコミュニティでの支持を集める企業も増えつつある。 データ管理プラットフォームを提供するDatabricksも最近オープンソースモデルをリリースし、この流れに乗る算段だ。 2023年4月、DatabricksはオープンソースAIモデル「DBRX」を発表した。同モデルは1,320億のパラメータを有する比較的大きなモデルで、言語理解（MMLU）、プログラミング能力（Human Eval）、数学的スキル（GSM 8K）などの主要ベンチマークで、Llama 2-70BやMixtralといった主要なオープンソースモデルを上回る性能を示したとされる。 DBRXの特徴は、「mixture-of-experts」アーキテクチャにある。DBRXモデルは16のエキスパートサブモデルを含んでおり、各トークンに対して最も関連性の高い4つを動的に選択することで、高いパフォーマンスを実現している。このアーキテクチャにより、実質的にアクティブなのは360億パラメータのみで、高速かつ低コストな動作が可能になるという。 Databricksは昨年、AIスタートアップMosaicを買収しており、同チームが以前研究していたMega-MoEのアプローチをDBRX開発に活用した。DBRXの開発期間は約2カ月、コストは1,000万ドル程度だったと報じられている。 DatabricksがDBRXをオープンソース化した背景には、独自のアーキテクチャを普及させつつ、AI市場における存在感を強めたい意図が見え隠れする。また、顧客の非公開データを用いた独自AIモデルの構築とホスティングを行う同社の主力事業を強化する狙いも見受けられる。 DBRXは英語でのベンチマークでは高い数値を示しているが、実際の商用利用を考えた場合、多言語対応が欠かせない。次項では、DBRXを含むオープンソースモデルの日本語処理能力を検証してみたい。
