マイクロソフトのオープンソースモデルであるPhi-3.5の実力とは（出典：Hugging Face）

　マイクロソフトが発表したAIモデルである「Phi-3.5」シリーズが話題を呼んでいる。3つのモデルから構成される同シリーズだが、わずか66億の有効パラメータでGPT-4o miniに匹敵する性能を示し、多くのベンチマークでトップクラスの結果を達成するモデルもある。これらはオープンソースで無料提供されており、オープンソースプラットフォームOllamaを通じて個人のPCでも簡単に利用可能だ。Phi-3.5の特徴を解説とともに、Ollama経由でインストール・利用する方法も紹介する。 【詳細な図や写真】オープンソースモデルとして注目されているのが、マイクロソフトのPhiシリーズだ（出典：Hugging Face）

マイクロソフトのオープンソースモデル「Phi-3.5」とは

　生成AI分野では、かつてGPT-4などのクローズドソースモデルとオープンソースモデルに大きなパフォーマンスの差があった。しかし最近では、メタのLlama3.1などに見られるように、オープンソースモデルの追い上げが顕著となっており、その差はほとんどなくなりつつある。 　そうした中で、Llamaに並ぶ代表的なオープンソースモデルとして認識されており、その開発動向には多くの注目が集まっているのがマイクロソフトの「Phi」シリーズだ。 　Phiシリーズは現在、最新版である「Phi-3.5」ファミリーがリリースされている。 　「Phi-3.5」ファミリーは3つのモデルで構成される。38億2000万パラメータの「Phi-3.5-mini-instruct」、419億パラメータの「Phi-3.5-MoE-instruct」、そして41億5000万パラメータの「Phi-3.5-vision-instruct」だ。これらのモデルはHugging Faceで公開されており、ダウンロードして利用することができる。また、Ollamaでも利用可能だ。3モデルともMITライセンスでの提供となっており、開発者は自由にモデルを利用し、自社サービスに組み込むことができる。

3モデルで特に注目の「Phi-3.5-MoE-instruct」

　そんな「Phi-3.5」ファミリーの中でも特に注目されるのがPhi-3.5-MoE-instructモデルだ。 　このモデルは、419億のパラメータを持つとされるが、Mixture of Experts（MoE）アーキテクチャを採用しているため、実際に動作するのは66億パラメータのみという。MoEは、複数の「専門家」モデルを組み合わせ、タスクに応じて最適なモデルを選択する仕組み。コンピューターリソースを節約しつつ、高パフォーマンスを実現するアーキテクチャとして、いくつかのモデルで採用されている。 　トレーニングデータに関して、Phi-3.5-MoE-instructは4兆9000億トークン（そのうち10％が多言語）を用いて学習された。特筆すべきは、データの質が大きく改善された点だ。厳選された公開文書、高品質な教育データ、コード、合成データ、そして人間の選好を反映した高品質なチャット形式の教師付きデータが使用されたという。 　マイクロソフトはモデルの推論能力を向上させる上で、データの質が重要と考えており、Phi-3.5の開発においても、データセットのフィルタリングに力を入れたとされる。