Ollama経由でどうDLする？

　オープンソースモデルの強みの1つは、モデルそのものをローカル環境にダウンロードし、プライベートに利用できることだ。 　ここからは、Ollamaプラットフォームを使い、Phi-3.5-mini-instructをパソコンにダウンロードして利用する方法を解説したい。ちなみに、ダウンロードした筆者のマシンはMac Mini M1である。 　まずOllamaとは、ローカル環境でオープンソースモデルを利用できる仕組みを提供するプラットフォームである。Hugging Faceでもオープンソースモデルをダウンロードして、ローカル環境で利用することができるが、ほとんどのモデルはFlash AttentionなどLinuxに最適化されたパッケージのインストールが必要となり、WindowsやMacでは利用できない場合が多い。一方、Ollamaは、Macユーザー向けに設計されたプラットフォームで、現在では、WindowsとLinuxでも利用できるようになっている。 　まず、必要なのは、Ollamaのダウンロードからだ。以下のリンクにアクセスし、「Download」ボタンをクリックする。 https://ollama.com/ 　ダウンロードが完了したら、下記のような画面が続くので、それぞれの手順に従いインストールを実行する。 　アプリのアイコンをクリックし、Ollamaマークが上部メニュー画面に表示されれば、Ollmaのインストールは完了となる。 　Ollmaのインストールと実行を確認したら、もう一度OllamaWebページを開き、上部メニューの「Models」をクリック。モデルページが表示されたら、「Phi3.5」と入力し、Phi3.5モデルを検索する。「Phi‐3.5」など、ハイフンを含めると検索結果が表示されないので、注意が必要だ。 　Phi3.5モデルが検索結果に表示されれば、それをクリックする。するとPhi3.5モデルのページが表示される。 　次に、左側のドロップダウンでダウンロードするPhi3.5モデルを選択する。 　ここでは、Phi3.5の中でも最も小さい「Phi3.5 mini」のさまざまなクオンタイズモデルを選択することが可能だ。クオンタイズとは、モデルのビット数を縮小し、モデルのサイズを小さくする手法のこと。「fp16」モデルが16ビットで最大となり、モデルサイズも7.7GBと最も大きくなる。最小は2ビットを表す「q2」モデルで、サイズは1.4GBに収まる。このほか、3ビットの「q3」、4ビットの「q4」など自身のパソコンのスペックやストレージサイズに応じて選択することができる。16ビットが最も高いパフォーマンスとなるが、スピードは遅くなってしまう。一方、2ビットではスピードは速くなるが、精度が落ちるというトレードオフがある点には留意が必要だ。 　ダウンロードしたいモデルを選択したら、右側のスクリプトをコピーする。スクリプトはモデルごとに変わるので、注意したい。 例：ollama run phi3.5:3.8b-mini-instruct-fp16 　次に、ターミナル（コマンドプロンプト）を開き、先ほどコピーしたスクリプトをペーストし、Enterを押す。するとモデルのダウンロードが開始され、完了すると「>>>」が表示される。「>>>」に続き、プロンプトを入力しエンターを押すと、返信が生成される。 　以下のスクリーンショットは「who are you?」という入力に対し、 I am Phi, created by Microsoft. I'm an AI digital assistant designed to help answer questions and provide information on a wide range of topics within my knowledge capabilities as of September 2021. How can I assist you today? という返信が返ってきた状況を示している。 　これで、ローカル環境で自由にPhi-3.5モデルを使うことが可能だ。 　モデルはデフォルトで以下のディレクトリに格納される。フォルダを変更したい場合は、Ollamaのドキュメントを参照してほしい。 macOS: ~/.ollama/models Linux: /usr/share/ollama/.ollama/models Windows: C:\Users\%username%\.ollama\models