ローカルのLLMをインストールする方法

最初のステップは、最小システム要件に注意しながら、公式ウェブサイトからLM Studioをダウンロードすることです。LLMの動作は結構負荷が高いので、かなりパワフルなコンピューターが必要になるでしょう。 AVX2をサポートするWindowsかLinux PC（通常はより新しいマシン）、およびmacOS 13.6以降を搭載したApple Silicon Macが良く、少なくとも16GBのRAMが推奨されます。PCの場合、最低6GBのVRAMも推奨されます。 ソフトを立ち上げ稼働させたら、LLMをダウンロードして使う必要があります（LLMがないと大したことはできません）。 LM Studioの魅力の1つは、アプリのフロントスクリーンで「新しくて注目すべき」LLMを推薦してくれる点です。どのLLMがいいかわからない場合は、ここから選ぶことができます。 LLMは、サイズ、複雑性、データソース、目的、スピードによって異なることがわかります。どれを使うのが正解ということはありませんが、RedditやHugging Faceなどのサイトには情報が豊富にあるのでリサーチできます。 ご想像の通り、LLMの容量は数GBにもなるので、ダウンロードが完了するのを待つ間に、バックグラウンド・リーディングができます。 フロントスクリーンで気に入ったLLMがあれば、ダウンロードをクリックしましょう。気に入ったLLMが無い場合は、検索を実行するか、上部のボックスにURLを貼り付けることができます。 各LLMのサイズが表示されるので、ダウンロードに要する時間の目安や最終更新日がわかります。結果をフィルタリングして、もっとも多くダウンロードされたモデルを表示することも可能です。 LLMは好きな数だけインストールできますが（容量がある限りですが）、使用しているシステムに1つでもあると、マイモデルパネルに表示されます（左のフォルダアイコンをクリック）。ここから、インストールした各モデルの情報を見たり、アップデートをチェックしたり、モデルを削除したりすることが可能。 プロンプトを出すには、左の吹き出しアイコンからAIチャットパネルを開きます。一番上で使いたいモデルを選び、一番下のユーザーメッセージボックスにプロンプトを入力して「Enter」を押しましょう。ChatGPTのようなLLMを使ったことがあれば、このようなアウトプットには慣れているはずです。 右側では、LLMに関連するさまざまな設定をコントロールすることができます。 たとえば、長いレスポンスの処理方法や、システムのGPUへの処理負荷の軽減など。また、「プリプロンプト」用のボックスもあり、常に特定のトーンや言語スタイルでレスポンスするようにLLMに指示することができます。 新しい会話をはじめたい場合は、左側の新規チャットボタンをクリックしてください。また、過去のチャットはその下に記録されるので、そのチャットに戻る必要がある場合にも便利です。 特定の答えが生成され終わると、スクショを撮る、テキストをコピーする、同じプロンプトから別の答えを再生成するなどのオプションが表示されます。 以上です。これで、ローカルLLMが使えるようになりました。 LLMの開発やプロンプトの作成など、もっと深く掘り下げようと思えば、いろいろな道がありますが、基本的なことを把握するのは難しくありませんし、LM Studio を使えば、全くの初心者でも簡単にセットアップすることができます。 Source: Meta, LM Studio, Reddit, Hugging Face