APIとオープンソース、コストの違い

APIとオープンソース、コストの違い

企業が生成AIアプリケーションを展開する際、言語モデルを選択する必要がある。選択肢は、OpenAIやAnthropicのAPIを利用するか、オープンソースのLLMをセルフホストするか、大きく2つに大別される。 OpenAIであれば、GPT-3.5 TurboやGPT-4 Turboなどを選ぶことができ、かつGPT-3.5 Turboであれば、自社データで調整したファインチューニング版を展開することも可能だ。GPT-3.5 TurboのAPI利用料は、インプット100万トークンあたり0.5ドル、アウトプット100万トークンあたり1.5ドル。一方、GPT-4 Turboは、インプット10ドル、アウトプット30ドルとなる。 また、GPT-3.5 Turboを使ったファインチューニングのコストは100万トークンあたり8ドル、推論のコストはインプット100万トークンあたり12ドル、アウトプット16ドルとなる。このように、ほとんどのAPIは利用量に応じて料金が発生する従量課金制が採用されている。初期コストはかからないものの、利用が増えるほど料金も増大するリスクがある。 一方、オープンソースのLLMをセルフホストする場合、代表的なモデルとしてはLLaMA2やMixtral8×7Bが挙げられる。APIのようにトークン量に応じた従量課金はなく、無料で利用することができる。ただし、モデルを展開するには、自社サーバーかクラウドを利用する必要があり、これらにかかるコストを計算しなくてはならない。 また生成AIアプリケーションの展開では、モデルにかかるコストだけでなく、プロジェクト全体の費用も念頭に置くことが求められる。米国では、概念実証（PoC）には3～6万ドル、MVP（ミニマル・バイアブル・プロダクト）には9～12万ドルのコストがかかり、初年度のメンテナンスまで含めると50万ドル以上になるとの試算もある。たとえば概念実証の段階で、エンジニア1～2人、プロジェクトマネジャー1人で3～4週間かかるとすると、3万～6万ドルのコストになるのは妥当なところといえそうだ。 コスト以外にも、APIとセルフホストにはそれぞれメリットとデメリットがある。APIの場合、最新のモデルをすぐに利用できるメリットがある一方、データをクラウドに預ける必要があり、セキュリティやプライバシーを懸念する声は依然多い。セルフホストの場合、データを自社で管理できるメリットがある反面、インフラ構築や運用の手間がかかる。また、最新のモデルを利用するには、自社でアップデートする必要がある。 企業は、コストだけでなく、セキュリティ、パフォーマンス、運用の手間なども考慮しながら、APIとセルフホストを選択する必要がある。以下では、それぞれのコストについて、より詳しく見ていきたい。