Operaがローカル生成AIのベンチマークツール「devicetest.ai」を無償公開
ノルウェーのOpera Softwareは6月7日(現地時間)、ローカル生成AIのベンチマークツール「devicetest.ai」を無償公開した。現在、アクセスするにはWebブラウザー「Opera」の開発版「Opera Developer」が必要。 【画像】3種類のプロファイル 「devicetest.ai」は、デバイスがローカルで生成AIを実行する能力を備えているかをベンチマークテストできるツール。「Opera」が進めるローカルLLM(大規模言語モデル)の統合が、実際にデバイスで利用する準備ができているかをテストできる。 以下に挙げる3種類のローカルLLMを使ったテストのプロファイルが用意されており、テストするデバイスの性能に応じて選択可能。 ・AI Ready:2B(2GB) ・AI Standard: 7B (5GB) ・AI Enthusiasts: 13B (7.5GB) テストは、AIが行う複数の作業を想定して行われ、複数回実行した平均値が評価となる。大まかなテスト結果は「READY FOR AI」(青)、「AI FUNCTIONAL」(黄)、「NOT AI READY」(赤)に分類される。もちろん以下のような細かなスコアも確認可能だ。 ・Tokens Per Second(TPS):1秒間に処理できるトークン(テキストを単語、または単語の一部に分解したもの)の数 ・First Token Latency(FTL):プロンプトを読み込んでからLLMが最初の単語を生成するまでの時間 ・Model Load Time(MLT):LLMをシステムのメモリに読み込む時間 TPSとFTLは作業ごとに表示できるようになっており、デバイスがよりうまく行える作業を確認できる。テスト結果はWebページ上のほか、CSVファイルとしてダウンロードすることも可能だ。
窓の杜,長谷川 正太郎