Googleが「開発者向けイベント」で発表！Geminiのスゴさがわかる、最新AI機能まとめ
膨大なGoogleフォトから写真を特定
具体的に開発が進んでいる機能には、「Ask Photos」もあります。 マルチモーダルを駆使して、スマートフォンのGoogleフォトに保存されている大量の画像から、お目当てのものを探し出すのに便利な機能です。 たとえば、「昨年、娘がはじめて水泳クラスに参加してプールに入った姿を撮影したが、その写真がどこにあるのかわからない」とします。 「Ask Photos」があれば、「娘が水泳クラスに参加したのはいつ？」とたずねるだけ。すると、スマートフォンは「娘」が誰なのかを自動的に理解し、初めて水泳クラスに参加したときの写真を表示します。 一見すると、「ネコ」と入力するだけで、フォトライブラリに保存されているネコの写真を探してくれる機能と似ています。 けれどもAsk Photosでは、マルチモーダルAIが、より細かい内容の質問に対応し、Geminiとスマートフォンに保存されているデータを駆使して、より広い文脈で質問を理解してアウトプットするのです。 Ask Photosについては、これ以外の詳細はわかっていませんが、数カ月以内に公開される予定です。
ポケットにおさまるサイズのAIエージェント
ここからは、さらに非現実的な夢のような話になります。 「Astra」プロジェクトは、スターウォーズに登場するロボット「C-3PO」にこれまでになく近づいたAIでしょう。 スマートフォンにGeminiアプリを入れ、カメラを開いて周囲に向ければ、そこに映っているものや場面について質問したり、アドバイスを求めたりできるというのですから。 たとえば、スマートフォンのカメラで1台のスピーカーを映すと、どのような部品が使われているのか、どうやって使うのかを、Astraが教えてくれます。 また、手書きで描いた2匹のネコと箱の絵を映して、「この絵から何を思い出す？」と聞くと、「シュレーディンガーの猫ですね」と答えてくれます。 「私がメガネをどこに置き忘れたかわかる？」とたずねる場合、この質問の前にAstraがカメラを通じてメガネを見ていれば、ちゃんと記憶していて置き場所を答えてくれます。 これこそ、昔から夢みられてきたAIだと言えるかもしれません。 そして、OpenAIがアメリカ時間2024年5月13日に発表したGPT-4の最新モデル「GPT-4o」と、とてもよく似ています。そのため、まだリリースできるレベルではないのも仕方がありません。 Astraは「年内投入」が決まっていますが、興味深いことに、スマートフォンだけでなくARメガネでも利用できるようになるそうです。もしかしたら、Googleのウェアラブルデバイスについて、近く発表があるのかもしれません。
