「記録された画像の履歴」から記憶を検索

少し前置きが長くなったが、リコールを実際に使っていこう。 リコールは現状、Windows 11の機能を先行してテストする「Windows Insider」向けの機能だ。現状では不具合などが含まれる可能性がある。 リコールは簡単に表現すれば、「PCの中で行ったことを自動的に記録していき、検索可能にする機能」だ。 自動的に一定間隔でスクリーンショットが撮られ、PCの中に蓄積される。そしてその内容はAIで把握され、含まれる画像の内容やテキストの内容によって検索可能になる。 機能をオンにしたら、とにかく普通にPCを使う。リコールは裏で動き続けており、その様子もわからない。パフォーマンスへの影響もほとんど出ていないように見える。 検索には「リコール」アプリを使う。 リコールは大きな表示欄をもったウェブブラウザのようなアプリだ。 上には検索欄があり、その下には記録した情報を時系列で表示する「タイムライン」があり、さらにその下にキャプチャして記録された「情報」がある。 タイムラインを動かすと、「何日前のいつ頃か」という情報を手掛かりに情報を探せる。だが、それ以上に有用なのは、検索機能だ。 検索欄に、ウェブ検索の要領で探したい情報を単語や文章で入力する。すると、「テキストの一致」もしくは「視覚的な一致」があったものが表示される。 前者は画像内に含まれている文章内に検索した単語が含まれているもので、後者は画像の中にあるビジュアル要素に「単語からAIが推定した内容」が含まれているものだ。 例えば「城」で検索してみたら、城という単語が出てくるウェブサイトと、PC版の「ドラゴンクエスト3」をプレイ中のスクリーンショットが表示された。後者はズバリ「城の中にいる」時の画像だったからだ。 一致した対象をクリックすると、一致した時に使っていたアプリと文書が呼び出されるようになっている。 ウェブサイトの場合にはそのリンクが開く。「城」の例なら、ウェブもしくは「ドラゴンクエスト3」が起動するわけだ。 この処理はCopilot＋PCが搭載するオンデバイスAIで処理されるため、ネットにつながっていなくても動作する。また、処理はNPUで行われており、CPUやGPUにはほとんど負担がない。 以下は、NPUにどのような負荷がかかっているかを「タスク マネージャー」で調べたものだ。パルス状に負荷が高いところがあるが、ここはリコールで「検索」をしたタイミングだ。 そこで記録した画像の解析が行われており、その分NPUが動作した……ということなのだろう。 リコールで記録された画面を開くと、画面全体が虹色にアニメーションする。これは、画面をCopilot＋PCのオンデバイスAIが認識した印である。 単に表示するだけでなく、画像内にある文章はテキスト認識されて「文字情報としてコピー可能」になる。 だから、残っている記録からテキストを抽出して他の文書にコピペして使ったり、さらに検索に使ったりできる。 実はこの機能、Copilot＋PCに追加される予定となっている「Click to Do」と呼ばれるものだ。 Click to Doは、クリックした場所にある情報がどんな種類のものかをAIが判別し、機能を簡単に呼び出すためのもの。 例えば、文字の上でマウスの右ボタンをクリックすると「コピー」もしくは「Webを検索する」といったメニューが現れ、画像の上でクリックした場合には「画像検索」「画像の背景をぼかす」といったメニューが出てくる。 今はまだメニュー内容に多様性が薄く、そこまで便利という印象はないのだが、機能はさらに強化予定だという。 また、現状は「リコール」アプリの中でのみ動作しているが、マイクロソフトのアナウンスによれば、今後はOSの基本機能となり、リコールの外でも動作するようになる予定だ。