多視点3Dディスプレイ「Looking Glass Go」用に写真を立体化、AIによる単眼深度推定の方法と課題を解説

裸眼立体視ディスプレイをコンパクトにしたLooking Glass Goのクラウドファンディングが2月28日に終了しました。 Looking Glass Go（画像） 29日に手渡されるファウンダーズエディションを皮切りに、ついにユーザーの元に届き始めます。 Looking Glass Goに備えて、通常の写真から奥行き情報を推定して立体化する「単眼深度推定」の方法をまとめました。 「空間AIディスプレイ」Looking Glass Goはポケットサイズの多視点3Dディスプレイで、テクノエッジでも「スマホサイズの裸眼3Dディスプレイ「Looking Glass Go」3万8000円で予約受付開始。動くAIキャラと雑談も可能」として紹介しています。 私もKibidangoでのクラウドファンディングから申し込みました。 立体視デバイスとしては、VRヘッドマウントディスプレイとどちらを導入するかで迷っていましたが、6歳の子供とも一緒に見られるこちらを選びました。 従来モデルのLooking Glass Portraitはとうとう触れる機会がなく、他にも新しい裸眼立体視デバイスが出ましたがどれも未経験。初めての裸眼立体視が楽しみです。

Looking Glass Goに何を映すのか

3DテレビやVRヘッドマウントディスプレイなどの立体視デバイスには、コンテンツ不足の問題がつきまといます。 3D空間で構成されたゲームであれば直接立体視状態で提示できますが、リアルも手軽に持ち込めないと魅力が半減します。 Looking Glass Goはこれまでのデバイスよりさらに個人向けの性格が強いため、ユーザーが手軽に自分のコンテンツを渡せなければ不便です。Looking Glass側もその点は当然想定済みで、今回のGoでは主に3つの施策が発表されています。 ・Looking Glass Blocksによる変換と共有 ひとつは「Looking Glass Blocks」。これは写真や動画のアップロード・変換・共有のためのハブで、公開されているコンテンツは自分のLooking Glass Goでも表示できます。 利用は無料ですが、プライベートな共有など追加機能を利用できるサブスクリプションもあります。 すでにたくさんの立体視用コンテンツが公開されていて、ユーザーが公開したものからスタッフのおすすめ、話題になっているものまで紹介されています。 Blocksにはアップロードしたデータを変換する機能があり、手軽に自分の撮影した平面の写真や動画を立体視で楽しめます。 さらに画像生成AIによるText To Imageも備わっており、自分で生成した画像の立体視も可能です。 平面的な記録である画像や動画を元に立体視するには奥行きの情報を補ってやる必要がありますが、そこにこの記事のテーマである「単眼深度推定」が使われます。 ・Luma AIによる空間写真 もうひとつは「Luma AI」との提携。Luma AIはNeRFや3D Gaussian Splattingといった、複数の写真や動画から立体空間を再現する技術を手軽に使えるサービスです。 空間情報を持ったデータはまだ一般的な呼び名が定まっていませんが、Apple Vision Proなど対応するデバイスの登場によって「Spatial Photography（空間写真）」「Spatial Image（空間画像）」といった表現が使われるようになっています。 動画や複数の写真をLuma AIのサービスで空間写真・動画に変換すれば、Looking Glass Go上に空間そのものを表示できます。また前述のBlocksでも共有できます。 Luma AIでは空間写真の提示だけでなく、背景の除去やマニピュレーション、シェーダーの適用など編集ができるLuma WebGL Libraryも提供しています。こうしたものもLooking Glass Goに表示できると、さらに楽しそうです。 ・Looking Glass Lifeformsによる立体AIキャラクター 「Looking Glass Liteforms」は立体視可能でリアルタイムの応答可能なキャラクターを提供するサービス。 Goよりも先行して提供しており、1カ月あたり30分と限られますが、立体視可能で対話できるアバターが無料で試せるプランもあります。 Lifeformsはアップロードした写真からアバターを作ってくれますが、アニメ絵寄りなキャラクターを作るMakeAvaterとも提携しています。またVRMモデルのアップロードにも対応しています。 ChatGPTなどのLLMサービスは、応答にかかる時間が実用上の課題のひとつです。「えー」「あの」などフィラーをはさんで待ち時間を隠蔽する方法がありますが、キャラクターが加わると更に緩和されます。立体視の追加がキャラクターの存在感を増すことで、どのような効果があるのか楽しみです。 こうしたキャラクターは単にカワイイ遊びだけでなく、アシスタントや店舗スタッフとしての利用も想定されています。 個人が魅力を感じやすいLooking Glass Goの利用をビジネスにも広げる役目を担うようです。