Apple Vision Proはビデオシースルー方式を採用。光学シースルーはダメなんですか？

新しいHMD（Head Mounted Display）機器が発売されると、話題の中心となるスペックは、映像パネルの種類、解像度、重さ、バッテリー容量、ユーザー位置、コントローラ位置などの各種トラッキング機構などについてが多い。 Apple Vision Pro米国版実機 しかし、最近では接眼レンズをはじめとした、進化著しい光学系に関心が集まることも増えてきた。 そんな最中の2024年2月2日、ついに北米市場にてAppleが「Apple Vision Pro」（以下、AVP）の販売を開始した。 さっそく、各所でAVPの光学系の分析が始まっており、光学系ベンチャーのHyperVisionは、かなり詳しい独自の分析と考察を自社ブログサイトに掲載している。 本コラムの今回は、このXR-HMDを実現するための光学系のうち、もう少しベーシックな、現実世界情景と仮想世界情景を合成する方の光学系にテーマを絞って四方山話をしてみようと思う。

Meta Quest 3やApple Vision Proはビデオシースルー方式

PS5周辺機器として発売されているPSVR2のようなVR-HMDとは違い、XR-HMDとして開発されたHMD端末では、現実世界情景と仮想世界情景（≒CGオブジェクト）の両方をユーザーに提示できる表示システムを搭載しなければならない。 前出のAppleのAVP、そして2023年に発売されたMetaのQuest 3のようなXR-HMDは、利用時のユーザーは、眼前にくる接眼レンズを通して、その奥に配置される映像パネルだけを直視する構造となっているため、ハードウェアとしては一般的なVR-HMDとほぼ同一のデザインとなっているといえる。 つまり、現実世界の情景は、HMD表面上に実装されたカメラで撮影された映像をリアルタイムに、映像パネルに表示して見せることになる。 これが「Video See Through」（ビデオシースルー）方式だ。 ビデオシースルー方式は「肉眼で見れば済む現実世界情景をあえてカメラで撮影して見せる」という点では冗長だが、現実世界情景をコンピュータ側で自在に加工することができるため、現実世界情景の見え方を自在に変えることができるメリットがある。 たとえば現実世界の照明情報をCGオブジェクトに反映したり、仮想世界の照明情報で現実世界オブジェクトをライティングしたりすることも可能となる。 あるいは、人間の肉眼では見えるはずのない暗視ビジョンやサーマルビジョンを見せることだってできるし、注視すべきオブジェクトのみをカラーで表示し、それ以外は白黒表示するような視覚拡張的な表現を織り込んだりできるのだ。 難しいのは、カメラの画角や性能に起因して、普段、ユーザーが肉眼で見ている情景の見え方と違って違和感を覚えたり、普段は直視できている現実世界情景が様々な映像処理を経る関係で遅延して見えたりするところに課題を抱えている。