米Amazonから同社初のスマホ『Amazon Fire Phone』が7月25日に発売されました。このFirePhone、これまでのスマホとは異なり、「Dynamic Perspective（ダイナミック パースペクティブ）」という機能がついており、3次元表示対応のスマホとして注目されています。

「ダイナミック パースペクティブ」機能とは、前面についている4つのカメラを用いて、ユーザーの顔や頭の動き、端末の傾きや動きなどを追跡することによって、角度に応じて側面を見せるなどの立体的な効果を画面に表示するなど、奥行きのある表示を楽しむことができるような仕組みです。

例えば、3次元表示を利用した地図アプリの場合、端末を傾けるだけで立体的に表示された建物をさまざまな方向から眺めることができます。また、この機能はユーザーインターフェースやナビゲーションにも活用されており、顔の動きや端末の傾きに応じて、指を使わずにWebページをスクロールしたり、通知や各メニューを表示したりすることもできるようです。

この「ダイナミックパースペクティブ」という技術自体は、20年以上前からある「Fish Tank VR（Virtual-Reality）Display」と呼ばれていた手法です。

このような、ユーザーの顔や頭の動きを感知するヘッドトラッキング3次元技術が搭載されたスマホはこれまでになかったため、注目されています。

では、3次元ディスプレイが実生活の中にもっと普及していくためには何が必要なのか。3次元モデルの研究家という立場から、解説していきます。

技術の進歩で3Dディスプレイはより自由に

Fish Tank VR Displayは、かつては頭部の動作を追跡するためのデバイスを頭につけないといけなかったため、研究室内でしか使えず現実的ではありませんでした。しかし、今は何もデバイスをつけなくても頭の位置が分かるようになったため、このように製品化されるまでになりました。

これまでにも特殊な眼鏡を使用したり、錯覚を利用したりする3次元ディスプレイは存在していました。映画やゲームなど、3次元ディスプレイで楽しんだことのあるユーザーも増えてきているのではないでしょうか。

例えば、国内の3Dゲームなどに使われていることが多い「フレームシーケンシャル方式」と呼ばれるものは、右目用と左目用の映像を1秒間にそれぞれ60コマに分割、計120コマを相互に高速再生し、それと同期したタイミングで専用の眼鏡が交互に開閉を繰り返すことで3D映像を見る方式です。多くの場合、バッテリーを搭載した専用の眼鏡が必須です。

また、「偏向フィルター方式」といった、右目用と左目用の映像を交互に表示し、偏光板メガネで立体的に映像を見る方式も比較的よく聞いたことがあるのではないでしょうか。偏光板眼鏡は比較的安価で、3D環境を導入できるため、映画やテーマパークでのアトラクションなどに使われています。

電気屋で並んでいる家庭用立体テレビや、ニンテンドー3DSなどでは、裸眼立体視という仕組みを利用しており、液晶側の工夫で左右の目に別の映像を届けて立体感を得るものです。

これには細かいカマボコ型のレンズをディスプレイや写真の表面に貼り付けるレンチキュラー方式と、右目用と左眼用の映像を細かく切って並べ、画面に貼った細かいスダレ型のフィルターで左右の眼に映像を分けるパララックスバリア方式があります。

しかし、どちらも原理的に見る角度や位置がシビアになりがちです。

これに対して、AmazonのFirePhoneに搭載されているダイナミックパースペクティブでは、動くことで立体感を与えます。

3次元ディスプレイは画面の外へ

3次元的に立体視できる映像技術の開発は、アカデミアでも長年研究・開発されてきました。

2000年に学会発表された、ニューヨーク大学のKen Perline教授による「autostereoscopic display」は、ユーザーの頭の位置に応じてパララックスバリアを変える方式を採用しています。

普通の裸眼立体視は決まった位置からしか立体に見えませんが、この技術を使うことでユーザーがどの位置から見ても立体に見えるといった特徴があります。

ところが、一般には、人間の視差のみを利用した擬似的な3次元表示技術では、視野制限や疑似感覚による生理的不快感などの問題があり、長時間の鑑賞には適していないと言われています。そこで、直接3次元空間に自由に描画できる技術が求められており、研究が進められています。

今月カナダ・バンクーバーで開催されたACM SIGGRAPH2014で、東京大学博士課程に在籍する落合陽一氏らによる研究「Pixie Dust」が発表されました。これは、ポテンシャルフィールドを定義して、空中に粉を浮かせて好きな形にできるというもの。0.6mm～2.0mmの発泡スチロール製の球を、超音波によって魔法のように浮かせたり、動かしたりすることができる技術です。

産業技術総合研究所が2007年に発表した研究成果「空間立体描画技術」は、レーザー光の焦点で空気中の酸素や窒素の分子をプラズマ発光させることで、空間に光るドットを作り出していくプラズマディスプレイ。空間の任意の位置に自在に発行させることができ、立体画像の動画を実現できます。

日立製作所では、360度すべての方向から立体像が見ることができるディスプレイ「Transpost」を提案しています。この技術はクルクルと高速回転する板にプロジェクタで投影することで、立体映像を実現。

国内のワークショップWISS2004で最初に発表された際には、据え置き型として大きなものでしたが、その後、回転機構を用いることなくよりシンプルな機構を考案したことで、SIGGRAPH 2007 ではより軽量化した持ち運びができるタイプのものが発表されています。

その他、3次元映像を実現する技術としては、カーネギーメロン大学の金出武雄先生らによる、上から水滴が落ちてきて3次元プロジェクションをするものや、MITメディアラボの石井裕先生らによる「inFORM」などがあります。

inFORMでは、機器の下に約900本のプラスチック棒を並べて、これらが上下することで、空間に立体的な形を描き出す仕組みになっており、高感度カメラが取得した立体物の形状を、瞬時に立体として「再現」するだけではなく、他の物体とinFORMを通じて操作できることをウリとしています。

これにより、画面の向こう側にいるユーザーの動きを取得して、ディスプレイ上に乗せられた物体を動かすこともできるため、その場にいない人物があたかもここにいるかのような、そんなバーチャルとリアルが混在した表現が可能になるのです。

普及には、やはりアプリや3次元コンテンツの制作が必須

3次元ディスプレイが搭載された端末が普及するためには、ハードウエアである3次元ディスプレイの普及の他に、アプリケーション、コンテンツの普及も必須です。

魅力あるアプリケーションやコンテンツがあるからこそ、3次元ディスプレイ端末を使いたくなる、買いたくなるものでしょう。2010年ごろから登場した3次元テレビは、3次元で楽しめるコンテンツが広がらなかったことが普及しなかった原因の一つとも言われていることは、皆さんご存じでしょう。

Amazonでは、開発者にはSDKを提供しており、自前のアプリにも顔追跡を用いたダイナミックパースペクティブ効果を組み込めるようになっています。

「Dynamic Perspective SDK」では、ヘッドトラッキングAPI、モーションジェスチャAPI、ホームAPIなどを提供しており、こういった機能を盛り込んだアプリやゲーム開発ができるようになっています。魅力的なアプリ作りにぜひ挑戦してみてはいかがでしょうか？

(この記事はエンジニアtype 『五十嵐悠紀のほのぼの研究生活』からの転載です。)