Photo by Pixabay

　5月30日から6月2日まで、NHK放送技術研究所にて「技研公開2024『技術で拓くメディアのシンカ』」が開催された。「メディア（媒体）」にまつわるさまざまな研究が紹介された本発表では、未来的なものから近い将来社会に実装されそうな技術まで興味深いものがいくつもあった。そこで、本稿では筆者が気になった研究のなかから、ボリュメトリックの制作環境、立体視やディフォーマブルディスプレイなどいくつかをピックアップして紹介したい。 【画像】ボリュメトリック撮影の様子 ■あの番組も立体化？　ボリュメトリック撮影で「3D教育番組」が現実的に 　ARやVRを用いたデバイスを通じた視野の広い映像による没入感、視聴者への周辺空間への映像合成による実物感を表現するものを、イマーシブメディアと呼ぶ。こうした技術に関連する活用例として、未来の没入型教育番組がどのように進化するのかを示すべく、『体感！できるかな2030』が紹介された。モチーフとなった『できるかな』は、NHKが1990年まで放送していた教育番組である。 　番組の制作プロセスとしては、出演者を取り囲むようにカメラが配置されたボリュメトリックスタジオで撮影を行い、出演者の3Dモデルを作るところから始まる。これにより、どの位置からでも出演者の映像を制作できるようになる。『できるかな』といえば、児童に絵画や造形などの創作を教育する番組。視聴者は学習の際に、出演者が工作している様子を好きな位置から見られるため、分かりやすい。 　この研究発表では、合わせてボリュメトリック映像の制作支援技術も解説された。出演者の3Dモデル化のほか、質感表現まで取得できる「メタスタジオ」の研究開発を進めているとのことだ。高精度での3D化や質感の取得には多くのカメラを用いて1人づつ撮影する必要があり、さらに別撮りした共演者に合わせて演技しなければならないので、どうしても工数が増えてしまう。 　そこで「ボリュメトリックモニター」によって、事前に収録した共演者との合成映像をスタジオに投影するのだ。データ量が膨大でリアルタイムでの確認が難しかったところを、確認に必要なデータの選択と描画方法を改善したレンダラーを開発して乗り越えたという。出演者に当たる照明の条件などをリアルタイムで確認することもできるため、制作スタッフの負担軽減につながり、くわえてより自然な合成映像も制作できるようになった。 　こうした技術は、すでに民間でも運用されている「バーチャルスタジオ」の一環でもあるため、従来のクロマキーによる出演者と背景の合成や、背景を映したLEDウォールの前で出演者を撮影するアプローチに加わる形で、選択の幅を広げる技術になっていきそうだ。将来的に通信速度やデータ量の問題も解決するようであれば、例えばスポーツなど屋外でのライブ中継もリアルタイムで3Dモデル化、試合を好きな角度から応援する……なんてことも可能になりそうだ。 ■フィルターバブルも解決か？　“シンカ”を続けるディスプレイ 　次に紹介するのは、ARグラス型のニュース掲示システムだ。スマートフォンやタブレット、PCなど現在のデバイスでは掲示範囲（表示領域）がディスプレイサイズに限られているため、ユーザーが自身でカテゴリーなどを切り替えなければならない。ARグラスであれば、ユーザー周辺の広い空間に多くのニュースを掲示できる。今回紹介された掲示システムでは、事前に自然言語処理でニュース記事の特徴を抽出し、関連性の高いニュースが近くに配置されるマップを自動生成する。 　ARが多くのニュースを掲示してくれるため、ユーザーが意図していないニュースにも出会う機会が生まれ、興味のある情報しか掲示されないフィルターバブルの解決にも期待ができる。また複数のユーザーが同じニュース記事を同時に見られる機能も実装しており、ユーザー同士でコミュニケーションを取ることができるのもユニークな点だ。 　NHKはこうした「ディスプレイの制約から逃れる技術」を研究する一方で、裸眼で立体視できるディスプレイなど、既存技術の開発も進めている。公開されたディスプレイの仕組みはこうだ。 　透過型の液晶パネル2枚を用いて、1枚めは縦縞模様のものを高輝度のバックライトの前に置く。その前に置いた2枚めには特別なパターンに変換した要素画像を表示する。この組み合わせで立体視映像が表示されることになる。なお1枚めを白、2枚めに普通の画像にすると通常の映像になり、1枚めの一部を白にすると、立体視と同時に表示できる。 　さらに「ディフォーマブルディスプレイ」の開発も進んでいる。これは素材がゴムできたディスプレイで、折りたたんだり膨らませたりすることが可能である。配線の素材には液体金属を使用しており、伸縮にも対応できる。 　この技術は将来、視聴デバイスが生活空間の様々な場所に組み込まれることを想定して研究されているもので、自動車や乗り物の座席・天井を覆うもの、体にフィットするウェアラブルなものといった具合に、さまざまなアイデアが披露された。 　こちらの技術は、屋内というより屋外での活用でより楽しめそうだ。立体視を含め、街頭ビジョンの映像とそれらに対応したデバイスの映像とでコラボするなど、応用に関しても様々な用途が期待できる。 　前述したイマーシブメディアについても、フィルターバブルの問題だけでなく位置情報にもとづいて街中のイベントや事件の詳細などをタグクラウドのような感じで瞬時に知ることができるのであれば、ユーザーにとっては悪くない話である。 　これ以外にも、さまざまな技術が公開された『技研公開2024』。公式WEBサイトでは本稿で挙げた技術のアーカイブ映像を視聴することもできるので、“未来のメディア”がどうなるか気になる方はぜひチェックしてみてほしい。 〈画像クレジット：NHK　サムネイル：Pixabay〉