ソニー「可搬型ボリュメトリックシステム」

　2024年10月27日にコーセーが主催するブレイキンの大会『KOSÉ BREAKING FES 2024』が開催された。同大会では、高校生以上が参加できる「2on2」部門、中学生以下が参加できる「1on1」部門を実施。また、「2on2」部門のゲストダンサーとして、日本を代表するブレイクダンサーのShigekix氏やISSEI氏、海外からは2024パリオリンピック金メダリストでもあるPhil Wizard氏や銅メダリストのVictor氏といった著名なブレイクダンサーが出場し、世界トップレベルの対決を繰り広げた。 【画像】撮影してその場で自分の3Dアバターが生成される　ボリュメトリックキャプチャの様子 　また、当日は渋谷サクラステージ3F BLOOM GATE内にソニーによるバーチャルダンスバトル『Breaking battle - VS Shigekix -』の体験ブースも用意され、ブレイクダンサーによる白熱のバトルと並び来場者の注目を集めた。 　『Breaking battle - VS Shigekix -』は、ソニーの「可搬型ボリュメトリックシステム」を使用し、その場でキャプチャした自分自身をリアルな姿のまま、仮想空間のバトルステージに登場させ、Shigekix氏とのダンスバトルを楽しむというもの。ソニー株式会社の百田竹虎氏によると、この企画は「『可搬型ボリュメトリックシステム』をエンタテインメント分野で活用することを目的に生まれたもの」だという。 　「可搬型ボリュメトリックシステム」の中核をなすのは、「ボリュメトリックキャプチャ技術」だ。ボリュメトリックキャプチャとは、複数台のカメラを使って、さまざまな角度から人や動物、空間などを撮影し、その画像データを集めて3Dの「ボリュメトリックビデオ」というデータを生成する技術のことを指す。ソニーはこの技術を用いて「可搬型ボリュメトリックシステム」を開発し、今回のようなイベントでの体験ブースの開設を通じて、幅広い活用方法を探索している。 　「『可搬型ボリュメトリックシステム』では、一般のお客さんに楽しんでいただくというエンタテインメント的な活用方法を目指しています。今日も体験してくれたお子さんがすごく喜んでくれましたが、弊社としても実際にいろいろな楽しませ方を探っているところです。そういった背景があり、今回はコーセーさんとShigekixさんと一緒にこのような企画を行わせてもらうことになりました」（百田氏） 　「可搬型ボリュメトリックシステム」の大きな特徴は、どこにでも持ち運んで展開できる点にある。百田氏によると、ソニーグループ会社のソニーPCL株式会社（以下、ソニーPCL）の「清澄白河BASE」内には大規模なボリュメトリックキャプチャスタジオが設置されているが、このシステムはそれとは異なり、イベント会場などさまざまな場所に持ち運んで使用することを念頭に開発されている。このシステムでは、体験ブースで撮影した映像をリアルタイムで3D化し、バーチャル空間内に出力することが可能だ。 　今回、筆者は実際に体験してみたが、体験自体は非常にシンプルなワークフローの下で行われた。まず、体験者は自分のポーズ写真を「可搬型ボリュメトリックシステム」体験ブースで撮影し、バトル用のダンサーネームを決める。 　次にモニターのジェスチャーによる指示に従い、Tポーズ、腕を組む、ジャンプする、右手を挙げる、最後にクールなポーズをとるといった動作を順番に撮影していく。 　そして、撮影が終了して少し待つと、Shigekix氏とのダンスバトル映像が生成される。また、生成された映像は、会場内のサイネージで流れ、臨場感あるバトルの様子を楽しむことができる。 　さらに映像は専用のQRコードからダウンロードでき、体験者は映像をシェアしたり、自宅で再度視聴したりすることも可能だ。 　このような人間の動きから映像を生成する技術というと、筆者のような素人の場合、すぐに頭に浮かぶのは「モーションキャプチャー」だ。しかし、百田氏によるとモーションキャプチャーとボリュメトリックキャプチャは、根本的に異なる技術なのだという。 　そもそもモーションキャプチャーは、人や動物、物体の動きを3次元で計測し、デジタルデータ化して記録する技術、「動きを再現するための技術」のことを指す。 　これに対し、ボリュメトリックキャプチャは、対象をさまざまな角度から撮影した画像データを集めて3D化する技術。ざっくり言えば、この体験会では「写真からアバターを生成」するのに使われているというわけだ。ソニーの「可搬型ボリュメトリックシステム」では、先述したようにこれらの技術が可搬型に応用されている。 ■「可搬型ボリュメトリックキャプチャ」はいかにして実現した？ 　可搬型のシステムを実現するには、機材のコンパクト化と処理の最適化が欠かせない。百田氏によると、このシステムの開発において、可搬性を高めるために荷物の量を最小限に抑えることと、処理方法の最適化が大きな技術的課題であったという。 　開発チームは、これらの課題に取り組んだ結果、基本的にはペリカンケース1つ、スーツケース1つ、それと三脚ケース程度の荷物で持ち運びできる非常にコンパクトなシステムを実現したと百田氏は振り返る。この成果により、「可搬型ボリュメトリックシステム」を、イベント会場などさまざまな場所で使用することが可能になったというわけだ。 　また、体験者の動きとShigekix氏の映像を違和感なく合成するための工夫も重要なポイントだった。百田氏によると、まずShigekix氏を「清澄白河BASE」にあるボリュメトリックキャプチャスタジオで撮影したという。そして、その記録データを基に、対戦相手となるユーザーの動きを作成する際には、モーションデータを入れ込む地道な編集作業の繰り返しが必要だったそうだ。 　このことについて、百田氏は、「モーションの自然さや“こういう動きにしたい”という部分にこだわりながら、少しずつじっくりとモーションを作り込んでいきました。それがモーション側の工夫です」と説明する。さらにボリュメトリックデータの処理については、「記録したデータにどういった形で“ボーン（骨）”を入れるかというところもしっかりと各チームと話し合い、自然な動きになるように努力しました」と、その過程を振り返る。 　このように、体験者とShigekix氏の動きを滑らかに同期させるために開発チームは、モーションデータの編集とボリュメトリックデータの処理の両面から、細やかな工夫を重ねていったそうだ。 　また、体験者のポーズ撮影後、映像の出力が完了するまでスピード感は、リアルタイム処理の技術によって支えられている。百田氏によると、処理の順番や速度、画質とのトレードオフを見極めることが重要であり、3D処理のロジックにもこだわりを持って開発を進めたという。こうした改善の積み重ねにより、処理スピードと画質を徐々に高めていったそうだ。 　さらに撮影から映像生成までの一連の流れについて、百田氏は次のように説明する。 「体験ブースで撮影した体験者の姿はライブストリーミングで撮影され、そのデータがリアルタイムで利用されます。つまり、体験者のポーズのデータを記録してアバター化し、そのアバターにモーションデータを入れて動画として出力するという流れになっています」（百田氏） 　一方、ソニーPCL ビジュアルソリューション部門のビジュアルクリエイターである宇城秀紀氏は、直感的な体験設計の重要性を指摘する。宇城氏によると、体験者の中にはダンスに不慣れな人もいることを想定し、体験方法は見た目だけで理解できるようにする必要があったという。こうした体験設計には、撮影してから出来上がるまでの「待ち時間」も含まれる。 「テクノロジーを提供する側には処理時間などの課題があるものの、体験する側にとってそれらは関係のない話です。したがって、処理の時間的な制約があったとしても、UXデザインの観点から、いかにスムーズに場面転換を行うかが重要になると考えました」（宇城氏） 　また、宇城氏は言語の壁を超えるための工夫にも触れた。今回のイベントには海外からの参加者もいたが、ジェスチャーを用いて体験方法を提示することで、日本語が理解できない人でもすぐに体験の手順を把握できるよう配慮したという。このように『Breaking battle - VS Shigekix -』では、リアルタイム処理の技術的工夫と直感的な体験設計への配慮が組み合わさることで、言語の壁を超えて誰もが没入感のあるダンス体験を楽しめる環境が実現されていた。 　今後の展開について、百田氏は体験者のダンススキルに応じたバトル体験の提供を目指していると語る。実は現時点の「可搬型ボリュメトリックシステム」では、そういった体験の提供もすでに実現可能だ。 「今回は『実際には踊れないけどダンスバトル体験をしてみたい』という方がメイン層だと想定していたこともあって、その準備をしておらず実現できませんでした。しかし、このシステムではすでに実際にダンスができる人がその場で踊ったダンスを撮影し、そのモーションのデータをアバターに反映することも可能です」（百田） 　そのため、次回は体験前にダンスができるかどうかを体験者に確認し、経験者向けには自身の動きでダンスバトルができるような体験を提供したいと百田氏は意気込む。 　また、百田氏はエンタテイメント分野だけでなく、映像制作の現場でも「可搬型ボリュメトリックシステム」が活用できる可能性を指摘する。エンタテインメント向けには、今回のように自分の踊る姿を映像で楽しむ体験が提供できるが、映像制作となるとさらに高い画質が求められる。そして、現時点でその実現に向けた道筋が見えているため、今後はエンタテイメント分野での活用を進めつつ、映像制作分野へも進出していく計画だという。 　このようにバーチャルダンスバトル『Breaking battle - VS Shigekix -』では、最先端の「可搬型ボリュメトリックシステム」とその考え抜かれた体験設計によって、誰もがプロダンサーとの仮想ダンスバトルを通じて、楽しめる新しい体験型エンタテイメントの形が提示されていた。同時にこの取り組みは、テクノロジーとクリエイティブの融合が生み出す可能性の一端を示している。今後のさらなるシステムの進化に期待したい。