xRの発展によってヒトの「知覚」は変質するか 空間体験デザイナー・sabakichiに聞く、可能性と課題
人間は究極的に「時空間を超越する権能」を欲している
――先程おっしゃった教育以外のステップで、空間を知覚して受け止めるために満たすべき条件はあるのでしょうか。 sabakichi:いまの話ともリンクしますが、そもそも空間を楽しむという感性、空間を鑑賞の対象にするという視点が必要になると思います。 いまって動画や映画を見て楽しいと思う視点はみなさんお持ちだと思いますが、実はそれってすごく高度なメディアのコミュニケーションだと思うんです。秒間30~60枚動いている平面の静止画の連続を「現実だと思い込む」という約束のもとで観るのってすごく複雑だし、非常に高度な認知のやり取りをしていると思っていて。その「メディアを味わう方法論」みたいなところが空間にも発生しないと、それを楽しんだり評価することは中々できないと思いますね。 ――逆に、受け止める側でなく発信する側や技術的な面でのステップアップとしてはどのようなものが必要になるのでしょう? sabakichi:デバイスに関して次に何を目指すかは、SF作品を筆頭にいろんなビジョンが示されていると思います。いまは実際にそこへ向かって突き進んでいっていますし、それこそ『Apple Vision Pro』も次の布石として置かれているものだと思います。 ただ、理想的なインターフェースって、“存在しない”インターフェースだとも思うんです。たとえばヘッドマウントディスプレイを必要としない状態でVRを体験できたり。なので、いずれ「技術を消す技術」が必要になるのかなとは思います。 ――SF作品でいえば「ARコンタクトレンズ」などはそれに近いものですよね。 sabakichi:そうだと思います。僕はよく例え話として「道具の歴史」を挙げるんです。人間って道具を身体の拡張として持つじゃないですか。たとえばトンカチを持ったときに身体性がそこに付与されて、その先が自分の体だという風に認識して使えるようになる。 さまざまな道具は人間の体を拡張していく営みだということを前提にするならば、パソコンやスマホ、HMDなどのデバイスも、身体でできることを増やしたり拡張したいというモチベーションで作られているものだと思うんです。 そして最終的にそれが行き着くのは、人間の肉体そのものが道具に適応することだと思いますし、人間がただ生きているだけで情報を扱えるとか、インターフェースが存在しなくても体験ができるというところだと思います。 あとは、「メディア」という言葉がキーワードになると思っています。技術的な話でステップがどこに行くべきかということを考えるうえでは、おそらく長いメディア史を振り返ったときに、「メディア」というものが何を成したかったかということを考えるのが大事かなと思っていて。 メディア表現技術って、歴史的にはヨハネス・グーテンベルクが発明した「活版印刷」からひとつの大きなスタートが切られていて、その後蓄音機やレコードが登場して音楽や音声メディアに、写真技術があってその写真をパラパラ漫画にすると動画メディアになるというストーリーがあるじゃないですか。 レコードが多分一番分かりやすいと思うんですけれど、レコードって最初はモノラルでしたが、それがいまだとステレオマイクで録音してステレオで再生するようになったじゃないですか。あれも一種の「バーチャルリアリティ(実質的な現実)」ですよね。だからメディアの歴史って、バーチャルリアリティの歴史に近いと思ってるんです。 そのように考えたときに、人間が「メディア」を通して何をやりたかったかというと、“現実を再生”したかったんじゃないかなと。音楽のレコード化における最初のモチベーションとしては、ライブを追体験するためのメディア化という流れがあるじゃないですか。それって、実質的に現実をもう一度自由に再生したいということだったと思うんですね。 メディアを複製したり流通したりというのはあくまでその副次的な効果なのであって、「生(なま)感」とかそこにいる臨場感とか、あらゆる変数がそこで再現されて欲しかった。究極的には現実を扱いたい、現実を情報にしてそれをパッケージして扱えるようにしたいという、ある種「時空間を超越する権能」を欲しているんじゃないかと思えるんです。 PCやスマホはそうした情報を2Dで表現するデバイスですが、xR技術がある程度成熟してきた中で、「立体視で現実を感じる」というバーチャルリアリティ技術を基にしたデバイスが流行するフェーズに移りつつあるのは、ある種必然なのかなという気がしますね。 ――なるほど。歴史を振り返ると、xR技術の流行や発展は「SFチックなトンデモ技術」などでは決してなく、キチンとステップを踏んで現在に至っているんですね。 sabakichi:そうですね。デバイスで立体視できたり、ハンドトラッキングができたりハプティクスがあったり……いろいろな技術がありますけれど、結局はそれらも現実を追体験したいという欲求のもとに発展したものだと思うんです。それに加えて、現実を自由に編集したいというモチベーションに行きつくためにいろいろなデバイス・ソフトウェアが作られているんじゃないかなというのは思います。 その過程で、おそらく生成AIと交わる瞬間があるとも思っていて。最近流行しているところでいうと、画像生成AIって、2Dのメディアで交換されてきたありとあらゆる情報を、膨大なデータを使って再抽出するという取り組みじゃないですか。それがある程度花開いてきた段階だと思うんですけど、今って3Dモデルの生成AIも出始めているんですよね。そして、そのストーリーが最終的に行き着く先もおそらく空間だと思うんです。 しかも「空間」って、つくり手としても受け手としても扱うべき変数が一気に増えすぎるのでAIとの相性がすごくいいと思っているんです。空間化すると情報量が一気に増えて、そうすると我々にはもう全く手に負えなくなってきますよね。 たとえばこの部屋を3Dスキャンして1ポリゴンずつ編集するというのは絶対にやらないし、無理じゃないですか。なので最終的にある程度xRもAIベースになったりとか、生成AIとは言わずとも、何かしらの高度な自動化技術によって基本的なものは制御してもらうというところに来るのかなという印象は持っています。 たとえば自動的に自分の要求した空間が生成される仕組みができたとして、それを下地に使って「こういうライブステージを作ってくれ」とプロンプトを入力すると適宜作り変えてくれたりするのってすごく便利だと思うんです。 それはみんなやりたくなるだろうし、世間の流れとしてもやりたいと思ったものがどんどん実現されている段階なので、空間を情報として知覚するデバイスやxRの延長にはそういったAIなどが当たり前に登場するだろうなと思っています。 ■「身体感覚が書き換えられていく、不可逆に変更されてしまう可能性を感じた」体験 ――面白いですね。メディアの進化で言うと、空間ビデオやフォトグラメトリなども、いままで平面で写真を撮っていたものを3Dとして情報量を増やして残す技術という風に考えると、それもまた順当に進化しているということですよね。 sabakichi:そうだと思います。だから、やはりxR技術は突飛なものではないんです。3Dのネイティブなメディアは最終的にはやはり3次元空間でしかないんだと思いますし、我々にとっての「ネイティブのメディア」に段々近づいてるのかなという気がします。 空間を知覚するときに基準になるのって、自分の身体なんですよね。この世に絶対的なものは自分の意識と身体しかない。自分の身体こそあらゆる世界を知覚する基準だし、空間を自覚する基準になるんです。 バーチャル空間で僕が面白いと思った体験が1つあって。最初の『バーチャルマーケット』の会場に「モクリ(※)」というキャラクターのアバターになれるペデスタル(サンプル)が展示してあって、それを試着したことがあったんです。そうしたら手がめちゃくちゃモフモフで、面白いからその体のまま、自分の手がモフモフになっているのを見ながら2、3時間会場を巡っていたんですね。 (※モクリ……VR発のキャラクター。半人半獣の姿をしており、手足が獣のものだったり尻尾が生えていたりする) それでその日はログアウトして寝たんですけど、その日の夜、手がモフモフになっている夢を見たんです(笑)。それが忘れられなくて。それまで人間の身体って、自分が人間である限りある程度共通しているものだと思っていたんです。もちろん、例えば身体に不自由がある人などいろんな方がいらっしゃいますけれど、どのような多様性にせよ、我々が捉えている人間という大枠のフォーマットの中にはある程度収まっているという認識を皆さん共有していますよね。 でも、その認知をバーチャル空間内では編集できてしまうことが衝撃でした。あとは、夢の中では身体がモフモフしているだけでなく、『VRChat』のスーっと移動していく感覚も染みついていたんですよ。それを感じて、身体感覚が書き換えられていく、不可逆に変更されてしまう可能性を感じたんですね。非侵襲型のVRデバイスで、侵襲型の何かが起きてしまっている。それは危険なところでもあり希望でもあると思うんですけど、すごく面白くて。 こういった感覚を「ファントムセンス」と言う人もいて。バーチャルリアリティで全く違う身体を体験して戻ることで“不可逆な認知の編集”ができるのなら、もっと我々の生活を豊かにする方法もありそうだということに気付いたんですよね。 例えばVRでトレーニングをすることによってものの数分でけん玉ができるようになるという『けん玉できた!VR』を前にやらせてもらったことがあるんですけど、本当に数分でけん玉ができるようになるんです。その可能性って、もっと他に応用できると思いますし、もしかすると我々が想像しうる「人間ができること」を超えることができるようになるかもしれないんじゃないかと。 ――人類が飛躍的に進歩するヒントになる気もしますよね。 sabakichi:先ほど道具の話をしましたけれど、人間って結局身体を拡張させたい生き物で、それって「身体を編集したい」という欲求だと思うんです。ICチップを埋め込んだりして身体を改造しているバイオハックをやっているような人たちも、多分道具としての自分を拡張したいという欲求からそうしていると思うんです。 自分の身体や認知ごと編集できるんだったら、例えば狭い部屋に住まなくちゃいけない人たちがいたとしても、その場所を豊かな空間として感じさせることができるし、そうすることで本人たちがそれで満足できる可能性もありますよね。 もしくは壮大な体験をVR技術ではなく、彼らの身体感覚にインストールすることで普段の生活の認識を変えることができるかもしれない……そんな可能性は十分にあるかなと。バーチャル、VRで空間設計をやっているのには、そういった部分への期待もあるんですよね。 ――それこそインターフェースをなくしていくという話にも繋がっていきますね。sabakichiさんが直近に出会った、考え方をアップデートするような体験だったりコンテンツ、デバイスはありますか? sabakichi:わかりやすいコンテンツの話でいくと、ABBAのコンサート『Voyage』がとてつもないことをやっていて、観客のリテラシーが高くなければ成立しないステージを作っているんですよ。 『Voyage』ではメンバーの若い頃を3Dで再現した姿が出てくるのですが、モーションキャプチャーは本人たちがやっていて。それが巨大な2Dセットに登場するんですけど、これのすごいところはその規模なんです。 2Dなんだけど3Dに感じるという、ある種のバーチャルリアリティ舞台がこの規模で展開されていて、さらにそれをお客さんは一定の約束のうえで「本物だと思い込む」という、究極の黒子みたいな「概念」のやり取りが成立するというのに感動しました。すごく未来だなと思いましたね。 ――観客側からすると、現代の本人のモーションで若い頃の姿を見るという、先進的な技術を使って昔に思いを馳せるという面白さもありますね。 sabakichi:そうですね。ABBAのあのステージは最高の「ライブの追体験」なのかなと思います。 あとは事例ではないですが、やはり『Apple Vision Pro』は気になります。Appleのページを見てもMRやVRという単語が一切なくて、「Spatial Computing(空間コンピューティング)」と言い切ったのが非常に良かったと思っていて。 それは「いままでにこびりついた文脈から縁を切る」みたいなところもあるのかもしれないですが、そもそも僕たちがパソコンやスマホを触ってきたという、コンピューティングの歴史の系譜の先にきちんと『Apple Vision Pro』もあるんだ、ということをAppleの胆力で言ってくれたということに励まされます。さらにそこで「空間をやりましょう」ということを言ってくれたのも個人的には嬉しかったです。 ――sabakichiさんが「空間」という言葉の使われ方を気にされていたなかで、きちんと空間に向き合いましょうよ、ということを言ってくれたのに近いような感覚ですか。 sabakichi:そうですね。Appleって、新しい概念を発明しているじゃないですか。たとえば子どものころの自分にiPhoneを見せてどうやって触るのか分かるかと聞いたら、まったくわからないと思うんですよね。 指で触れてすべてを操作するということや、ピンチとかスワイプとか、新しい概念を世の中に教育している。そういう教育的な動きというのが、Appleの活動の良いところなのかなと思ってますね。 なのでその果てに今回「Spatial Computing」で新しいインターフェースをわかりやすい形で実装していただいてるというのは心強いですし、次のステップを踏んでくれるのかなという期待はあります。 ーーちょうど2月2日に『Vision Pro』が発売を迎えるということで、「空間」の捉え方や記録の伝え方を含め、我々の知覚がどのように変化していくのか……あらためて楽しみですね。本日のお話も踏まえて、より注視していきたいと思います。本日はどうもありがとうございました!
取材=中村拓海、構成=村上麗奈
【関連記事】
- 「音楽そのものが空間であってほしい」 キヌとmemexが語りあう“VRにおける音楽と空間表現”の醍醐味
- メタバースは人間をいかに創り変える? 稲見昌彦×バーチャル美少女ねむが考える「身体」と“アフターメタバース”の行方
- VR/触覚研究者・亀岡嵩幸に聞く、“バーチャルと身体の現在地“ 「とても良いデバイスでなくともいい、将来の土壌を作ることが重要」
- 「今後の人生を“バーチャルだけで生きていく”と決めた」 Vket発起人・動く城のフィオがバーチャル関連の起業を続ける理由
- 「“ALS患者の身体は動かない”という固定概念を覆したい」 筋肉の電気信号で3Dアバターを動かす『Project Humanity』が提示した“テクノロジーによる社会課題の解決”