ロボットと人間の知性を統合する試みも、「Open‐TeleVision」

生成AIの進化により、ロボットの自律性が向上する一方で、人間の知性をロボット制御に直接統合しようという試みも進んでいる。その代表例が、マサチューセッツ工科大学（MIT）とカリフォルニア大学サンディエゴ校（UCSD）の研究チームが2024年7月に発表した「Open-TeleVision」システムだ。 Open-TeleVisionは、オペレーターがロボットの周囲を立体的に認識しながら、自身の手や腕の動きをロボットに反映させることができる遠隔操作システム。研究チームは、このシステムについて「オペレーターの心がロボットの身体に転送されたかのような没入感のある体験を生み出す」と説明している。 Open-TeleVisionシステムの最大の特徴は、立体視（3D）による視覚情報と、自由に動かせるカメラ機能を組み合わせた点にある。ロボットの頭部に特殊な3Dカメラ（アクティブステレオRGBカメラ）が1台取り付けられている。このカメラは、オペレーターがMRヘッドセットを装着して頭を動かすと、それに連動して動く仕組みになっている。 カメラが捉えた映像は、即座に立体的な3D映像としてオペレーターのVRデバイスに送られる。この仕組みにより、オペレーターはまるでロボットになったかのような感覚で、ロボットの周りの状況を3Dで見ることができる。人間が自然に頭を動かして周囲を見回すように、ロボットの「目」を自由に動かして周囲を確認できるのだ。 Open-TeleVisionシステムが提供する一人称視点と能動的な視覚制御は、ロボットの遠隔操作と学習の両面で大きな利点をもたらす。 遠隔操作の面では、オペレーターはまるで自分の目でロボットの周囲を見ているかのように、ロボットの「頭」を自由に動かすことができる。これにより、作業環境全体を見渡したり、特定の対象物に注目することが直感的に行える。たとえば、作業台の上の小さな部品を探す際、人間が自然に頭を動かして探すように、ロボットの視点を制御できる。 一方、機械学習の観点からも、このシステムは有益である。ロボットは人間のオペレーターの動きを観察し、「頭の動かし方」も含めた全体的な作業の流れを学習する。つまり、単に手や腕の動きだけでなく、視線の向け方や注意の向け方まで模倣することができるのである。これにより、より人間らしい、自然な動きをするロボットの開発につながる可能性がある。 このシステムは、災害対応や遠隔手術、宇宙探査、産業機械の保守など、幅広い分野での応用が期待される。特筆すべきは、インターネットを介したオペレーターによる遠隔制御を可能にした点だ。実際に、MITにいる研究者の一人が、約4,800キロ離れたUCSDにあるロボットを遠隔操作することに成功している。 ロボットの操作は、人間の手の動きをVRデバイスで捉え、それを数値化し、ロボットに転送することで可能になっている。この実験では、アップルのVisionProとメタのQuestが使用された。Open-TeleVisionは、VRデバイスのセンサー精度の向上により、可能になった技術といっても過言ではなく、今後手の動きを捉えるセンサー精度はVRデバイス開発における注目点になっていくと考えられる。