アップルVisionPro活用した同様の研究が増える可能性も

上記のように、アップルのVisionProなど最新のMR／VRヘッドセットのセンサー技術を使ったロボット操作の研究は、今後さらに増えていくものと思われる。MITの別の研究グループが、VisionProのトラッキング機能をロボット制御に応用するためのツールキットを開発し、オープンソースで公開したためだ。Open-TeleVisionの研究でも、この論文が参考文献にあがっており、利用された可能性がある。 VisionProは、装着者の頭部、手首、指の動きを高精度でトラッキングする機能を持つ。これらのデータは、人間の実世界での行動を記録したり、直感的な動作でロボットを遠隔操作したりするのに適している。また、バーチャル／拡張現実機能を活用することで、ロボットの遠隔操作時により没入感のある体験を提供できる可能性がある。 開発されたツールキットは、VisionProからトラッキングデータを取得し、同じネットワーク上の任意のクライアントデバイスにストリーミングできるライブラリを提供している。このライブラリは簡単に使用でき、LinuxやMac、Windowsなど幅広いデバイスからデータにアクセスできるよう設計されているという。 VisionProが捉えるデータには、部屋全体（グローバルフレーム）を基準とした頭部と両手首の位置と向き、そして手首を基準とした25の指関節の位置と向きが含まれる。これらのデータは、3D空間での位置と向きを表すSE（3）形式（Special Euclidean group in three dimensions＝3次元特殊ユークリッド群）で提供される。さらに、ツールキットは親指と人差し指の間の距離や手首の回転角度といった、ロボット制御に役立つ追加情報も計算して提供している。これらのデータを利用することで、開発者は人間の複雑な動きをロボットに正確に伝え、制御することが可能になる。 しかし、VisionProを活用する上でいくつかの注意点もある。たとえば、エレベーターや飛行機、車など動く閉鎖空間内では、デバイスの位置推定に失敗する可能性がある。また、わずかな上り坂や下り坂を移動すると、ユーザーが気付かないうちにZ座標が変化してしまう場合がある。さらに、手を完全に下げた状態ではVisionProが手を検出できないため、トラッキングデータにノイズが生じる可能性が指摘されている。 今後の計画として、研究チームはアップルのARKitやRealityKitを使用したロボット応用のための機能を追加していく予定だ。特に、シミュレーション／実世界とVisionPro間の双方向接続の可能性を探ることが次の段階として検討されているという。 VisionProを活用したこのような取り組みは、人間の知性とロボット工学を融合させる新たなアプローチとして注目される。ロボットの遠隔操作や学習において、より直感的で効果的な方法を提供する可能性を秘めており、今後の発展が期待される。