卡内基梅隆大学构建身体追踪系统“ControllerPose”

近日，美国卡内基梅隆大学的研究人员利用VR控制器上的摄像头构建了一个身体追踪系统“ControllerPose”。

　　当今的消费级头显仅仅具备头手追踪功能，如果想要达到全身追踪效果，一般做法是额外购买HTC Tracker等追踪器或者定位基站，这些硬件设备花销不菲。还有一些非官方的身体追踪解决方案使用旧硬件与社区自制的驱动程序，例如微软Kinect，但这只能从前置角度工作，而且追踪质量不是很好。

　　理论上，VR头显由上而下的摄像头可以用于四肢追踪，但由于该摄像头经常被手部、躯体等部位遮挡，追踪效果并不理想。像Meta这样的公司也可以发布带有摄像头、电池和运行计算机视觉算法的移动芯片组的无线外部追踪站，但让用户购买和设置如此昂贵的配件，有些不切实际。

　　据了解，ControllerPose是一个原型解决方案，研究人员把两个鱼眼摄像头分别安置到两个VR手柄当中，并且保持摄像头指向用户。该软件将两个摄像头拍摄的视图拼接在一起，以实现更宽广视野，并尽可能多地看到用户的身体。研究人员表示，他们的身体追踪估计精确到8.59厘米以内。

　　为了处理摄像头数据，研究人员尝试了两种方法：流式传输到附近的PC，以及使用 Raspberry Pi Compute Module 4和Google Coral进行板载处理。使用 PC会更便宜，但板载处理会降低延迟。

　　去年9月出现的屏幕截图似乎显示了即将推出的Project Cambria的控制器，该控制器带有三个板载摄像头，支持inside-out追踪，泄露的视频也显示了它能够实现身体追踪功能。Cambria或未来的Meta头显都可能使用类似于ControllerPose的技术来执行身体跟踪。

　　据研究人员称，ControllerPose的缺点是在平常VR体验中，有32%的操控时间处于视野盲区，它们要么太近，要么偏向一边。未来的系统可能会在控制器和头显上集成摄像头，但似乎只有外部解决方案才能实现完全可靠的身体跟踪。不过，这样的解决方案能否在足够多的场景下对大多数人有用还有待观察。

— END —

玖壹玖声明：内容信息均来自于网络，侵权请联系。

载此文出于传递信息之目的，并不意味着赞同其观点或证实其描述。