Meta展示AI驱动的身体姿势系统最新成果

       Meta 研究人员展示了基于人工智能驱动的身体姿势系统最新成果。

　　目前的 VR 系统开箱即用，只能追踪用户头部和手部位置。用户肘部、躯干和腿部的位置可以使用一类称为逆运动学 （IK） 的算法来估计，但这有时只对肘部准确，而对腿部则很少正确。对于每组给定的头部和手部位置，都有太多潜在的解决方案。鉴于 IK 的局限性，一些 VR 应用程序只显示手部，许多应用只显示一个上半身。

　　智能手机应用现在可以使用计算机视觉进行 VR 身体追踪，但这需要将手机安装在角落里，并且只有在面对它时才可以正常工作。使用 SteamVR 追踪的 PCVR 头显通过佩戴额外追踪器（如 HTC Vive Tracker）支持更高质量的身体追踪，但购买足够的身体追踪设备需要花费数百美元。

　　去年，三名 Meta 研究人员展示了 Quest Sim，这是一种强化学习模型，仅通过 Quest 2 及其控制器的追踪数据就可以估计合理的全身姿势，无需额外的追踪器或外部传感器。生成的化身运动与用户的真实运动非常接近。研究人员甚至声称，由此产生的精度和抖动优于佩戴的 IMU 追踪器，这些设备只有加速度计和陀螺仪，如索尼的 Mocopi。

　　但是 Quest Sim 失败的一个极端情况是当用户与现实世界交互时，例如坐在椅子或沙发上时。处理这个问题，尤其是坐着和站着之间的过渡，对于社交 VR 中的逼真完整身体至关重要。

　　在一篇名为 Quest Env Sim 的新论文中，同样的三名研究人员和另外两名研究人员提出了一个更新的模型，仍然使用相同的强化学习方法，该方法考虑了环境中的家具和其他物体：

　　研究结果相当令人印象深刻。但是，不要指望 Quest Env Sim 会很快在 Quest 2 上运行。与原始的 Quest Sim 一样，这里有几个重要的注意事项。

　　首先，本文没有提到所描述系统的运行时性能。机器学习研究论文倾向于以相对较低的帧速率在强大的 PC GPU 上运行，因此可能需要数年时间才能实时运行。

　　其次，在虚拟环境中手动扫描和定位所使用的家具和物体。虽然 Quest 3 可能能够通过其深度传感器自动扫描家具，但 Quest 2 和 Quest Pro 没有那么关键的传感器数据。

　　最后，这些系统旨在产生合理的整体全身姿势，而不是与手部确切位置相匹配。系统的延迟也相当于 VR 中的许多帧，因此，这些方法对于在 VR 中俯视自己的身体来说效果不佳，即使它们可以实时运行。

　　但是，假设系统最终可以优化，看到其他人化身的全身运动将比 Meta 当前无腿上半身化身要好得多。