概述。HPS只使用可穿戴的传感器，联合估计大型三维场景中主体的全三维人体姿势和位置。我们使用IMU数据、头戴式摄像机的RGB视频以及预先扫描的场景作为输入。我们使用IMU数据获得一个近似的三维身体姿势，并使用头戴式摄像机的自我定位来定位三维场景中的主体。然后，我们将近似的身体姿势、摄像机的位置和方向以及三维场景进行联合优化，得到最终的位置和姿势估计。

我们介绍（HPS）人类POSEitioning系统，这是一种利用可穿戴的传感器，通过对周围环境的三维扫描来恢复人类的全部三维姿态的方法。使用连接在身体四肢的IMU和一个向外看的头戴式摄像机，HPS将基于摄像机的自我定位与基于IMU的人体跟踪结合起来。前者提供无漂移但有噪声的位置和方向估计，而后者在短期内是准确的，但在较长时间内会有漂移。我们表明，我们基于优化的整合利用了二者的优势，从而实现了无漂移的姿势精度。此外，我们还将三维场景约束纳入我们的优化，如脚与地面的接触，从而产生物理上可信的运动。HPS补充了更常见的基于第三人称的三维姿势估计方法。它允许捕捉更大的记录量和更长的运动时间，并可用于VR/AR应用，在这些应用中，人类与场景互动而不需要与外部摄像机有直接的视线，或者用于训练像真实人类一样基于第一人称视觉输入来导航和与环境互动的代理。通过HPS，我们记录了一个人类与大型3D场景（300-1000平方米）互动的数据集，其中包括7个对象和超过3小时的不同运动。

Download

By downloading the Data, you agree to the license terms. The full dataset is available as "3D scene scans", "Videos from the head-mounted camera", "Localization results for the videos", "Original IMU poses (adopted for SMPL)" and "HPS results". The description of the files is explained in the Demo repository.            

• Demo repository

• 3D scene scans

• Videos from the head-mounted camera

• Localization results for the videos

• Initialization files

• Original IMU poses (adopted for SMPL)

• Scenes used for optimization

• IMU data in the form MVNX files

• Subject Beta files

• Predefined Vertex Files

• HPS results

Citation

@inproceedings{HPS,
    title = {Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors},
    author = {Guzov, Vladimir and Mir, Aymen and Sattler, Torsten and Pons-Moll, Gerard},
    booktitle = {{IEEE} Conference on Computer Vision and Pattern Recognition (CVPR)},
    month = {jun},
    organization = {{IEEE}},
    year = {2021},
}