我们提出了第一种无标记的方法，用于从单眼视频中获取具有一般服装的人的时间相干3D性能。我们的方法在一般场景中重构了关节运动的骨骼运动以及中等规模的非刚性表面变形。由于关节活动范围广，潜在的快速运动以及相当大的非刚性变形（即使从多视图数据中获得），捕获人类绩效也是一个具有挑战性的问题。仅凭单眼视频进行重建就更具挑战性，因为强烈的遮挡和固有的深度模糊性会导致严重的不适定重建问题。我们通过一种新颖的方法来应对这些挑战，该方法采用基于批处理的姿态估计策略，通过卷积神经网络采用稀疏的2D和3D人体姿态检测。逐批运动的联合恢复允许基于低维轨迹子空间解决单眼重建问题的歧义。此外，我们建议基于全自动提取的轮廓来优化表面几何形状，以实现中等规模的非刚性对齐。我们展示了最新的性能捕获结果，这些结果可实现令人兴奋的应用程序，例如视频编辑和自由视点视频，这是以前单眼视频无法实现的。我们的定性和定量评估表明，在可处理的准确性，鲁棒性和场景复杂性方面，我们的方法明显优于以前的单目方法。

Citation

@article{Xu:2018:MHP:3191713.3181973,
 author = {Xu, Weipeng and Chatterjee, Avishek and Zollh\"{o}fer, Michael and Rhodin, Helge and Mehta, Dushyant and Seidel, Hans-Peter and Theobalt, Christian},
 title = {MonoPerfCap: Human Performance Capture From Monocular Video},
 journal = {ACM Trans. Graph.},
 issue_date = {June 2018},
 volume = {37},
 number = {2},
 month = may,
 year = {2018},
 issn = {0730-0301},
 pages = {27:1--27:15},
 articleno = {27},
 numpages = {15},
 url = {http://doi.acm.org/10.1145/3181973},
 doi = {10.1145/3181973},
 acmid = {3181973},
 publisher = {ACM},
 address = {New York, NY, USA},
 keywords = {3D pose estimation, Monocular performance capture, human body, non-rigid surface deformation},
}

Acknowledgments

This work is funded by the ERC Starting Grant project CapReal (335545).

Contact

For questions, clarifications, and access to the dataset, please get in touch with:
Weipeng Xu
wxu@mpi-inf.mpg.de