在这项工作中，我们研究了使用3D手势识别与3D对象交互的第一人称动态手势。为了实现这一目标，我们收集了RGB-D视频序列，该序列由超过40万个日常动作类别的100K帧组成，涉及26种不同物体的几种手部配置。为了获得手势注释，我们使用了自己的Mo-cap系统，该系统通过6个磁传感器和逆运动学原理自动推断手模型的21个关节中每个关节的3D位置。此外，我们记录了6D对象的姿势，并为一部分手-对象交互序列提供了3D对象模型。据我们所知，这是第一个使用3D手势研究第一人称手势的基准。我们通过18种基准/最先进的方法对RGB-D和基于姿势的动作识别进行了广泛的实验评估。测量使用外观特征，姿势及其组合的影响，并评估不同的训练/测试协议。最后，我们评估在以自我为中心的视图中物体严重遮挡手及其对动作识别的影响时，3D手势估计字段的准备程度。从结果可以看出，与其他数据模式相比，使用手势作为动作识别的线索有明显的好处。我们的数据集和实验可能对3D手姿势估计，6D对象姿势，机器人技术以及动作识别等社区感兴趣。

Citation
@InProceedings{FirstPersonAction_CVPR2018,
  title={First-Person Hand Action Benchmark with RGB-D Videos and 3D Hand Pose Annotations},
  author={Garcia-Hernando, Guillermo and Yuan, Shanxin and Baek, Seungryul and Kim, Tae-Kyun}
  booktitle = {Proceedings of Computer Vision and Pattern Recognition ({CVPR})},
  year = {2018}
}