0 点云

点云（point cloud）是空间中点的数据集，可以表示三维形状或对象，通常由三维扫描仪获取。点云中每个点的位置都由一组笛卡尔坐标 (X, Y, Z) 描述，有些可能含有色彩信息（R,G,B）或物体反射面强度（Intensity)信息。强度信息的获取是激光扫描仪接受设备采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。点云也是逆向工程中通过仪器测量外表的点数据集合。

环面的点云图像

点云是现实世界三维数字化的一种表达方式，其不同于传统的二维栅格影像数据和结构化的矢量地图数据，并具有如下的特点：

• 三维表达、高密度、非结构化

• 具有一定的属性，如强度信息，回波信息等

• 存在数据"空洞，即数据缺失

• 非均匀空间分布

1 数据集

1.1 WHU-TLS: 地面站扫描点云配准基准数据集

1.1.1 背景介绍

• 地面激光扫描系统（TLS）通过高速度、高密度、高精度地采集地物表面的三维几何信息，被广泛应用于多个领域

• 点云配准是 TLS 应用的基础和前提，但面临着密度变化、视角差异、重叠度限制、数据海量等问题

1.1.2 数据集概述

• 近年来，基于深度学习的图像配准方法已成为计算机视觉领域的基准方法，但在3D点云配准领域，由于缺乏大型数据集作为基准，深度学习方法尚未给点云配准带来真正的变革

• 为此，武汉大学发布了全球最大规模、多类型场景的TLS点云配准基准数据集，命名为WHU-TLS

• WHU-TLS基准数据集包含了11种不同环境下的115个测站、17.4亿个三维点和点云之间的真实转换矩阵

• 该基准数据集为铁路安全运营、河流勘测和治理、森林结构评估、文化遗产保护、滑坡监测和地下资产管理等应用提供了有效数据

数据集示例

1.2 WHU-Helmet: 头盔式激光扫描实时建图数据集

1.2.1 背景介绍

• 高精度三维点云作为新型基础测绘数据，在公路、水利、林业、电力等行业得到广泛应用

• 移动测量技术是获取高精度三维点云数据的主要手段，包括机载、车载和地基等平台，但存在一些问题，如在 GNSS 信号缺失区域（例如森林、山区、地下）空间精度差、复杂环境下的低时效性以及设备整体体积过大

1.2.2 硬件配置

• WHU-Helmet系统能够实时进行高精度三维制图，城市环境中的定位精度可达到0.06%（每公里里程计漂移距离百分比），在林区可以达到0.25%

(a) 头戴式系统； (b) 带有参考光纤陀螺仪的头戴式系统

WHU-Helmet：所见即所得

1.2.3 数据集概述

• 第一个大规模 HLS 数据集，涵盖多个 GNS-Denied 困难区域

• 与 SLAM （及时定位与地图构建）数据集相比，WHU-Helmet 包含具有丰富感官信息的多样化现实场景

结构清晰，地面平整

1.3 WHU-Urban3D

1.3.1 数据集概述

• 涵盖机载(ALS)点云、移动激光扫描(MLS)点云。包含超过5亿个三维点，总覆盖面积超过360万平方米，并逐点提供空间坐标、反射强度、扫描角度、语义和实例标签等属性

1.3.2 优势

• WHU-Urban-3D 数据集覆盖了数公里的室外区域，包含了真实道路和城市场景中的30多种对象，这对于进行城市规模应用的3D深度学习方法的模型训练和测试非常有益

• 通过同时提供 ALS 和 MLS 点云，WHU-Urban-3D 数据集提供了俯视和侧视图

• 该数据集包含逐点实例标签，用于准确地对对象进行分割和标记

实例注解

语义注解

2 算法

2.1 点云配准与描述子

点云配准（Point Cloud Registration）是指将多个点云数据集对齐以获得一个整体一致的点云模型的过程。点云配准算法指的是输入两幅点云 Ps (source) 和 Pt (target)，输出一个变换T（旋转R和平移t）使得 T(Ps) 和 Pt 的重合程度尽可能高

描述子是一种用于表示和描述三维点云数据的特征向量或特征描述子。点云描述子的目的是捕捉点云的局部几何特征和全局结构信息，以便进行点云处理、识别、分类、配准等任务

蓝色的鱼正在被配准到红色的鱼

2.1.1 点云局部描述子BSC

2.1.1.1 点云局部描述介绍

三维点云特征描述子可以分为两大类：

• 整体特征描述子

• 局部特征描述子

整体特征描述子刻画目标的全局特征，忽略了形状细节，因此，很难从目标交错、重叠的杂乱场景中识别部分可见或不完整的物体

与此相反的，局部特征描述子刻画一定邻域范围内的局部表面特征，对目标交错、遮挡、重叠等具有较强的鲁棒性，更适合部分可见或不完整物体的识别

优秀的点云局部特征描述子必须同时具备很强的鲁棒性和描述性。其中，描述性体现在：尽可能多地刻画局部表面的形状、纹理、回波强度等信息。强鲁棒性体现在：对噪音、点密度变化、遮挡、目标交错和重叠等具有强鲁棒性

2.1.1.2 BSC算法概述

为了提高三维点云局部特征描述的鲁棒性与提取效率，提出了二进制形状上下文特征描述算子（binary shape context, BSC）

BSC描述算子的提取与表达主要包括：关键点检测，局部坐标系建立，坐标转换及格网化，加权投影特征计算以及特征二值化等步骤

方法关键流程

四种可能的局部坐标系

算法思路如下:

1. (a) 关键点检测；

2. (b) 局部坐标参考系建立：对每个关键点建立一个局部坐标系。由于特征向量存在180度的不确定性，每个坐标轴的方向有两种选择，共4种可能的局部坐标系，如上图所示；

3. (c) 将关键点及领域点集转换到局部坐标下，以增强特征描述子对于旋转、平移、视角变化等因素的鲁棒性；

4. (d) 把转换后的局部点云投影到 xoy、xoz、yoz 三个坐标平面中，并把投影后的点云划分为 S×S 的格网；

5. (e) 采用高斯距离加权的方式累计每个格网的投影特征，如投影密度、投影距离和回波强度等，并把特征归一化到0~255显示。提高了特征计算对于局部坐标系扰动、格网边界效应等的鲁棒性；

6. (f) 特征二值化，提高了特征存储和匹配的效率，满足大规模点云特征快速提取需求。BSC利用特征差异性测试实现上述投影特征的二值化，特征差异测试随机选择两个格子并计算它们的特征的差异性，存在显著差异，测试结果为1，反之为0；

7. (g) 融合局部坐标系和 xoy, xoz, yoz 投影面的投影密度、投影距离、回波强度二值化特征得到关键点的BSC描述子。

(a) xoy 投影面的投影距离特征归一化到0~255的结果；(b)用于差异性测试的格子序号；(c)对应的差异测试结果

2.1.1.3 实验结果与分析

表达性

不同描述子在不同数据集上的PR曲线

鲁棒性

描述子对于点密度变化的鲁棒性

时间与内存效率

总结

BSC 提取与表达算子具有两大优点：

• BSC 描述子对于点云局部特征刻画具有较高的描述性和鲁棒性

• BSC 描述子具有很高的时间和内存使用效率

2.1.2 点云旋转等变描述子YOHO

2.1.2.1 概述

提出了一种新的点云配准框架，使用旋转等变描述子来估计点云之间的变换。这个描述子具有旋转不变性和旋转等变性，可以帮助我们找到相同的点并获取点云之间的变换矩阵。这种方法将传统的RANSAC算法的搜索空间从立方级降低到线性级，从而实现了更快的收敛速度。实验结果显示，使用这种方法只需要进行1,000次RANSAC迭代就能达到比其他方法在50,000次迭代中更好的效果

2.1.2.2 基于特征的点云配准

基于特征的点云配准首先在两帧点云上各提取一些关键点特征，随后基于特征相似性进行关键点配对确定一组同名关键点对，并通过RANSAC的策略克服其中误匹配的影响来得到最终的变换矩阵

由于两帧点云存在未知SE(3)变换，所以所提取的关键点特征在各种姿态下保持不变以用于后续匹配。其中平移不变性是较好实现的，通过关键点中心化提取局部特征即可消除其影响。因此大量算法聚焦于构建描述能力强的旋转不变特征(SO(3) Invariance)

2.1.2.3 现有算法的问题与改进

现有的配准算法在构建旋转不变特征方面存在一些挑战，而变换估计的过程中需要进行大量的计算，导致算法效率低下

为了解决这些问题，作者提出了一种新的方法：在特征中同时编码方向信息和形状信息，并使用一种新的描述子来表示这些信息。这样一来，我们便不需要构建局部参考框架等额外步骤，就能够有效地匹配同名点。而且，通过对齐点云之间的方向信息，我们可以直接获得变换矩阵，从而将计算量从立方级降低到线性级。这样一来，算法的准确性提高了，同时计算速度也得到了显著的提升。

(a) YOHO的关键思想是利用局部块的方向信息来找到局部扫描之间的全局对齐。(b) YOHO能够自动将局部扫描整合成完整的场景，即使这些局部扫描包含大量噪声和显著的点密度变化。(c) 在3DMatch/3DLoMatch数据集上对齐一对扫描的成功配准率和平均时间成本的图表。YOHO比以前的方法更高效、更准确

2.1.2.4 实验结果

YOHO在3DMatch-train（室内）数据集上的定量结果

对比SOTA

图 a 表明: 其中预测的同名点对正确率即Inlier Ratio上YOHO取得了SOTA （State of the Art）水平，证明群旋转不变的相较于现有旋转不变获取方式的优越性。而Registration Recall指标显示，所提出的变体YOHO-C/O，仅利用1k甚至0.1k次RANSAC迭代就取得了超过SOTA的水平（3DLoMatch上5%的提升），体现了旋转等变变换估计的有效性。此外值得注意的是，我们在没有利用点云间重叠信息的情况下，甚至超过了利用重叠信息增强同名点预测的Predator，体现了YOHO的可靠性。

泛化能力

图 b,e,f 表明: 仅在室内场景做训练，直接泛化到室外场景的ETH和WHU-TLS，YOHO也取得了SOTA效果，而现有算法多有大幅度效果下降，这得益于YOHO-Desc具有理论支撑的旋转不变性，克服了全空间旋转数据增强带来的对训练集的过拟合问题，同时具有比local-patch based算法如SpinNet等更快的计算。

2.1.3 两站点云配准框架RoReg

2.1.3.1 背景介绍

一般的配准流程包含了4个部分：

• 特征检测： 检测重复、可匹配的关键点

• 特征描述： 从检测出的关键点中抽取不同的描述子

• 特征匹配： 匹配抽取的不同描述子，从而去找到可靠的对应点

• 变换估计： 根据对应点去找到一个严格的变换矩阵，从而实现点云的配准

面临的问题：

• 特征检测： 关键点的定义是模糊的，不能为学习检测器提供明确的指导

• 特征描述： 基于学习的描述子需要对未知的旋转具有不变性,这通常依赖外部局部参考框架（LRF）和手工设计的旋转不变属性，这些属性在存在噪声或密度变化的情况下既不稳定也不具有区分性

• 特征匹配： 重复的模式和点密度的变化仍然使得匹配器难以找到正确的对应关系

• 变换估计： 从众多错误的对应点中，找到正确的对应点用于匹配非常困难

本文认为，通过利用所谓的定向描述符（oriented descriptors） 和局部旋转（local rotations） ，可以解决上述问题！

2.1.3.2 模型概述

(左)RoReg配准框架 (右)利用RoReg框架序列配准多类型场景点云实现场景重建

RoReg配准框架如上图所示，该研究基于群策略构建旋转等变特征编码点云局部方向信息，并将其针对性应用于局部旋转估计、关键点检测，同名点预测及变换估计中实现各步骤效果提升，论文的贡献如下：

1. 特征描述

提出点云局部群特征 RoReg-Desc。其针对 SO(3) 离散子群（正二十面体群）具有群旋转等变性，即编码点云局部方向信息，可用于估计局部旋转。同时基于旋转群特征池化构建理论保证的旋转不变特征，使其具有更强的描述性、鲁棒性和泛化性；

2. 关键点检测

提出基于群特征旋转等变模糊性辨识点云局部方向模糊性/分布显著性，进而提升关键点检测重复性；

3. 同名点预测

提出基于群特征相对指向一致性的匹配子图约束，感知同名点对局部旋转一致性，进而提升重复纹理/弱纹理同名点对估计可靠性；

4. 变换估计

提出基于群特征对齐策略的单一同名点对变换估计，将RANSAC立方级检索空间降低为线性检索空间，加速算法收敛。

2.1.3.3 实验结果

模型在3Dmatch、3DLoMatch、ETH三个公开数据集进行了对比实验及消融实验。实验结果表明，RoReg点云配准框架在取得较短耗时的同时，在3DMatch/3DLoMatch上相较于现有最优算法实现了4.4%~23.6%的内点比例提升，2.8%~5.3%的配准成功率提升。室内数据训练的模型直接泛化到室外数据集ETH时，RoReg相较于现有最优算法取得了5.0%~7.3%的内点比例提升及1.1%~15.5%的配准成功率提升。

2.1.4 多站点云配准框架SGHR

2.1.4.1 背景介绍

最近涌现的配准方法主要集中在两站点云（扫描）的成对配准，它只能重建场景的一部分。为了得到一个完整的场景重建，所有的部分点云应该同时被对齐，这被称为多视角配准 (multiview registration)

过去的多视角配准方法依赖于穷尽式的成对配准，以构建一个密集连接的姿态图，并在姿态图上应用迭代重新加权最小二乘(IRLS)来计算扫描姿态

然而，构建密集连接图耗时且包含大量离群边缘，这使得后续的IRLS难以找到正确的姿态

2.1.4.2 SGHR 概述

给定N站扫描待配准点云(1)， 目标是将所有这些扫描配准到一个完整的点云中 (4)

本文提出的模型，可以从两个方面改进多视图配准，如上图所示。首先，(2) 学习一个良好的输入姿势图的初始化，这避免了详尽的成对配准并降低了异常值比率。其次，提出了一种新颖的历史重加权函数 (3)，该函数能够稳定收敛以纠正 IRLS 方案中的姿态, 从而提高对异常值的鲁棒性。

SGHR算法框架

算法贡献包括稀疏图构建及基于历史重加权的位姿图解算。 首先，基于两站点云重叠度及配准成功率正相关关系，算法通过网络快速估计任意两站点云间重叠度，并筛选可靠点云对恢复相对位置关系，构建稀疏位姿图；位姿图构建理论复杂度从平方级降低为线性级。随后，在根据稀疏相对位姿图解算点云绝对位姿中，提出基于历史重加权核函数的选权迭代策略，进一步提升位姿计算可靠性。

2.1.4.3 实验结果

多类型数据集定量配准结果

多类型数据集定性配准结果

相比现有多站点云配准算法，SGHR在3DMatch数据集上取得11%的配准成功率提升，在ScanNet数据集上取得13%的配准精度提升，在ETH数据集上取得99.8%的配准成功率，同时所需两站点云配准数量减少约70%。

2.2点云上采样

基于双关联约束的点云上采样模型PC2-PU

2.2.1 背景介绍

点云作为三维表面的紧凑表示，为几何处理提供了有效的方式。它们广泛应用于许多领域，例如自动驾驶汽车、智能城市和机器人技术。然而，由于扫描传感器或光照反射的固有限制，从3D扫描仪获取的原始点云通常是稀疏的、带有噪声的和遮挡的。因此，在将原始数据应用于点云分割、表面重构等后续工作之前，需要对原始点云进行增强。为实现这一目标，点云上采样（Point Cloud Upsampling）是一种理想的方式，可以使原始点云密集化，提供对底层表面更真实的描述。

在第一行中，现有方法在上采样时仅考虑每个单独的补丁，忽略了整个对象的空间一致性，导致椅子的边界结构丢失。 第二行显示了当输入包含噪声时不同方法的结果。

然而，当前的上采样方法存在两个限制，限制了其性能：

1. 这些方法只考虑每个补丁的空间信息，忽略了目标表面的整体空间一致性。如图 (a) 所示，单个补丁在边界上可能呈现有限或模糊的结构信息。因此，当前的方法往往会在多个补丁的交叉区域产生额外的伪点。

1. 它们主要关注干净输入的稀疏到稠密的解决方案，但不充分考虑生成的密集点的局部空间一致性，如图 (b) 所示，上采样性能对输入质量极为敏感。

2.2.2 提出的方法

针对上述问题，作者提出在上采样过程中利用补丁之间的关系和点与点之间的关系，旨在维护目标的空间一致性，实现更高效和更鲁棒的上采样。关键动机是单个补丁只提供了部分结构信息，特别是在边界上，因此我们提出在上采样过程中引入相邻补丁来补偿丢失的信息，以确保全局空间一致性。在增强每个补丁的几何结构后，我们通过揭示每个补丁内点之间的关系来保持局部空间一致性并恢复细粒度的结构。

2.2.3 实验结果

在虚拟数据、仿真数据、真实扫描数据等多类型的数据集上进行了实验，在基准数据集上超过SOTA的结果近20%，并在低噪声水平下表现的更加鲁棒。

2.3 点云补全

基于知识迁移的点云补全网络KT-Net

2.3.1 背景介绍

由三维扫描设备获得的原始点云往往是稀疏的、有噪声的和不完整的、这就需要进行预处理（如补全、去噪）。

本文重点关注的是对不完整点云进行完整形状预测的具体任务，其中缺失的形状通常是由于有限的扫描视角和遮挡所导致的。在这个领域中，以往基于深度学习的研究通常依赖于不完整形状和相应的完整地面实况之间的配对监督。然而，尽管这些有监督方法取得了很大的进展，但完成性能仍然受到配对训练数据的不足限制，这是由于在现实场景中难以获得不完整形状的完整地面实况所导致的。

2.3.2 提出的方法

• 提出了KTNet方法，从知识转移（knowledge transfer）的角度解决这个任务。KTNet建立了一个师生网络（teacher-assistant-student network）来进行多个知识转移过程。

• 师傅网络（teacher network） 以完整形状为输入，学习完整形状的知识。学生网络（student network）以不完整形状为输入，恢复相应的完整形状。助手模块（assistant modules）不仅帮助将完整形状的知识从师傅传递给学生，还评判学生网络的学习效果。

• KTNet通过知识转移的视角，利用更全面的理解来建立完整和不完整形状之间的几何对应关系，从而实现更详细的几何推断，生成高质量的完整形状。

算法思想示意图

2.3.3 实验结果

现实世界部分扫描上的形状补全，显示的数字为UHD [越小越好]

2.3.4 实验结果

在几个广泛使用的数据集（包括synthetic datasets 以及 real-world scans）上进行了评估，在与其他无配对补全方法相比较时，取得了显著的最先进性能，方法优于最先进的（SOTA）不配对形状补全方法。

2.4 点云法线

法向量估计基于offset-learning策略的点云法向估计网络AdaFit

2.4.1 点云法线定义

对于一个三维空间的正则曲面R(u, v), 点(u, v)处的切平面(Ru, Rv)的法向量即为曲面在点(u, v)的法向量 （Normal）。点云是曲面的一个点采样，采样曲面的法向量就是点云的法向量

2.4.1.2 现有的问题与改进

在点云处理中，其中一个基本任务就是从点云中鲁棒地估计表面法线，这在许多实际应用中起着十分关键作用，例如表面重建、配准、分割、图元拟合、逆向工程和抓取。但由于存在噪声、点密度变化和结构缺失的问题，对点云的鲁棒且准确的表面法线估计任务仍然十分具有挑战性

本文提出了一种用于对点云进行鲁棒法线估计的神经网络AdaFit，该网络可以处理具有噪声和密度变化的点云。现有的一些工作使用网络学习加权最小二乘曲面拟合的逐点权重来估计法线，这很难在复杂区域或包含噪声点的表面找到准确的法线。通过分析加权最小二乘曲面拟合的步骤，作者发现拟合曲面的多项式阶数很难确定，因此拟合的曲面对噪点很敏感。为了解决这些问题，作者提出了一个简单而有效的解决方案，它增加了一个额外的偏置预测层来提高法线估计的质量。此外，为了利用来自不同邻域大小的点集，作者提出了一种新的级联尺度聚合层（Cascaded Scale Aggregation layer），以帮助网络更准确的预测逐点偏移和权重。大量实验表明，AdaFit 在合成的 PCPNet 数据集和真实 SceneNN 数据集上都取得了最先进的性能。

2.4.1.3 算法描述

主要贡献总结如下：

1. 通过对加权表面拟合理论进行全面分析，发现了这些方法在法线估计中存在的两个关键问题。

2. 通过预测偏移来调整相邻点的分布，从而实现法线估计的鲁棒性和准确性。

1. 设计了一个包含CSA 层的AdaFit网络，可以同时结合邻域的小尺度和大尺度的优势，从而在多个数据集中实现性能提升。

(a) 给定输入的点云（左图），目标是为每个点估计一个法线（右图）。 (b) 当前的加权最小二乘表面拟合受到欠拟合（顶部）、过拟合（中部）或异常值（底部）的严重影响，导致法线估计不准确。 (c) 两种法线估计方法的误差图。第一种模型仅使用加权最小二乘表面拟合（左图），而第二种模型添加了额外的偏移量来调整邻域点的分布，从而产生了更准确的法线估计结果。 (d) 使用仅具有权重的模型（左图）和具有权重和偏移量的模型（右图）重建的表面

作者提出了使用拟合几何曲面的方法来估计法线，通过调整相邻点的分布和预测表面的多项式阶数来提高估计的准确性和鲁棒性。此外，作者还设计了一个Cascaded Scale Aggregation (CSA) 层来选择最佳邻域大小，并提出了AdaFit网络来实现该方法。

2.4.1.4 实验结果

PCPNet 数据集上的法线估计误差

SceneNN 数据集上的法线估计误差

通过实验表明，AdaFit 在合成 PCPNet 数据集和真实 SceneNN 数据集上均实现了最先进的性能