描绘目标的精确线条一直是艺术家引以为豪的高超手艺，寥寥几笔就能刻画出逼真的形貌。这看似简单的背后却需要艺术家长期的训练对三维形状的深入理解和对线条的取舍与光影的平衡。

如何让机器学会艺术家的这种能力是计算机视觉领域一个非常有意思的开放性问题，需要综合三维形状理解、视觉感知和图像风格化等多个领域的技术。来自麻省大学阿默斯特分校和Adobe的研究人员最近提出了一种结合可操作几何特征的三维模块和操作图像与视角特征的图像模块共同实现对三维模型线条的描述，这种方法在精度和视觉效果上都超过了传统的方法，可以精确简洁地描述模型的线条表示。

Neural Contours模型

从三维形状到二维线条草图看起来简单，但用先前的图像风格迁移方法来处理会使得模型无法有效获取形状隐含的的三维几何信息。如果使用分析几何类的算法虽然可以捕捉基本的线条特征，却无法捕捉真实绘画时候的复杂线条特征，针对每一个模型都需要一系列参数来调节。综合三维分析和图像特征是一个可行的研究方向。

在本研究中研究人员的目标是通过三维形状生成线条稿，模型包含了几何与图像两个分支。其中几何分支基于轮廓、凹凸和形貌实现线条的绘制，不同于现有手工调参方法，这一分支可以利用可差分模型自动对参数进行选择。而图像分支则使用了标准的图像迁移网络模型，同时加入了基于视角的形状表示。通过两个分支的有机结合可以为三维形状得到较为清晰、完整、高效的线条表示。

下图显示了模型的基本架构，其输入为三维形状和相机参数、输出为对应视角下的2D灰度线条稿。

模型分为几何分支和图像迁移分支，其中几何分支主要基于3D模型的几何特征来进行线条绘制、图像迁移分支则通过图对图的迁移来学习线条，同时来利用了排序模块来决定最好的线条参数。

几何分支主要依赖于经典的几何线条定义，包括启发性轮廓线（suggestive contours），脊线谷线与显著脊线（ridges，valleys，apparent ridges）等。

生成线条的第一部分是轮廓线Occluding Contours，模型利用插值轮廓算法生成了一幅二进制掩膜图Ic，在轮廓线投影位置其值为＇on＇。这是无参数模型不需要进行任何学习，其生成结果如上图b所示。

生成线条的第二部分是启发性轮廓SC，可以定义启发性轮廓是曲线残差集合中值为零但方向导数大于零的点。针对网格可以通过寻找曲线残差几何的零集来得到这些曲线，如图c所示如果渲染所有的SC是不现实的，利用一个阈值将较弱的SC去除掉得到如上图d中的结果。为了自动化地确定这一阈值，研究人员引入了可查分的方法来确定阈值的结果在网络模块的上半部分就显示了SC的投影图和残差方向导数。另一部分与显著脊线图和视角相关的曲率一同作为输入，以便自动化确定了显著脊线的阈值。上图中g和h也相应的显示了显著脊线在阈值过滤的前后结果。

针对图像分支，研究人员使用了图像迁移网络模块来绘制对应的线条表示。其输入包含了给定视角下的深度图和六个不同尺度的渲染结果，它们一同堆叠在一起同时输入到类似pix2pixHD的编解码器中，得到图像分支的线条结果。

随后将几何分支和图像分支的线稿图通过最大化的方式合并在一起最终得到线稿绘制结果。阈值参数对于几何线条的去留十分重要，它决定了几何线条以多大的程度为最终图像做出贡献。研究人员在测试的时候将计算这一阈值，由于不同的三维模型在渲染时可能有不同的几何线条组合，研究人员使用了神经排序模块NRM来为绘制的线稿评分，在测试时阈值t就被用于对NRM分值进行优化。

实验和结果

为了对这一模型进行训练，由于缺乏大规模的针对三维形状的手绘线稿，研究人员通过合成的方法生成了自己的数据集。针对每一个形状，利用不同的阈值和线条的结合生成一系列线稿，随后请志愿者对结果进行选择，通过多人多次投票的方法来选出最好的线稿结果作为基准。下图显示了本文中使用了众包软件，从多个结果中基于人类投票选择得到基准线稿数据。

研究中所使用的数据来自于ShapeNet、Models Resource和Thingi10K等数据集，在数据集中针对每一个类别进行采样避免类别间的不均衡，移除了重复和低分辨率的形状，并修正了网格面元和连接的缺陷，最终得到了23，477个形状。

为了生成候选的线稿图案，研究人员针对每一个3D模型选择了两个随机相机位姿，在一系列约束下每个相机生成256中可能的合成线稿结果。同时他们还利用了Canny算子和保边滤波器来对三维形状渲染的图像进行处理，这种方法针对形状在每个视点下得到了256个可能的线稿结果，并从中选出8个最独特的线稿。在获得了一系列线稿数据的基础上，项目利用亚马逊的MTurk系统来利用众包方式选出针对每个形状在特定视角下效果最好的线稿作为基准数据。

在经过充分地训练后，这一模型在视觉上和各种指标下都取得了良好的效果，下图显示了针对一个曲面得到的线稿结果，可以看到本文的方法不仅使生成的线稿线条更为连续顺滑，而且可以很好地反映曲面的隐含特征。

下表也显示了与其他方法的对比，其中IoU表示表示模型得到的线稿与人类绘制结果的交并比、CD表示Chamfer距离：

最后研究人员还对模型各个部分的有效性进行了主观评测，将本方法NeuralContours与算法中的各个模块生成的结果放在一起比较，分别是图像分支（归一化）、几何分支单独得到的结果。结果表明本文的方法在大多数情况下都得到了人类测评者的认可：

最后一起来看看神经网络从形状绘制出的线稿模型吧：