0.   引言

综采工作面巷道的数字化三维重建是煤矿智能化关键技术^[1-3]。在构建三维透明数字化煤层时，点云数据能够提供丰富的空间信息，因此得到广泛应用^[4-5]。在综采工作面生产过程中，采煤机骑在刮板输送机上往复运行割煤形成煤壁^[6]。综采工作面巷道三维重建过程中需采集完整且稠密的煤壁点云^[7]，从而预测煤壁的稳定性，避免煤壁片帮等事故发生^[8-9]。受井下开采环境限制及不可避免的行人或设备遮挡等影响，采集的煤壁点云数据往往比较稀疏且存在缺失，导致煤壁几何语义信息丢失，对构建数字化煤层造成困难^[10-11]。对煤壁点云进行修复和补全，对于点云数据处理的下游任务具有重要意义。

针对点云补全问题，传统的解决思路包括基于几何的补全方法和基于模型的补全方法^[12]。文献[13]提出利用插值和数据拟合方法对包含空洞的点云进行补全。文献[14]利用一些物体在三维空间中的对称性质，通过局部遍历最佳对称对象来补全点云。文献[15]利用待补全对象的先验几何参数进行点云重建与补全，仅对简单二维平面的点云有效。文献[16]直接使用模型数据匹配，将包含缺失值的点云与3D模型数据库对齐和匹配，从而达到点云补全目的。对于具有复杂特征的煤壁点云，传统方法并不适用，即使能够实现有效补全，其优化过程也较困难。另外，传统方法往往要求原始点云具有较高的完整性和对称性，这对点云采集环境和传感器设备提出了较高的要求。

目前，基于深度学习的点云补全方法逐渐成为主流研究方向。众多学者应用深度学习网络^[17]实现了不同领域的点云补全。文献[18]提出了基于transform的多尺度点云补全方法，能有效提取点云的局部特征，但应用于煤壁点云中时补全的密度分布不均匀。文献[19]提出了多阶段点云补全方法，有效优化了整个补全过程，其中使用了K最邻近（K-Nearest Neighbor，KNN）聚类，优化能力对于煤壁点云稍显不足。文献[20]提出了多级精细化反卷积点云补全网络，采用分阶段点云补全方式，但第2阶段利用反卷积实现的点云细化可能会导致细节丢失。

目前井下点云研究领域缺少专门针对补全任务的数据集和网络模型，主要原因是井下特殊的工作环境导致数据采集困难，这对于需大量数据来训练的神经网络是一个巨大挑战。此外，由于煤壁面是非结构化的，且具有不规则性，采用现有模型进行点云补全任务时，补全结果密度分布不均匀，实时补全能力差，可能存在丢失点云特征信息情况。针对上述问题，本文采集真实煤壁点云数据并构造缺失数据集，提出了一种基于残差优化的综采工作面煤壁点云补全方法，搭建了补全网络模型，研究了该模型在缺失煤壁点云和稀疏煤壁点云上的补全性能，验证了其能够有效应用于复杂环境下具有复杂特征的点云补全任务，为构建数字化煤层提供了参考。

1.   实验材料与方法

1.1   实验材料与数据获取

本文使用的煤壁点云数据来自国能神东煤炭集团有限责任公司榆家梁煤矿43101综采工作面。搭载激光雷达的防爆巡检机器人在43101综采工作面刮板输送机的柔性轨道上运行，通过滑动扫描获得整个工作面点云数据。激光雷达参数见表1。特制的柔性轨道安装在刮板输送机电缆槽外侧，为了防止巡检机器人发生侧翻，还安装了保护装置。

表  1  激光雷达参数

Table  1.  LiDAR parameters

参数	值		参数	值
角分辨率/（°）	0.25		输入电压/V	12/24
扫描频率/Hz	40		数据接口	EIP协议
功率/W	15		可输出点云格式	ply，pcd

下载: 导出CSV 

| 显示表格

从所有综采工作面点云中提取出原始的煤壁点云，如图1所示。以巡检机器人起始位置为原点，以巷道长度方向（采煤机行进方向）为X轴、宽度为Y轴、高度方向为Z轴建立坐标系，整个综采工作面点云坐标范围见表2。采集原始点云10 966 414个，其中煤壁点云3 841 539个。43101综采工作面长351.4 m，实际采集的原始点云为341 m。

图  1  综采工作面煤壁点云获取过程

Figure  1.  Acquisition process of coal wall point cloud in fully mechanized working face

下载: 全尺寸图片 幻灯片

表  2  43101综采工作面点云坐标范围

Table  2.  Point cloud coordinate range of 43101 fully mechanized working face

点云坐标	最小值/m	最大值/m
X	6.982 7	348.288 8
Y	−3.109 1	3.502 9
Z	−0.005 0	3.102 4

下载: 导出CSV 

| 显示表格

1.2   煤壁点云数据集构造

1.2.1   煤壁点云预处理

受网络模型限制，无法将所有煤壁点云数据直接输入模型，因此，将整条煤壁的点云在X轴方向上分割为1 m宽的点云块，得到341组煤壁点云。部分点云数据较密集、完整，部分点云数据存在自然缺失和空洞。若缺失或空洞半径大于0.015 m，将其视为不可用煤壁点云；若缺失或空洞半径小于0.015 m，将其视为可用的完整煤壁点云。经统计，有280组完整煤壁点云，61组不可用煤壁点云。将整条煤壁的点云按2 m分割，得到170组煤壁点云，其中可用的完整煤壁点云共140组，不可用煤壁点云有30组。在获取完整的点云数据后，通过模拟随机空洞来构造缺失数据集。

原始点云存在大量离群点与噪声点，会破坏后续补全任务，因此对分割的煤壁点云进行滤波处理。针对分布在离主体点云中心较远位置且特征信息较差的大尺度离群噪声点，采用统计滤波方法^[21]去除，得到粗滤波煤壁点云；针对主体点云附近的混合噪声点，采用移动最小二乘平滑滤波方法^[22]去除，得到精滤波煤壁点云。精滤波煤壁点云质量足够高，因此将精滤波后的280组1 m宽煤壁点云和140组2 m宽煤壁点云作为真值点云，即Ground truth，共得到420组煤壁真值点云。

1.2.2   煤壁点云缺失数据集构建

由于样本数量较少，所以通过数据增强方式来生成缺失煤壁点云。为了适应以点云数据为输入的深度学习网络，将煤壁真值点云统一标准采样为12 288个点，然后对每一个标准采样点云随机生成1～4个空洞对应缺失。在完整煤壁点云上模拟随机出现的空洞是为了实现网络模型精准识别空洞或缺失并学习到缺失的点云数据特征。生成的空洞半径均为0.15 m。因空洞是随机生成的，不同的空洞之间会存在相互叠加状态，使得缺失部分形状不规则，贴近煤壁点云实际缺失情形。经数据增强后，每一个标准采样点云均扩增至8个存在缺失的点云，共得到2 240组1 m宽和1 120组2 m宽的缺失煤壁点云。由3 360组缺失煤壁点云构成缺失数据集样本。随后将每组点云的XYZ轴坐标值归一化至[−1,1]区间。

煤壁点云预处理及缺失数据集构造过程如图2所示。部分数据集如图3所示。需要说明的是，本文中缺失数据集是根据可用完整煤壁点云随机模拟空洞来构造的，没有使用不可用煤壁点云。

图  2  煤壁点云预处理及缺失数据集构造过程

Figure  2.  Preprocessing process of coal wall point cloud and creating process of missing dataset

下载: 全尺寸图片 幻灯片

图  3  部分缺失数据集展示

Figure  3.  Partial missing dataset presentation

下载: 全尺寸图片 幻灯片

1.3   基于残差优化的煤壁点云补全网络设计

基于残差优化的煤壁点云补全网络是一种基于监督学习的端到端点云补全训练模型，其结构如图4所示。其对点云的补全过程可分为2个阶段：第1阶段是基于形变预测粗点云；第2阶段是基于残差网络进行优化。第2阶段是将第1阶段产生的粗点云与真值点云之间不断对比优化，将预测的粗点云细粒化，最终生成精细点云输出。

图  4  基于残差优化的煤壁点云补全网络模型结构

Figure  4.  Structure of coal wall point cloud completion network model based on residual optimization

下载: 全尺寸图片 幻灯片

1.3.1   第1阶段粗点云生成

在第1阶段，该网络模型使用自编码器捕捉点云的整体形状，本文采用PointNet^[19]网络进行全局特征提取，如图5所示。该网络可以直接输入点云的三维坐标点。由于点云具有旋转不变性，引入T−Net网络学习点云旋转，保证对齐空间中的旋转对象。网络将3×3坐标的点云特征通过共享多层感知机映射到64维空间。为了保持点云的旋转不变性，扩展特征空间再次使用T−Net网络对齐。之后使用共享多层感知机将点云特征映射至1 024维空间。此时点云中的每个点都可用1个1 024维的向量表示。利用最大池化操作来汇聚特征，将提取的特征用于表征全局。在提取点云特征时，除了关注点云的旋转不变性外，还需要采用对称函数来保持点云的无序性。

图  5  全局特征提取网络架构

Figure  5.  Global feature extraction network architecture

下载: 全尺寸图片 幻灯片

式中：$f$为全局特征函数；${x_1} $−${x_n}$为n对输入网络的点云数据集序列；g为对称函数；$h$为多层感知机的输出。

对称函数通常包括sum和max，本文选择max函数，不仅可在最小化特征损失的基础上提高计算效率，还能充分保留煤壁点云数据的全局特征。

编码器需将提取的煤壁点云特征输入解码器。为了使解码器获得连续平滑的点云表面，参考AtlasNet^[23]结构设计基于变形的解码器，如图4虚线框所示。解码器使用k个局部表面元素来生成粗略形状。每个表面元素对应相对简单的区域。每个区域都由单位正方[0,1]²编码生成全局特征向量，随后将该特征向量输入多层感知机中，学习并转换至三维曲面映射。其中单位正方是随机采样N个点，每个采样点均映射k个局部表面，得到k个三维点。虽然参考AtlasNet结构的解码器能够生成连续的平滑表面，但采用该种结构进行点云映射无法防止生成相同空间区域，可能导致局部表面重叠，使得点云密度不均匀，单位正方难以捕捉局部细节。为解决该问题，采用扩张惩罚方式将每个多层感知机生成的三维点视为顶点集，并基于点之间的欧氏距离为任意顶点i构建最小生成树${\tau _i}$，使点云从稀疏向密集收缩，最后输出粗点云。扩张惩罚函数为

式中：u，v为顶点集；$\mathcal{F} $为筛选函数；$d\left( {u,v} \right)$为顶点集u，v之间的欧氏距离；λ为权重参数，在训练中取1.5；${l_i}$为生成树${\tau _i}$的平均边长。

1.3.2   第2阶段精细点云重构

通过编码器和解码器生成预测粗点云后，由于k个局部表面对应生成的粗点云忽略了输入缺失点云的具体细节特征，所以可能导致粗点云输出与输入点云密度不一致，且它们之间可能存在重叠，使合并后的点云分布不均匀。为此，煤壁点云补全网络采用最小化密度采样作为点云采样算法。与目前常用的最远点采样和泊松圆盘采样相比，最小化密度采样输出的采样点云全局分布更均匀。在煤壁点云补全网络运行的第2阶段，将最小化密度采样后的均匀分布点云输入残差网络进行逐点细化。

残差网络是一种卷积神经网络，它使用跳跃连接来简化内部信息流动，不但可以进行端到端的反向传播训练，而且易于优化。本文设计了5个阶段的残差网络结构，初始阶段为64维，每个阶段的维数增加，依次为64，128，256，512，1 024维。整体结构共包含25个卷积层，第1阶段为1层7×7的64维卷积，后续每一阶段为1层改变通道大小的卷积和5个3×3残差连接的卷积。整个结构共有2 048个神经元（不包含无权重的层数）。本文中残差网络的批次大小为32，迭代次数为300，采用Adam优化器。

采用上述残差网络对第1阶段输出的粗点云进行细化迭代，得到更均匀、更符合真值点云的预测点云。经残差优化的点云添加至最小密度均匀采样点集，得到最终输出点云。

第2阶段残差网络迭代优化架构如图6所示。

图  6  残差网络迭代优化架构

Figure  6.  Residual network iterative optimization architecture

下载: 全尺寸图片 幻灯片

1.4   损失函数

通常采用倒角距离（Chamfer Distance，CD）、地移距离（Earth Mover's Distance，EMD）计算真值点云与预测点云之间分布差异的损失函数。CD计算速率高，但使用CD作为损失函数可能会使点云过度填充及细节部分模糊。EMD计算较复杂，但使用EMD作为损失函数能够更好地输出与真值点云相同密度分布的预测点云。

在本文煤壁点云补全网络中，因不能将煤壁看作简单的二维平面，且补全需要照顾其细节特征，为了不破坏原有的点云分布，使用EMD作为2个阶段的损失函数，以得到密度更均匀的煤壁点云。第1阶段的EMD D_1EMD与第2阶段的EMD D_2EMD分别为

式中：${S _1}$为第1阶段输出的粗点云；${S _{\mathrm{G}}}$为真值点云；$\varPhi $为双射函数，表示预测点云与真值点云中对应点的平均距离；X为点云位置；${S _2}$为第2阶段输出的精细点云。

与大多数点云补全网络不同的是，由于煤壁点云补全网络使用了扩展惩罚函数来防止局部表面重叠，所以使用联合损失函数L_loss来指导点云分布。

式中：L_EMD为EMD损失函数；$\alpha $，$\beta $为权重系数。

2.   实验与结果分析

2.1   实验环境与设置

为了验证基于残差优化的煤壁点云补全网络模型在煤壁点云补全和修复方面的有效性，设计了煤壁点云补全实验。将构建的3 360组缺失数据集划分为训练集、验证集、测试集，分别含2 700，440，220组数据。训练集用于训练模型学习煤壁点云特征，验证集用于验证模型补全效果，测试集用于测试模型性能。实验环境硬件、软件配置见表3、表4。在训练过程中，优化器选用Adam，初始学习率设为0.000 5，权重衰减为0.000 5，epoch持续300个周期，批次大小为 32。解码器中局部表面k设为16。损失函数的权重系数$\alpha $和$\beta $分别设置为0.1和1。

表  3  实验环境硬件配置

Table  3.  Hardware configuration of experimental environment

名称	配置
处理器	Intel（R） Xeon（R） CPUE5−2630
CPU主频	2.20 GHz
显卡	NVIDIA GeForce RTX 2080Ti
内存	256 GiB SSD
显存	16 GiB

下载: 导出CSV 

| 显示表格

表  4  实验环境软件配置

Table  4.  Software configuration of experimental environment

名称	配置
操作系统	Ubuntu18.04
深度学习框架版本	Pytorch1.10.2
CUDA版本	10.0
CUDNN 版本	7.6.4
开发语言版本	Python3.8.11

下载: 导出CSV 

| 显示表格

2.2   评价指标选取

采用CD，EMD和F₁分数作为评价指标进行实验结果定量分析。CD表示预测点云与真值点云中点与点的靠近范围大小，范围越小表示预测值与真实值越靠近。该指标能够反映整个煤壁点云的平滑性和轮廓的完整性，其值越小说明补全点云的平滑性和完整性越高。EMD反映预测点云与真值点云中点与点之间的相对距离，其值越小说明补全效果越好。F₁分数表示预测点云落在真值点云位置上的数量，反映点云补全的准确率，其值越大说明补全效果越好。可见，CD和EMD越小、F₁分数越大，表明网络模型在煤壁点云补全方面的性能越强。

2.3   不同模型对缺失煤壁点云的补全结果对比

对基于残差优化的煤壁点云补全网络模型和经典的点云补全网络模型−FoldingNet^[24]，TopNet^[25]，AtlasNet^[23]，PCN^[26]，3D−Capsule^[27]进行对比实验。模型超参数均设为最佳。训练集和测试集划分方式一致，利用缺失数据集训练模型，在测试集上进行验证。不同网络模型对缺失煤壁点云补全结果的定量分析如图7所示。

图  7  不同网络模型对缺失煤壁点云补全效果的定量分析

Figure  7.  Quantitative analysis of completion effect of different network models on missing coal wall point clouds

下载: 全尺寸图片 幻灯片

从图7可看出：对于1 m宽煤壁点云，基于残差优化的煤壁点云补全网络模型的点云补全结果的CD和F₁分数在所有模型中最优，分别为4.54×10⁻³ cm和72%，EMD为1.23 cm，略高于3D−Capsule模型；对于2 m宽煤壁点云，本文模型点云补全结果的CD，EMD和F₁分数均最优，分别为4.29×10⁻³ cm，0.98 cm，78%。可见，不论是针对1 m宽还是2 m宽煤壁点云，本文模型均能达到更好的性能。

将缺失煤壁点云测试集输入各模型，将模型输出的补全空洞区域覆盖到缺失空洞上进行可视化对比，结果如图8所示。1 m宽煤壁点云的缺失由2个空洞重叠构成，空洞边界突出煤壁上边界，更符合不规则真实缺失点云，同时为补全任务增加了难度。2 m宽煤壁点云的缺失由4个空洞构成，左上角由2个重叠空洞构成，另有2个空洞分别与煤壁点云的下边界与右边界重叠。从图8可看出：FoldingNet和TopNet的补全点云过于密集，完全忽略了点云的密度信息；AtlasNet和PCN有明显漏补的区域，且2种模型没有学习到煤壁点云的全局特征，导致补全的点云形状不符合缺失点云形状；3D−Capsule虽能够有效补全点云，但在1 m宽煤壁点云上密度较差；本文模型对2 m宽煤壁点云右边界的补全效果稍逊于3D−Capsule模型，对其他点云的补全效果均优于其他模型，整体效果最佳。

经对比分析，提出的基于残差优化的煤壁点云补全网络模型的补全效果最好，能够有效学习真值点云的特征细节，对于缺失处点云的补全较完整，且补全的点云分布较均匀，无过度聚集情况。此外，所有的补全点云围绕煤壁主体存在，没有产生额外脱离主体点云的预测点。

2.4   不同模型对稀疏煤壁点云的补全结果对比

煤壁点云缺失或稀疏均会造成煤壁表面信息的丢失，从而影响下游任务。考虑到点云数据的无序性和不变性，可将煤壁点云的补全任务视为将稀疏区域点云补充为更加稠密分布的过程。为了验证本文模型对稀疏煤壁点云的补全效果，设计如下实验。将1组1 m宽和1组2 m宽的可用煤壁点云以5%，10%，15%，20%，25%，30%，35%，40%这8种缺失比例去除某一区域中的点。将其采样至标准输入点数（12 288），然后在各点云补全网络模型上进行测试，结果如图9所示。可看出随着稀疏比例提高，所有网络模型的点云补全能力均有所减弱，表明点云缺失越多则越难以补全；对于2种宽度的煤壁点云块，基于残差优化的煤壁点云补全网络模型补全结果的CD，EMD和F₁分数在所有实验模型中均为最优，表明本文模型对煤壁点云具有更强的学习能力、更好的特征提取能力和更强的泛化性。

图  8  不同网络模型的煤壁点云补全可视化效果

Figure  8.  Visualization effect of coal wall point cloud completion of different network models

下载: 全尺寸图片 幻灯片

图  9  不同网络模型对稀疏煤壁点云补全结果的定量分析

Figure  9.  Quantitative analysis of completion effect of different network models on sparse coal wall point clouds

下载: 全尺寸图片 幻灯片

2.5   真实缺失煤壁点云的补全结果分析

尽管本文制作的缺失数据集能够模拟实际情况，但真实环境下获取的煤壁点云存在不规则的自然缺失，其边缘特征较难完全模拟。因此，有必要对包含真实缺失的煤壁点云进行补全实验。将不可用的61组1 m宽和30组2 m宽煤壁点云（包含自然缺失）制作为网络模型输入格式，输入训练好的模型，将模型输出的补全区域覆盖到原缺失点云上，结果如图10所示。由于这2组真实缺失煤壁点云没有Ground truth，即真值点云对照，所以无法进行定量评价，只能进行可视化观察。从图10可看出，尽管复杂的自然缺失部分无法全部补全，但大部分缺失被有效识别并补全，说明本文模型可满足实际现场煤壁点云补全和修复需求。

图  10  真实缺失煤壁点云补全定性分析

Figure  10.  Qualitative analysis of coal wall point cloud completion in the case of true absence

下载: 全尺寸图片 幻灯片

3.   结论

1） 为了获取丰富的煤壁点云数据，在真实综采工作面巷道中利用搭载激光雷达的巡检机器人采集真实的工作面点云数据，并从中提取狭长的煤壁点云。将煤壁点云分割成块，统计了可用的完整煤壁点云数据，通过2次滤波得到高质量数据样本，对其模拟自然缺失，制作了足够的空洞缺失数据集。

2） 提出了基于残差优化的煤壁点云补全网络模型。该模型利用两阶段监督学习方式完成煤壁点云补全和修复，第1阶段通过自编码器输出预测的粗点云，第2阶段通过最小化密度采样和残差结构迭代细化输出最终补全点云。

3） 将煤壁点云数据集在基于残差优化的煤壁点云补全网络模型和经典点云补全网络模型上进行对比实验，并采用稀疏点云验证了各模型的补全能力，结果表明提出的基于残差优化的煤壁点云补全网络模型性能最优。该模型对真实缺失的煤壁点云进行补全也得到了良好效果。

4） 目前研究存在的问题及未来研究重点：① 在采集数据时没有考虑特制柔性轨道可能存在角度变化导致的点云数据误差和失真情况，在后续研究中可采用几何矫正方法予以改善。② 采集的煤壁点云数据代表性不足，后续将采集更多、更丰富的数据予以支撑。③ 数据集构造方面，后续将引入分割边界的注意力学习机制或迁移学习、增强学习等技术，以减小数据处理对模型精度产生的影响。④ 提出的网络模型在训练时所需时间稍长，后续通过优化算法予以改进。