0.   引言

带式输送机是运输煤炭的主要设备，具有运载能力强、运输成本低、可靠性好等优点。输送带撕裂是带式输送机运行过程中的常见故障之一，导致输送带撕裂的主要原因如下：① 输送带运输的煤炭中夹杂的硬质异物压、砸、划伤输送带^[1] 。② 带式输送机存在设计缺陷或安装不正确，导致其他尖锐物体破坏输送带。③ 输送带跑偏，导致托辊或钢架划伤输送带。局部撕裂会导致浮煤堆积，若不及时处理会引起整条输送带断裂，从而导致煤料倾洒，损坏运输设备，威胁井下作业人员生命安全。因此，研究输送带撕裂检测技术对于保障煤矿生产安全具有重要意义^[2-3]。

目前，利用图像智能分析技术进行输送带撕裂检测是煤矿智能化的研究热点之一^[4-5]。文献[6]采集输送带的灰度图，通过特征选择形成一维描述向量，构建撕裂特征分类器，完成撕裂分类。文献[7]利用红外图像采集系统获取原始图像，再依次使用平滑滤波器、图像分割、连通分析算法，实现输送带撕裂检测。文献[8]提出了基于YOLOv4的输送带损伤检测算法，通过增加融合特征的层数，减少每层特征卷积次数，实现提高检测精度和速度的目的。文献[9]将一字激光线投射到输送带上，通过边缘检测提取激光线特征，构建特征分类器，实现撕裂预警。文献[10]利用不受可见光干扰的线激光作为光源，用改进灰度重心法提取中心线，根据中心线特性检测纵向撕裂。文献[11]提出了基于多道线性激光的输送带撕裂检测算法，通过分析多道线性激光投射在输送带表面的图像的特征，结合速度传感器数据实现纵向撕裂特征识别。以上方法具有一定效果，但存在以下问题：① 煤矿井下光照条件差，获取的可见光图像质量较差，导致后续图像处理精度下降。② 大部分方法是对撕裂图像进行识别和定位，缺少撕裂物理尺寸测量手段^[12]。③ 图像撕裂特征由人工统计构建，当煤矿井下现场条件改变时，之前的撕裂特征不再适用，需要重新提取撕裂特征，泛化能力差。

针对以上问题，提出了一种基于全卷积神经网络的输送带撕裂检测方法。该方法基于线结构光成像原理采集图像，可有效解决煤矿井下光照条件差的问题；采用激光发射器投射具有编码性质的线激光，可实现撕裂物理尺寸测量；采用全卷积神经网络进行撕裂检测，当使用环境发生改变后，只需要重新采集样本进行训练和部署即可。

1.   撕裂检测方法原理

输送带撕裂检测设备包括线激光发射器、工业相机和边缘计算开发板，撕裂检测方法原理如图1所示。线激光发射器与工业相机存在固定的空间位置关系。线激光发射器投射出的线激光经过输送带反射后，在工业相机中形成特殊的图像数据，这些数据可有效反映输送带的状态，为撕裂检测提供数据支撑。边缘计算开发板负责算法和控制，其中核心的图像处理算法由开发板中央处理器（Central Processing Unit，CPU）负责，全卷积神经网络推理由开发板图形处理器（Graphics Processing Unit，GPU）负责。检测设备安装于上行输送带和下行输送带之间，距离上行输送带约0.5 m处，尽量在2个托辊之间，当输送带张紧时，可有效突出输送带撕裂特征。

图  1  输送带撕裂检测方法原理

Figure  1.  Tear detection system of conveyor belt

下载: 全尺寸图片 幻灯片

输送带撕裂检测流程包括在线模块和离线模块2个部分，如图2所示。离线模块只需要运行1次，先对撕裂图像数据进行标注，然后训练全卷积神经网络模型，最后对线结构光进行标定，得到标定参数。在线模块需要重复运行，通过线结构光采集到图像后，进行线激光条纹检测，然后利用全卷积神经网络模型分割出撕裂像素，最后经过撕裂测量得到撕裂的外接矩形和物理尺寸。

图  2  输送带撕裂检测流程

Figure  2.  Tear detection process of conveyor belt

下载: 全尺寸图片 幻灯片

2.   线结构光图像处理

2.1   线结构光成像原理

线激光发射器投射激光线，在输送带上形成线激光条纹l，经过反射后在工业相机中成像^[13]，如图3所示。线结构光光路模型如图4所示，其中$ {{o}}_{\mathrm{w}}{x}_{{\rm{w}}}{y}_{{\rm{w}}}{{\textit{z}}}_{{\rm{w}}} $为世界坐标系，$ {{o}}_{{\rm{c}}}{x}_{{\rm{c}}}{y}_{{\rm{c}}}{{\textit{z}}}_{{\rm{c}}} $为相机坐标系，uv为图像坐标系。根据单目相机成像理论^[14] ，在世界坐标系中，线激光曲线为$ l\left(x,y,{\textit{z}}\right) $，在相机坐标中的成像曲线为$ {l}_{{\rm{c}}}\left(u,v\right) $。

图  3  线结构光成像

Figure  3.  Linear structured light imaging

下载: 全尺寸图片 幻灯片

图  4  线结构光光路模型

Figure  4.  Optical path model of line structured light

下载: 全尺寸图片 幻灯片

成像过程的数学描述为

式中：s为与z相关的变量；$ {{\boldsymbol{H}}}_{1} $和$ {{\boldsymbol{H}}}_{2} $为相机内参数；M为相机外参数。

相机外参数M用于描述相机与物理世界的位置关系，且与输送带条纹成像无关，为了简化数学过程，设世界坐标系与相机坐标系重合，则$ {\boldsymbol{M}} $由单位矩阵和零矩阵组成，式（1）可以简化为

式中$ {\boldsymbol{H}} $为相机内参数，${\boldsymbol{H}}={\left[ \begin{array}{ccc}{{\boldsymbol{H}}}_{1}^{{\rm{T}}}& {{\boldsymbol{H}}}_{2}^{{\rm{T}}}& {{\boldsymbol{H}}}_{3}^{{\rm{T}}}\end{array} \right]}^{{\rm{T}}}$，${{\boldsymbol{H}}}_{3}= \left[ \begin{array}{ccc}0& 0& 1\end{array} \right]$。

线激光发射器与线激光可以构成一个平面，该平面的方程为

式中C，d为线激光平面系数，C为$ 1\times 3 $矩阵。

通过线结构光标定技术^[15]可得到相机内参数H和线激光平面系数C，d。在已知H，C和d的条件下，联立式（2）、式（3）并化简可得

式中${\boldsymbol{X}}={\left[ \begin{array}{ccc}x& y& {\textit{z}}\end{array} \right]}^{{\rm{T}}}$。

2.2   线激光条纹检测

线激光条纹检测是计算$u,v$的重要步骤。线激光条纹原始图属于二维数据，大量图像区域为黑色无效区域，数据存在大量冗余。通过线激光条纹检测，将图像二维数据优化为一维数据。

经典的条纹检测算法^[16]包括最大值法、灰度重心法、Steger法、曲面拟合法等。其中最大值法运算效率高、硬件资源占用少，但在条纹出现断点时会失效，因此，本文通过最近邻域法对最大值法进行改进。改进最大值法如图5所示。首先，采用高斯滤波器抑制噪声。其次，通过最大值法遍历u，计算图像灰度最大值。然后，通过最近邻域法解决线激光条纹出现断点时最大值法失效的问题。最后，输出一维函数v=F(u)。

图  5  改进最大值法

Figure  5.  Improved max method

下载: 全尺寸图片 幻灯片

从直方图角度描述改进最大值法，如图6所示。将图像灰度等级划分为64级，断点灰度分布于直方图左侧，条纹灰度分布于直方图右侧，设置阈值，若灰度等级小于阈值则判断为断点，否则为正常点。这样就将图像二维数据优化为一维函数v=$ F\left(u\right) $。

图  6  断点判断

Figure  6.  Breakpoint judgment

下载: 全尺寸图片 幻灯片

得到$u,v $后，通过求解式（4）可得到X，完成线结构光的空间测量过程。

3.   基于全卷积神经网络的撕裂检测

先进行数据标注，再训练全卷积神经网络模型，对撕裂数据进行语义分割，最后根据线结构光标定参数计算撕裂物理长度。

3.1   数据标注

数据标注如图7所示，在图像中用矩形框标出撕裂位置，然后将矩形框投影到一维，构成一维函数L(u)。当u在红框投影区域内时，L(u)=1；u在其他区域时，L(u)=0。

图  7  数据标注

Figure  7.  Data annotation

下载: 全尺寸图片 幻灯片

3.2   全卷积神经网络

语义分割是指给输入图像的每个像素分配1个语义类型，即将函数$ v=F\left(u\right) $中的每个点划分为正常或者撕裂状态。全卷积神经网络是语义分割中使用最广泛的网络，FCNs^[17] ，SegNet^[18]，U−net^[19]是经典的全卷积神经网络。由于U−net网络结构简单而有效，本文采用U−net网络实现语义分割。

U−net网络输入数据为$ v=F\left(u\right) $，由于v分布集中，需对其进行规范化处理：

式中：$ {v}^{\mathrm{*}} $为规范化处理后的值；$ {F}^{*}\left(·\right) $ 为规范化处理函数；$\bar {v}$为v的均值；$ \sigma $为标准差。

工业相机的分辨率是$ 1\;024\times 1\;280 $，因此$ {F}^{*}\left(u\right) $只有1个通道，且长度为1 024。而在U−net网络中特征图通过“通道数$ \times $高$\times $宽”方式描述，针对一维数据$ {v}^{\mathrm{*}}={F}^{*}\left(u\right) $，U−net无法直接使用，需要进行降维。因此，本文对U−net网络进行优化，优化后的U−net网络如图8所示。优化后网络结构不变，主要由双卷积模块、下采样层、上采样层、跳跃连接和卷积层组成。图8中，矩形内数字描述了特征图通道和长度的变换过程，格式为“通道数$ \times $长度”。从整体看，优化U−net网络只有2个维度数值在变化，维度降低。 针对卷积层，采用由2个卷积层组成的双卷积模块，将原来的二维卷积转换为长度为3的一维卷积，卷积层参数量减少为原来的1/3。针对下采样层，采用池化技术使特征图通道数不变，长度减半，从而减少计算量。

图  8  优化U−net网络结构

Figure  8.  Structure of U-net network

下载: 全尺寸图片 幻灯片

3.3   模型训练

优化U−net网络的输出特征图尺寸为$ 2\times 1\;024 $，对输出特征图进行Softmax运算，设运算结果为Q。Q属于one hot编码，Q的第2个通道的数据为所测像素属于撕裂像素的概率，设为P(u)，0<P(u)<1，$ u\in \left[\mathrm{0,1\;024}\right) $，结合标注数据$ L\left(u\right) $，可得损失函数R：

式中：$ {R}_{1} $为交叉熵损失函数；$ {R}_{2} $为dice损失函数。

3.4   撕裂测量

当P(u)趋近于0时，表示所测像素属于正常像素；当P(u)趋近于1时，表示所测像素属于撕裂像素。查找满足$ P\left(u\right) > 0.5 $的连续区域，设撕裂区间为$ \left[{u}_{{\rm{s}}},{u}_{{\rm{e}}}\right] $，则撕裂图像的外接矩形为

在线结构光预先标定的条件下，利用式（4）可得到世界坐标系中激光线的起点坐标$ {{\boldsymbol{X}}}_{\mathrm{s}} $和终点坐标$ {{\boldsymbol{X}}}_{\mathrm{e}} $，从而可得出撕裂物理尺寸：

4.   实验分析

为了验证本文方法的有效性，设计了3组实验：第1组实验对比改进最大值法与经典线激光条纹检测算法性能；第2组实验对FCNs，SegNet，U−net网络进行对比和分析；第3组实验验证撕裂检测方法性能。

4.1   线激光条纹检测结果分析

采集线结构光成像图，选择2张具有不同特点的条纹图像，分别利用Steger法、灰度重心法和改进最大值法检测线激光条纹，条纹出现断点、灰度较低时的检测效果对比分别如图9、图10所示。

图  9  条纹出现断点时的检测效果对比

Figure  9.  Comparison of detection effects when the stripes have breakpoints

下载: 全尺寸图片 幻灯片

图  10  条纹灰度较低时的检测效果对比

Figure  10.  Comparison of detection effects when the grayscale of the stripes is low

下载: 全尺寸图片 幻灯片

从图9可看出，Steger法、灰度重心法都没有填充断点部分，使得条纹缺失一部分，Steger法在折线区域出现明显漏检，灰度重心法在断点边缘处出现明显误检，而改进最大值法断点填充效果好，过渡平滑、自然。从图10可看出，条纹灰度较低时，Steger 法出现大量漏检，灰度重心法和改进最大值法检测效果较好。

对条纹检测局部细节进行分析，结果如图11和图12所示。从图11可看出，Steger 法在撕裂拐点处出现漏检，灰度重心法在断点处出现明显误检，改进最大值法无漏检，断点处被很好地填充。从图12可看出，Steger 法出现明显漏检，灰度重心法和改进最大值法检测效果较好。

图  11  局部断点

Figure  11.  Local breakpoints

下载: 全尺寸图片 幻灯片

图  12  局部低灰度条纹

Figure  12.  Local low-gray stripes

下载: 全尺寸图片 幻灯片

综上可得，Steger法检测效果较差，出现了大量误检和漏检；灰度重心法略优于Steger法，但不能处理条纹断点；本文提出的改进最大值法检测效果最佳，可以有效处理断点区域。

4.2   全卷积神经网络对比分析

采集输送带撕裂图像1 276张，并进行条纹检测、规范化和标注处理，形成训练样本库，如图13所示。

图  13  样本采集和处理

Figure  13.  Sample collection and processing

下载: 全尺寸图片 幻灯片

选择全部样本的10%作为验证集，90%作为训练集。分别使用U−net，SegNet，FCNs网络进行训练，训练过程如图14所示。dice系数是一种集合相似度度量指标，常用于评价图像分割算法的好坏。本文采用dice系数和平均交并比(mean Intersection over Union, mIoU)作为评价指标。可以看出，U−net网络训练过程平稳，在第15次迭代后达到稳定状态；FCNs网络训练过程振荡较大，性能最差；SegNet网络性能处于两者之间。

图  14  不同网络训练过程

Figure  14.  Training process of different networks

下载: 全尺寸图片 幻灯片

不同网络训练结果对比见表1。可看出U−net网络收敛速度快于其他2种网络，迭代的稳定性较强，评价指标最优。

表  1  不同网络训练结果对比

Table  1.  Comparison of training results of different networks

网络模型	dice系数			mIoU
	验证集	训练集		验证集	训练集
U−net	0.9471	0.9816		0.9470	0.9831
SegNet	0.9388	0.9680		0.9389	0.9665
FCNs	0.9327	0.9573		0.9328	0.9576

下载: 导出CSV 

| 显示表格

为了进一步验证U−net网络的性能，将U−net网络压缩后重复以上实验。原U−net采用5层结构、4次下采样，记为U−net5，将U−net的5层结构分别改为4层、3层，对应的下采样为3次、2次，记为U−net4和U−net3，其他结构不变。训练过程如图15所示，可看出U−net3网络性能指标较差，稳定性也较差，U−net4和U−net5网络性能差距不大。

图  15  不同U−net网络训练过程

Figure  15.  Training process of different U-net networks

下载: 全尺寸图片 幻灯片

不同U−net网络训练结果对比见表2。可看出虽然U−net3网络性能指标最差，但验证集和训练集指标差距小，且验证集指标与U−net4，U−net5网络性能差距小于1%，在对硬件资源要求严格的环境下优先使用；U−net5网络略优于U−net4网络，由于U−net4网络结构更加简单，占用的硬件资源少，综合评价结果为U−net4网络性能最优。

表  2  不同U−net网络训练结果对比

Table  2.  Comparison of training results of different U-net networks

网络模型	dice系数			mIoU
	验证集	训练集		验证集	训练集
U−net3	0.9408	0.9663		0.9412	0.9677
U−net4	0.9456	0.9819		0.9467	0.9828
U−net5	0.9471	0.9816		0.9470	0.9831

下载: 导出CSV 

| 显示表格

4.3   撕裂检测与撕裂物理尺寸测量结果分析

为了验证撕裂检测方法性能，在验证集上进行U−net4网络推理，通过计算$P(u) $得到撕裂区间[$ {u}_{{\rm{s}}},{u}_{{\rm{e}}} $]，同理可得标注后的撕裂区间[$ {u}_{{\rm{s}}}^{\mathrm{*}},{u}_{{\rm{e}}}^{\mathrm{*}} $]，计算交并比$ U=\dfrac{{\rm{min}}\left({u}_{{\rm{e}}},{u}_{{\rm{e}}}^{\mathrm{*}}\right)-{\rm{max}}\left({u}_{{\rm{s}}},{u}_{{\rm{s}}}^{\mathrm{*}}\right)}{{\rm{max}}\left({u}_{{\rm{e}}},{u}_{{\rm{e}}}^{\mathrm{*}}\right)-{\rm{min}}\left({u}_{{\rm{s}}},{u}_{{\rm{s}}}^{\mathrm{*}}\right)} $，当U大于0.5时，说明撕裂检测结果正确。检测结果的混淆矩阵见表3，N/A表示没有对应的标准值。计算可得撕裂检测的召回率为96.09%，精确率为96.85%。

表  3  撕裂检测混淆矩阵

Table  3.  Confusion matrix of tearing detection

真值	预测值
	撕裂	正常
撕裂	123	5
正常	4	N/A

下载: 导出CSV 

| 显示表格

为了验证撕裂物理尺寸测量精度，在实验室中搭建验证平台。选取4条存在撕裂的输送带，每条长约2 m，模拟输送带运载状态。在每条输送带的4个不同位置进行图像采集，共采集16张图像。在激光线标志下，通过游标卡尺手工测量撕裂长度并将其作为标准值，游标卡尺测量精度为0.02 mm。检测结果见表4。

表  4  撕裂物理尺寸测量结果

Table  4.  Measurement results of tear physical dimensions

序号	测量结果/mm	标准值/mm	相对误差/%
1	11.30	10.18	10.96
2	15.08	16.14	−6.58
3	12.21	13.90	−12.16
4	6.80	7.72	−11.95
5	13.45	12.18	10.45
6	18.23	16.90	7.86
7	10.04	9.08	10.61
8	16.65	15.84	5.10
9	11.59	13.06	−11.24
10	14.13	13.02	8.52
11	20.75	19.36	7.16
12	17.52	18.10	−3.19
13	17.96	16.48	9.00
14	11.41	10.72	6.40
15	18.61	17.06	9.11
16	4.87	5.60	−13.04

下载: 导出CSV 

| 显示表格

由表4可看出，最大相对误差为−13.04%。产生误差的主要原因：① 像素误差。通过手工测量撕裂长度，得到每像素物理长度为0.197 mm，这是由相机分辨率决定的，改用更高分辨率的相机可以提高精度，但会增加网络参数。② 手工测量误差。在实际测量过程中，输送带具有弹性，手工测量不可避免会存在误差。③ 图像标注误差。标注外接矩形无法完美描述撕裂区域。④ 线结构光标定误差。

撕裂检测效果如图16所示，图16（a）−（d）对应表4中前4行。为了不遮挡原图，将标记向右偏移，红色像素为非断点的撕裂像素，绿色直线为端点坐标为$ {{\boldsymbol{X}}}_{\mathrm{s}} $和$ {{\boldsymbol{X}}}_{\mathrm{e}} $的撕裂直线。可见，所提方法能够有效地实现输送带撕裂检测和撕裂物理尺寸测量。

图  16  撕裂检测效果

Figure  16.  Tear detection results

下载: 全尺寸图片 幻灯片

5.   结论

（1） 基于最大值法进行线激光条纹检测，通过最近邻域法解决线激光条纹出现断点时最大值法失效的问题。通过实验证明改进最大值法优于Steger法和灰度重心法。

（2） 基于全卷积神经网络进行激光条纹分割，将撕裂检测问题转换成语义分割问题。选用U−net网络并对其进行降维，有效减少了神经网络参数量。实验结果表明，U−net网络收敛速度快于SegNet和FCNs网络，迭代的稳定性较强，评价指标最优，U−net4网络性能优于U−net3和U−net5。在验证集上的检测结果表明，撕裂检测的召回率为96.09%，精确率为96.85%；

（3） 利用线结构光标定数据进行撕裂物理尺寸测量，在实验平台的测量结果表明，撕裂物理尺寸测量的最大相对误差为−13.04%。误差的主要来源有像素误差、手工测量误差、图像标注误差和线结构光标定误差，可通过减小像素误差和图像标注误差提高测量精度。

（4） 目前撕裂样本数据还不充分，后期将在工业实验中采集更多样本，以进一步提高撕裂检测方法性能。