0.   引言

刮板输送机是煤矿井下运输煤炭的主要设备。在刮板输送机运行过程中，一旦链槽内落入钢板、钢索、锚杆等刚性铁质异物，会加速刮板、链条等部件的磨损和疲劳，甚至会造成刮板停顿、链条断裂等故障，影响煤矿正常生产。此外，刮板输送机在高速运行时具有较大惯性，若落入链条间隙的铁质异物飞出，则会引发人员伤亡等严重事故，是工作面安全隐患之一。

近年来，很多研究者利用机器视觉对铁质异物的智能识别进行研究，并取得了一定成果。任国强等^[1]提出了一种Fast_YOLOv3算法，采用反卷积网络算法解决目标样本不均衡问题，实现了异物识别。杜京义等^[2]将DarkNet22−DS轻量化网络植入Jetson Xavier NX开发板中，通过金字塔系统实现异物识别。吴守鹏等^[3]设计了基于Faster−RCNN的异物辨识模块，利用双重监督特征金字塔网络（Feature Pyramid Networks，FPN）的特征融合技术实现异物识别。王卫东等^[4]构建了一种能够减小背景干扰影响的语义分割网络，实现了铁质异物识别。王燕等^[5]提出了基于帧内差分法和Select−Shape算子的大块铁质异物探测方法，实现了异物识别。上述研究主要存在以下局限性：① 检测精度与图像特征紧密相关，适应性较差。井下存在大量水雾和粉尘，光照情况多变，且刮板输送机上的铁质异物形状、大小各异，识别难度大。② 无法区分异物类别与数量，如无法有效区分锚杆、钢板、头盔、角铁和铁锹等。

针对上述问题，本文提出一种基于改进掩码区域卷积神经网络（Mask Region-Convolutional Neural Network，Mask R−CNN）的刮板输送机铁质异物多目标检测方法。对Mask R−CNN进行改进，并通过自标注的刮板输送机铁质异物图像数据集对改进Mask R−CNN模型进行训练和测试，以提升铁质异物检测精度。

1.   刮板输送机铁质异物多目标检测流程

刮板输送机铁质异物多目标检测具体流程如图1所示。首先，采集刮板输送机铁质异物图像并制作数据集，对图像进行标注，然后进行格式转换。其次，将改进Mask R−CNN模型部署于本地计算机，输入数据集，对模型进行训练。然后，当模型的损失值收敛时停止训练并保存训练模型。最后，通过测试数据集对训练模型进行测试。

图  1  刮板输送机铁质异物多目标检测流程

Figure  1.  Multi-object detection process of iron foreign bodies in scraper conveyor

下载: 全尺寸图片 幻灯片

2.   Mask R−CNN模型及其改进

2.1   Mask R−CNN基本原理

Mask R−CNN是经典的两阶段网络框架。第1个阶段扫描异物图像，生成可能含有异物目标的区域；第2个阶段进行分类，并生成掩码和边界框^[6-7]。Mask R−CNN模型结构如图2所示。该模型是对Fast RCNN改进得到的，在原来输出的分类结果（预测框的标签）和回归结果（预测框的坐标位置）基础上，通过全卷积网络（Fully Convolutional Networks，FCN）增加一个输出，即物体掩码Mask。3个输出结果是平行支路关系。这种简化的网络结构可提高运算速度和异物目标识别率。

图  2  Mask R−CNN模型结构

Figure  2.  Structure of mask region-convolutional neural network model

下载: 全尺寸图片 幻灯片

2.1.1   特征提取网络

Mask R−CNN可采用多样化特征提取框架，本文采用ResNet−50特征提取器获取铁质异物图像特征。这种深度残差网络能够将前面某一数据层的输出直接作为后面数据层的输入^[8]，跳过卷积网络。这就意味着前面某层的特征贡献在后面部分的特征层中占据更大比例，使得浅层特征在深层中得到重用，能够较好地解决特征提取过程中训练集准确率随着网络深度增加而下降的问题。

2.1.2   FPN

刮板输送机上的铁质异物是小尺度目标，为加强模型对小尺度目标的识别效果，本文采用FPN进行特征融合，引入一条从上到下的路径，保证同时拥有高层的语义特征（如类别、属性等）和低层的轮廓特征（如颜色、轮廓、纹理等），以提高铁质异物识别精度^[9]。FPN结构如图3所示。P₁—P₄为不同尺寸的特征图，C₁—C₃为特征融合后的特征图，以C₃为例，其中含有低层特征图P₂和高层特征图C₂的多重图像特征。

图  3  FPN结构

Figure  3.  Structure of feature pyramid networks

下载: 全尺寸图片 幻灯片

2.1.3   区域特征聚集网络

区域特征聚集网络通过收集图像特征和候选区域特征，依据预测框的位置坐标，将对应的图像区域转换为特定尺寸的特征图^[10]，作为后续全连接层的输入，而后进行目标类别判定、边框和掩码覆盖的回归操作。回归操作使得候选边界框更加接近真实边界框，主要包含平移和尺度缩放2种变换。真实边界框内为图像中的目标区域，候选边界框内为算法预测的可能含有目标的区域。求解回归边界框的公式为

式中：t_x，t_y为候选边界框平移参数；x，y，w，h分别为候选边界框中心点的横纵坐标及宽度、高度；x_a，y_a，w_a，h_a分别为锚点（用来预测候选边界框）中心点的横纵坐标及宽度、高度；t_w，t_h为候选边界框缩放参数；t_x^*，t_y^*为真实边界框平移参数；x^*，y^*，w^*，h^*分别为真实边界框中心点的横纵坐标及宽度、高度；t_w^*，t_h^*为真实边界框缩放参数。

2.2   模型改进

虽然Mask R−CNN能够有效地实现目标检测与分割^[11]，但因井下图像背景复杂、异物图像尺寸相差过大等，检测时需要更多图像低层特征。Mask R−CNN模型中的锚点是由区域选取网络生成的特定长宽比例的矩形框，共计9个锚点。由于锚点与本文中待检测的5种铁质异物尺寸不对应，在生成建议区域的过程中会进行过量回归操作，降低Mask R−CNN模型的检测精度。针对该问题，本文采用k−meansⅡ聚类算法代替原来的锚点生成方案^[12]。该算法避免了选定初试聚类中心点的随机性，通过遍历数据集中标注框的长宽信息得到聚类中心点。k−meansⅡ聚类算法的详细步骤如下：

（1） 输入含有异物目标的数据集。

（2） 在数据集中随机选定k个点作为初始聚类中心点，再重复4次随机取样过程，得到5k个数据点，进行聚类分析，得到k个聚类中心点。

（3） 采用欧几里得度量公式将数据集中的每个点划分为距离该点最近的一类。欧几里得度量公式为

式中：D为距离；n为平面内点的个数；x_i，y_i为平面内第i个点的坐标。

（4） 重置每个类别的聚类中心，重置规则为

式中：c_i为聚类后像素点的类别；c_j为聚类前像素点的类别。

（5） 根据设定的阈值进行判断：如果每个类别与当前已有聚类中心的最短距离大于阈值，则聚类结束，否则转到步骤（3）。

（6） 输出k个聚类中心。

3.   实验分析

3.1   实验环境及步骤

在太原理工大学院士科创基地搭建刮板输送机铁质异物智能识别实验台，如图4所示。该实验台由ZY6800/08/18D液压支架、SGZ630/110刮板输送机、KBA18矿用本安摄像仪、KXB12本质安全型声光报警器、计算机及硬盘录像机组成。

图  4  刮板输送机铁质异物智能识别实验台

Figure  4.  Test bed for intelligent identification of iron foreign bodies in scraper conveyor

下载: 全尺寸图片 幻灯片

模型训练、测试的实验环境配置见表1。设置迭代次数为4 000，学习率为0.000 1，训练批次为10。

表  1  实验环境配置

Table  1.  Experimental environment configuration

实验环境	配置
操作系统	Windows 10 专业版
显卡	NVIDIA Quadro P620
处理器	Intel(R)Core(TM)i7−10875H CPU
学习框架	Tensorflow

下载: 导出CSV 

| 显示表格

实验步骤如下：

（1） 采集异物图像样本，去除图像中的无关区域，剔除干扰。

（2） 采用图像增强算法对铁质异物图像进行处理，并运用旋转、剪切等操作对数据集进行扩充，实现数据增强。

（3） 使用Labelme对增强后的异物图像进行标注和命名，得到对应的json文件，包括labelme.png和label_names.txt，其中主要含有铁质异物种类名称、坐标及长宽信息。

（4） 配置改进Mask R−CNN模型的运行环境及参数，开展模型训练及测试。

（5） 实现结果可视化，通过平均精度^[13]和损失函数^[14]评估模型，并与当前主流物体检测模型对比，验证本文模型的有效性和优越性。

3.2   数据采集

3.2.1   图像采集

为模拟井下真实环境，将采集环境光亮度设置为较低，将异物和煤样随机放置于运行中的刮板输送机上，分别使用移动式摄像仪与KBA18矿用本安摄像仪以不同视角采集图像。共计采集到铁质异物图像2 254张，分辨率为2 560×1 440，包含锚杆、钢板、头盔（含铁质部分，归结为铁质异物）、角铁和铁锹5种铁质异物样本，如图5所示。

图  5  铁质异物样本

Figure  5.  Sample of iron foreign bodies

下载: 全尺寸图片 幻灯片

3.2.2   图像预处理

数据集对深度学习模型的识别性能影响较大。训练数据集增大，会加快网络输出值与实际值之差趋零，从而获得性能较高的网络模型。但出现在刮板输送机上方的铁质异物具有随机性和多样性，且井下实际环境能见度较低，导致异物图像特征信息受限。因此本文采用基于Laplace算子的图像增强算法进行预处理。利用二次微分方法对图像进行锐化处理，增强图像内像素点的对比度，从而减弱图像噪声，提升图像整体亮度，增强不同物体间的对比度。图像增强前后对比如图6所示。

图  6  图像增强前后效果对比

Figure  6.  Comparison of image effects before and after enhancement

下载: 全尺寸图片 幻灯片

3.2.3   数据集构建

使用Labelme软件工具对增强后的铁质异物图像进行逐个标注，得到json格式文件。为达到可视化目的，将json格式文件转换为位深度为8的png格式彩色标签图，背景类像素点设置为黑色，得到对应的Mask图像，如图7所示。

图  7  数据集构建

Figure  7.  Dataset construction

下载: 全尺寸图片 幻灯片

3.3   模型训练

分别采用原始图像及数据增强后的图像制作训练集，采用改进Mask R−CNN模型训练400次，结果如图8所示。可看出经过数据增强后模型损失值减小，验证了数据增强能够明显加快模型收敛速度，有效降低模型损失率，提高铁质异物检测效果。

图  8  图像增强前后模型损失值对比

Figure  8.  Comparison of model loss values before and after image enhancement

下载: 全尺寸图片 幻灯片

在自制的刮板输送机铁质异物图像训练集上训练。Mask R−CNN模型改进前后的训练结果如图9所示。由图9（a）所示的精确率−召回率（P−R）曲线可看出，改进后模型性能较改进前更好。由图9（b）可看出，训练初期损失值下降速度很快，训练1 500次后逐渐趋于稳定，最终损失值收敛于0.334 9，改进后模型的损失值一直低于改进前。

图  9  模型改进前后训练结果对比

Figure  9.  Comparison of training results before and after model improvement

下载: 全尺寸图片 幻灯片

3.4   异物识别效果分析

为了直观展示模型对铁质异物的识别效果，对多种铁质异物原图、标签图及模型改进前后识别出的异物图像进行比对，如图10所示。可看出改进后模型对异物分割更为准确，更为接近异物真实轮廓。

图  10  刮板输送机5种常见铁质异物多目标检测效果

Figure  10.  Multi-object detection effect of five common iron foreign bodies in scraper conveyor

下载: 全尺寸图片 幻灯片

基于自制的刮板输送机铁质异物数据集，采用改进前后的Mask R−CNN模型对676张图像分别进行检测，结果见表2。可看出，与Mask R−CNN，YOLOv5相比，改进Mask R−CNN模型对单张图像的平均检测时间分别缩短0.093，0.002 s，平均精度分别提高11.4%，2.9%。

表  2  不同模型检测效果对比

Table  2.  Comparison of detection effects of different models

模型	检出 张数	未检出 张数	单张图像平均 检测时间/s	平均 精度/%
Mask R−CNN	642	32	0.825	80.3
YOLOv5	658	16	0.734	88.8
改进Mask R−CNN	667	9	0.732	91.7

下载: 导出CSV 

| 显示表格

4.   结论

（1） 采用k−meansⅡ聚类算法代替Mask R−CNN模型的锚点生成方案，并采用改进Mask R−CNN模型进行刮板输送机铁质异物多目标检测。

（2） 采用基于Laplace算子的图像增强算法进行数据预处理，可明显加快模型收敛速度，有效降低模型损失率，提高铁质异物检测效果。

（3） 实验结果表明，改进Mask R−CNN模型对单张图像的平均检测时间为0.732 s，与Mask R−CNN，YOLOv5相比，分别缩短0.093，0.002 s；平均精度为91.7%，与Mask R−CNN，YOLOv5相比，分别提高11.4%，2.9%。