0.   引言

煤矿在综采过程中会产生大块煤，过大的煤块会导致带式输送机的出煤口堵塞，进而造成槽内积煤过多、煤体溢流、输送链磨损等危害，严重威胁煤矿生产安全^[1-2]。因此，对带式输送机上大块煤进行实时精准检测，可降低带式输送机发生故障的风险，保障煤矿生产安全并提高生产效率。

传统的煤块检测方法通常需要人工提取煤块的颜色、纹理等特征，该过程消耗人力物力，且效率较低。张渤等^[3]通过OpenCV对图像进行预处理，再进行灰度化操作和阈值分割，去除背景部分，对输送带上运动的煤块进行标记，实现了大块煤检测。然而，煤矿生产中的复杂场景和多变工况使得传统方法往往无法实现较高的检测精度，且在处理大规模数据集时，人工提取特征容易引入误差。近年来，随着人工智能发展，基于深度学习的煤块检测方法得到大量研究^[4]，其中YOLO系列模型^[5]在煤块检测场景应用广泛。杜京义等^[6]提出了融入Canny算子的大块煤检测方法，降低了煤块边缘检测误差，有效统计了大块煤数量。叶鸥等^[7]提出了一种融合轻量级网络和双重注意力机制的改进YOLOv4模型，通过引入MobileNet轻量级网络模型，并嵌入具有双重注意力机制的卷积块注意模块，提高了煤块检测精度和速度。沈科等^[8]在YOLOv5s模型中嵌入自校正卷积（Self-Calibrated Convolutions，SCConv），提高了检测实时性。张旭辉等^[9]通过改进YOLOv5s模型检测输送带上的煤块，再通过DeepSORT跟踪实现煤块滞留和堵塞行为异常识别。高凯等^[10]将YOLOv5主干网络中残差模块替换为递归门控卷积模块（Recursive Gated Convolution Block，GnBlock），提取高阶语义特征，并加入注意力机制提高模型对煤块边缘特征的敏感度，从而提高煤块检测精度。

然而井下环境复杂，存在高粉尘、低光照的特点，且大块煤和普通煤块在外形和颜色上的差异较小，煤块间存在遮挡和堆叠的情况，现有方法对大块煤与普通煤块的区分不够精确，容易出现漏检或误检。本文在YOLOv5模型中引入并行空洞卷积模块和联合注意力模块，提出了一种改进YOLOv5模型，并与PLC联动示警，实现对带式输送机上大块煤的精准检测。

1.   带式输送机大块煤检测方法

1.1   方法原理

带式输送机大块煤检测方法原理如图1所示。首先，利用5G矿用摄像仪采集煤矿带式输送机的输煤视频，并进行抽帧和数据预处理，获得样本图像；其次，对样本图像进行标注（仅标注大块煤），构建大块煤检测的训练集、验证集、测试集；然后，对改进YOLOv5模型进行训练，保存训练结果最优的权重文件；最后，利用训练好的改进YOLOv5模型对摄像仪采集的实时输煤视频进行检测，存储大块煤的位置和数量信息并上传数据库，实时联动PLC示警。

图  1  煤矿带式输送机大块煤检测原理

Figure  1.  Detection principle of large coal blocks in coal mine belt conveyor

下载: 全尺寸图片 幻灯片

1.2   改进YOLOv5模型

YOLOv5是一种基于深度神经网络的目标检测与定位模型，其主要由输入端（Input）、骨干网络（Backbone）、颈部（Neck）、头部（Detection Head）4个部分组成。骨干网络采用CSPDarknet结构，对传统Darknet结构进行了优化，提高特征提取能力。颈部包括特征金字塔网络（Feature Pyramid Networks，FPN）和路径聚合网络（Path Aggregation Network，PAN），以提高不同尺度特征的表达能力^[11]；颈部采用CSP（Cross Stage Partial）结构，有助于提升模型的表达能力和检测精度^[12]。头部的3个分支分别负责处理不同尺度的特征图。

为提取更多底层的多尺度特征辅助判断^[13]，对YOLOv5模型进行改进，如图2所示。将骨干网络中第3个和第5个普通卷积模块CBS（由卷积、归一化函数和激活函数组成）替换为并行空洞卷积模块DCBS3（由3个并行的空洞卷积、归一化函数和激活函数组成），并在颈部特征融合过程中加入2个联合注意力模块DCTR（由空洞卷积和注意力模块组成）。

图  2  改进YOLOv5模型

Figure  2.  Improved YOLOv5 model

下载: 全尺寸图片 幻灯片

1.2.1   并行空洞卷积模块

煤炭运输过程中的大块煤与普通煤块的主要区别是体积大小。由于带式输送机长度较长，在获取图像时，远处的煤块在图像中的横截面积较小，难以判断是否为大块煤，所以需要加强多尺度特征学习。普通卷积无法很好地识别多尺度特征，因此，提出了并行空洞卷积模块，结构如图3所示（图中k为卷积核大小；s为卷积步长；d为空洞卷积（ConvD）的膨胀率）。通过拼接3个不同膨胀率的空洞卷积特征，得到图像的多尺度信息，扩大感受野^[14]，有效区分大块煤和普通煤块，提高模型精度。

图  3  并行空洞卷积模块结构

Figure  3.  Structure of parallel dilated convolution module

下载: 全尺寸图片 幻灯片

空洞卷积通过在卷积核元素之间加入一些空洞（补充零）来扩大卷积核，在扩大感受野的同时不丢失空间分辨率^[15]。空洞卷积的实际卷积核大小为

空洞卷积的感受野为

式中：$ T_{l+1} $为第l+1层空洞卷积的感受野；$ {s}_{i} $为第i（i=1，2，···，l，l为空洞卷积层数）层空洞卷积的步长。

并行空洞卷积模块中，输入特征图x先通过膨胀率分别为1，2，4的空洞卷积。

式中：$ {{\boldsymbol{F}}}_{d} $为膨胀率为d的空洞卷积的输出特征向量；$ \delta $（·）为SiLU激活函数；$ h $（·）为归一化函数；$ {f}_{\mathrm{C}\mathrm{D}d} $（·）为膨胀率为$ d $的空洞卷积操作。

之后对相同大小的特征向量进行特征拼接，并通过线性卷积（Conv）保持特征维度不变，得到丰富的多尺度信息。

式中：$ {\boldsymbol{y}} $_cd为并行空洞卷积模块输出的特征图；$ {f}_{\mathrm{C}} $（·）为普通卷积操作；g（·）为特征拼接操作。

1.2.2   联合注意力模块

煤块间的堆叠、遮挡等现象会导致大块煤难以识别，加入注意力机制可增强模型上下文感知能力及对大块煤的定位能力^[16-19]。但注意力机制长距离结构可能导致信息遗漏，且煤块形状不规则导致检测难度大，因此可通过结合空洞卷积来扩大感受野，获取更全面的特征信息。对原始的C3模块进行改进，加入空洞卷积和注意力机制构建联合注意力模块，结构如图4所示。输入特征图依次通过空洞卷积和残差模块（Bottleneck）得到空洞卷积分支输出，并行通过注意力模块（Transformer）得到注意力分支输出，2个分支的输出拼接后通过卷积得到输出特征图。

图  4  联合注意力模块结构

Figure  4.  Structure of joint attention module

下载: 全尺寸图片 幻灯片

残差模块包含2个普通卷积模块和1个残差连接，空洞卷积分支输出为

注意力模块包含多头注意力层和多层感知器层^[20]。多头注意力层输出为

式中：α（·）为Softmax激活函数；$ {\boldsymbol{Q}} $为查询矩阵；$ {\boldsymbol{K}} $为键矩阵；$ {n}_{\boldsymbol{K}} $为键矩阵$ {\boldsymbol{K}} $的维度；$ \boldsymbol{\boldsymbol{V}} $为值矩阵。

多层感知器层输出为

式中：$ \beta $（·）为ReLU激活函数；$ {W}_{1} $，$ {W}_{2} $为感知器权重；$ {c}_{1} $，$ {c}_{2} $为感知器偏置。

联合注意力模块输出的特征图为

1.3   PLC联动示警

通过多次实验发现，当带式输送机上出现超过3块大块煤时几乎无法避免堵塞，因此根据带式输送机上大块煤数量制定合理的PLC联动示警策略，流程如图5所示。检测到大块煤后，根据大块煤数量分为0块、1块、2块、大于2块4种情况，由本地计算机进行逻辑判断并向PLC发送信号指令；之后，PLC对输出端口完成相应的置位和复位操作，连接在PLC输出端口的继电器指示灯则相应点亮（根据大块煤数量亮起不同数量的继电器指示灯），达到3块大块煤时蜂鸣器报警。

图  5  PLC联动示警流程

Figure  5.  Flow of PLC linkage alarm

下载: 全尺寸图片 幻灯片

2.   实验设置

2.1   实验环境

GPU为NVIDIA RTX 3090；操作系统为Ubuntu 22.04；开源框架为PyTorch；显卡为Cudnn 8.2，Cuda 11.3；PLC为CPU 1214C。

2.2   数据集

2.2.1   数据来源

模拟平台数据集：基于实验室的带式输送机模拟平台，利用KBA12（5G）矿用本安型摄像仪采集带式输送机输煤视频。对采集的17个视频进行抽帧，对原图像进行预处理，最终获得800张分辨率为1 024×768的样本图像。按照7∶2∶1的比例划分数据集，随机选取560张样本图像作为训练集，160张样本图像作为验证集，剩余80张样本图像作为测试集。

煤矿井下数据集：采集国能神东煤炭集团有限责任公司上湾煤矿实际带式输送机输煤过程的视频。井下作业时光照条件较差、输送带运行速度较快，获得的样本图像较为模糊。经过预处理后，得到140张分辨率为1 024×1 024的样本图像，并按照8∶2的比例划分为训练集和验证集。

2.2.2   图像预处理

1） 图像裁剪。带式输送机仅占样本图像的一部分区域，背景包含较多无关因素。为去除无关背景、突出目标区域，对样本图像进行裁剪。

2） 图像增强。通过自适应Gamma校正方法对样本图像每个像素点的亮度进行自适应调整，改善样本图像的亮度和对比度。

2.3   评价指标

为验证模型性能，使用精确率、召回率、平均精度作为评价指标。

精确率P表示被正确检测出的大块煤数量占所有检测为大块煤数量的比例，召回率R表示被正确检测出的大块煤数量占样本中实际大块煤数量的比例。

式中：$ {N}_{\mathrm{T}\mathrm{P}} $为被正确检测出的大块煤数量；$ {N}_{\mathrm{F}\mathrm{P}} $为误检的大块煤数量；$ {N}_{\mathrm{F}\mathrm{N}} $为没有被检测出的大块煤数量。

交并比阈值设置为0.5时检测的平均精度为

式中$ P\left(R\right) $为精确率−召回率曲线。

3.   实验结果

3.1   改进YOLOv5模型识别结果

为验证改进YOLOv5模型引入并行空洞卷积、联合注意力机制的效果，在原始YOLOv5模型基础上增加不同模块，利用模拟平台数据集进行消融实验，结果见表1。可看出与原始YOLOv5模型相比，仅加入并行空洞卷积模块进行多尺度特征学习后，精确率、召回率、平均精度分别提升0.1%，2.6%，0.9%；仅加入联合注意力模块后，精确率、召回率、平均精度分别提升0.5%，1.6%，0.3%；2种模块均加入后，精确率、召回率和平均精度分别提升0.2%，3.4%，2.0%。

表  1  消融实验结果

Table  1.  Results of ablation experiments

并行空洞卷积模块	联合注意力模块	精确率/%	召回率/%	平均精度/%
×	×	95.4	90.1	94.3
√	×	95.5	92.7	95.2
×	√	95.9	91.7	94.6
√	√	95.6	93.5	96.3

下载: 导出CSV 

| 显示表格

为进一步验证本文改进YOLOv5模型性能，在模拟平台数据集上与经典模型Faster R−CNN和其他改进YOLOv5模型进行对比，结果见表2。可看出与YOLOv5模型相比，Faster R−CNN模型召回率和平均精度更低，且检测速度明显更慢；文献[8]由于优化了YOLOv5模型的颈部并删除了颈部和头部的1个特征分支，检测速度有所提升，但对大块煤检测的召回率提升较小；文献[10]和本文由于在YOLOv5模型的颈部加入注意力机制，增大了计算量，导致检测速度有所下降，但检测精度均有所提升，尤其本文提出的改进模型精度提升更加明显。

表  2  不同模型性能对比结果

Table  2.  Performance comparison results of different models

模型	召回率/%	平均精度/%	帧速率/（帧·s−1）
Faster R−CNN[21]	89.4	92.8	28.6
YOLOv5	90.1	94.3	58.4
YOLOv5+SCConv[8]	90.5	94.2	60.2
YOLOv5+GnBlock[10]	91.8	94.8	37.3
YOLOv5+DCBS3+DCTR	93.5	96.3	39.2

下载: 导出CSV 

| 显示表格

3.2   PLC联动示警结果

本地计算机上部署本文改进YOLOv5模型，对摄像仪采集的视频进行实时检测，获得带式输送机上大块煤数量，并向PLC发送信号指令，由PLC控制继电器执行相应操作，结果如图6所示。检测到只有1块大块煤时，亮起1个指示灯，进行提示；检测到2块大块煤时，亮起2个指示灯，进行警告；检测到3块及以上大块煤时，3个指示灯均亮起，进行报警。

图  6  PLC联动示警结果

Figure  6.  Results of PLC linkage alarm

下载: 全尺寸图片 幻灯片

3.3   实际场景检测结果

为验证改进YOLOv5模型的泛化性，在煤矿井下数据集上进行实验，不同模型检测精度对比结果见表3，可看出本文改进YOLOv5模型检测精度最高。

表  3  不同模型检测精度对比结果

Table  3.  Precision comparison results of different models

模型	精确率/%	平均精度/%
YOLOv5	88.3	90.9
YOLOv5+SCConv	93.9	94.3
YOLOv5+GnBlock	93.0	95.5
YOLOv5+DCBS3+DCTR	97.0	96.8

下载: 导出CSV 

| 显示表格

实际场景检测结果如图7所示。可看出原始YOLOv5模型和YOLOv5+GnBlock模型出现了漏检，YOLOv5+SCConv模型出现了误检，而本文改进YOLOv5模型有效避免了漏检和误检现象。

图  7  实际场景检测结果

Figure  7.  Detection results of actual scene

下载: 全尺寸图片 幻灯片

4.   结论

1） 为提升大块煤检测精度，对YOLOv5模型进行改进，在骨干网络引入并行空洞卷积模块以扩大感受野、提高多尺度特征学习能力，并在颈部引入联合注意力模块来提高对大块煤的定位能力。

2） 实验结果表明，改进YOLOv5模型的召回率、平均精度相对于原始YOLOv5模型分别提高了3.4%，2.0%，且有效避免了大块煤漏检和误检现象。