0.   引言

煤炭是我国的主体能源，煤矿智能化建设是我国煤炭工业高质量发展的方向^[1-3]。综采工作面的刮板输送机在运输煤流的过程中，大块煤易造成煤流堵塞，引发堆煤现象，严重影响机械设备性能和采煤效率^[4-7]。由于综采工作面低照度、运动模糊和粉尘、水雾等特殊环境条件^[8]，且受限于煤矿井下的低算力设备，现有的目标检测算法往往存在精度低、模型占用的内存大、硬件依赖强等问题。因此，设计精度高、轻量化、移动端易部署的大块煤目标检测算法对于综采工作面安全生产有重要意义。

综采工作面环境恶劣，存在运动模糊、尺度变化、遮挡等复杂工况。传统的目标检测算法存在效率低、准确率较低等问题^[9]。随着计算机视觉技术的发展，基于深度学习的目标检测技术^[10]被应用到煤矿井下目标检测中。曹现刚等^[11]提出了一种跨模态注意力融合的煤炭异物检测方法，有效提高了复杂特征异物检测精度，减少了误检、漏检现象。高涵等^[12]融合特征增强与Transformer的方法，实现了煤矿输送带异物检测，有效解决了输送带异物目标检测中细长物体检测效果差、弱语义特征提取困难的问题。张立亚^[13]提出了一种基于生成对抗网络的带式输送机异物检测方法，采用深度可分离卷积代替原有主干网络中的卷积操作，大幅降低了模型计算量，提高了异物检测速度。王科平等^[14]以YOLOv4模型为基础，通过深度可分离卷积替换传统卷积，在主干网络中添加残差自注意力模块，减少了模型参数量和计算量，实现了检测模型的工业部署。李江涛等^[15]提出了一种基于异物识别模型的轻量化策略，减小了模型大小和运行时占用的内存。

上述研究通过添加注意力机制、更换深度可分离卷积等操作，一定程度上提升了煤矿目标检测精度，但仍存在以下问题：模型占用的内存过大，导致部署困难；轻量化设计虽提升了模型的检测速度，但导致精度下降。针对上述问题，本文以YOLOv5s为基础，通过轻量化MobileNetV3网络、高效多尺度注意力（Efficient Multi-Scale Attention，EMA）模块、SIoU损失函数对模型进行改进，提出了一种基于MES−YOLOv5s的综采工作面大块煤检测算法，并通过实验验证了该算法的有效性。

1.   基础模型选择

YOLO网络因其在速度和准确性方面的显著平衡而在目标检测模型中脱颖而出。YOLO系列中常用的网络有YOLOv5，YOLOv7，YOLOv8。YOLO系列网络性能对比如图1所示，n，s，m，l，x表示YOLO的不同变体，E为3种模型在COCO数据集上的检测精度（阈值范围为0.50～0.95），m为模型占用的内存，t为CPU检测时间。可看出，YOLOv8网络模型整体性能优于其他网络模型，但检测速度较慢；YOLOv7网络模型精度较高，但检测速度慢，且模型占用的内存大，难以部署；YOLOv5网络模型精度较低，但具有参数量少、易训练、推理速度快和部署简单等特点；YOLOv5s性能优于YOLOv8n，且检测时间和占用的内存与YOLOv8n差距较小。综合性能和实际工况考虑，本文选择YOLOv5s作为基础模型。

图  1  YOLO系列网络模型性能对比

Figure  1.  Performance comparison of YOLO series network models

下载: 全尺寸图片 幻灯片

YOLOv5s网络模型^[16]主要包括输入层、主干网络、颈部网络、检测头4个部分。输入层包含数据增强方法，对随机4张图像进行任意缩放和拼接，以扩张数据集并提高训练效率。主干网络是由卷积（Conv）模块、C3模块和快速空间金字塔池化（Spatial Pyramid Pooling-Fast，SPPF）模块组成。Conv模块用于提取物体特征，C3模块对特征信息进行残差连接，SPPF模块融合不同尺度的特征信息。颈部网络由特征金字塔网络（Feature Pyramid Network，FPN）和路径聚合网络（Path Aggregation Network，PAN）^[17]组成，用于提高多尺度检测精度。检测头输出预测结果，生成预测类别。

2.   MES−YOLOv5s网络模型

在煤矿井下，煤机装备等移动端设备搭载的硬件算力低，而目标检测任务实时性要求高。针对该问题，本文设计了MES−YOLOV5s网络模型，其结构如图2所示。

图  2  MES−YOLOV5s网络模型结构

Figure  2.  MES-YOLOV5s network model structure

下载: 全尺寸图片 幻灯片

2.1   主干网络改进

YOLOv5s的主干网络由卷积模块和C3模块堆叠组成，该结构能够较好地提取物体特征信息，但参数量大、计算量大、推理时间长，难以部署到移动端等算力较低的设备上。因此，本文使用MobileNetV3替代主干网络。

MobileNetV3的核心模块是bneck，该模块主要包含可分离卷积、压缩和激励（Squeeze-and-Excitation, SE）通道注意力机制和shortcut连接，如图3所示^[17-18]。特征图首先经过1×1卷积升维，再通过3×3深度可分离卷积，保持通道数不变。SE通道注意力机制为每一个通道赋予权重。设输入特征图维度为C×H×W（通道数×高×宽），经过全局平均池化得到C×1×1的张量，该张量包含每个通道的权重。将通道权重与对应通道的输入特征相乘，再通过1×1卷积降维，得到深层信息。最后通过shortcut将浅层特征信息传递到深层，实现特征复用。

图  3  bneck模块结构

Figure  3.  Structure of bneck module

下载: 全尺寸图片 幻灯片

2.2   EMA模块

由于大块煤检测任务目标遮挡严重，密集分布且MobileNetV3网络缩减了大量模型参数，导致YOLOv5s模型精度下降。因此，本文在颈部网络引入EMA模块^[19]，保留各通道信息并进一步减少计算开销。

EMA模块结构如图4所示^[19]。在空间维度上，对于输入维度为C×H×W的特征图，按通道将其分为G组，每组的维度为(C/G)×H×W。通过一维水平全局池化X Avg Pool、一维垂直全局池化Y Avg Pool、3×3卷积3个并行分支进行处理。前2个分支输出的特征经过Sigmoid激活函数激活，最后通过Concat将2个通道注意力特征聚合。3×3卷积操作用于提取特征图的特征。跨空间学习方法利用二维全局平均池化将全局空间信息编码并通过1×1分支输出，建立信息短期和长期依赖关系。最后输出维度为C×H×W的特征图。

图  4  EMA模块结构

Figure  4.  Structure of efficient multi-scale attention（EMA） module

下载: 全尺寸图片 幻灯片

2.3   SIoU损失函数

YOLOv5s模型的损失函数为CIoU^[20]，该函数依赖于预测框与真实框的距离、重叠区域和纵横比，未考虑到预测框与真实框的方向匹配问题，在模型训练过程中，预测框的方向会产生振荡。因此，本文采用SIoU^[21]损失函数，该函数考虑到所需回归之间的向量角度，重新定义了惩罚指标，提高了训练速度和推理准确性。

SIoU损失函数中添加了角度损失，当预测框与真实框水平方向夹角$ \alpha \leqslant \text{π}/4 $时，收敛过程首先最小化$ \alpha $；当预测框与真实框垂直方向夹角$ \beta \leqslant \text{π}/4 $时，收敛过程首先最小化$ \beta $。

式中：$ \sigma $为预测框与真实框中心点的欧氏距离；$ {b}_{x}^{{\mathrm{gt}}} $，$ {b}_{y}^{{\mathrm{gt}}} $为真实框的中心点坐标；$ {b}_{x} $，$ {b}_{y} $为预测框的中心点坐标；$ {D}_{y} $为预测框与真实框中心点垂直方向距离；F为角度损失和距离损失的综合表示。

3.   实验及结果分析

3.1   数据采集及预处理

实验使用文献[22]提供的长壁综采工作面数据集，将大块煤数据集按照8∶1∶1的比例划分，共包含16 813张训练图像、2 101张验证图像、2 101张测试图像。长壁综采工作面数据集处理流程如图5所示，包含数据采集、数据过滤和数据标注。首先将采集到井下原始监控视频数据通过FFmpeg软件切成帧图像，通过数据过滤操作筛出不完整、难识别、运动模糊、远距离的图像，最后使用LabelImg软件完成数据标注。

图  5  长壁综采工作面数据集处理流程

Figure  5.  The processing process of the dataset of the longwall fully mechanized working face

下载: 全尺寸图片 幻灯片

3.2   实验配置及评价指标

硬件配置：操作系统为ubuntu20.04，cuda版本为11.3，CPU型号为Intel（R） Xeon（R） Platinum 8369B CPU @2.90 GHz，GPU型号为NVIDIA A10。

软件及训练参数：输入图像分辨率为1 920×1 080，迭代次数为300，初始学习率为0.01，batch-size为32，选用SGD优化器，学习率动量为0.937；python版本为3.9，pytorch框架版本为1.12，OpenCV版本为4.5.1。

使用召回率、平均精度均值（mean Average Precision，mAP）作为模型的评价指标。

式中：P为精确度；TP为预测类别与真实类别都为真的目标数目；FP为预测类别为真、真实类别为假的目标数目；R为召回率；FN为预测类别为假、真实类别为真的目标数目；AP为平均精确度；n为检测框数目；L为类别数，当L = 1时，mAP与AP相等。

3.3   消融实验

为验证各模块的效果，以相同的实验配置进行消融实验，结果见表1。可看出采用MobileNetV3替代主干网络后，模型的mAP降低了4.2%，内存减少了43 MiB，检测时间减少了39.7 ms；在颈部网络添加EMA模块后，模型的mAP增加了2.2%，内存增加了0.6 MiB，检测时间增加了7.2 ms；在检测头部使用更为高效的SIoU损失函数后，模型的mAP增加了0.6%，内存保持不变，检测时间减少了3.6 ms；同时添加3项改进策略后，模型的mAP达84.6%，占用内存为11.2 MiB，检测时间为31.8 ms。

表  1  消融实验结果

Table  1.  Ablation test results

改进策略			mAP/%	占用内 存/MiB	CPU检测 时间/ms
MobileNetV3	EMA	SIoU
×	×	×	85.1	54.1	68.5
√	×	×	80.9	11.1	28.8
×	√	×	87.3	54.7	75.7
×	×	√	85.7	54.1	64.9
√	√	√	84.6	11.2	31.8

下载: 导出CSV 

| 显示表格

消融实验结果表明：MobileNetV3大幅减少了模型占用的内存和检测时间，但mAP损失严重；EMA模块和SIoU损失函数可在一定程度上恢复损失的精度，同时保证模型在CPU上具有较高的检测速度，满足煤矿井下目标实时检测需求。

3.4   对比实验

为进一步验证MES−YOLOv5s的性能，在CPU测试环境下，将其与DETR^[22]，YOLOv5n，YOLOv5s，YOLOv7进行对比。DETR是基于Transformer的目标检测框架，使用 Transformer 编码器−解码器架构来同时预测所有对象，比传统的目标检测器更简单、更高效。实验结果见表2。可看出MES−YOLOv5s模型的mAP达84.6%，较DETR，YOLOv5n分别增加了3.3%，0.7%，较YOLOv5s，YOLOv7模型分别减少了0.5%，1.9%；模型占用的内存为11.2 MiB，较DETR，YOLOv5n，YOLOv5s，YOLOv7模型分别减少了137.8，2.8，42.9，273.4 MiB；检测时间为31.8 ms，较DETR，YOLOv5n，YOLOv5s，YOLOv7模型分别减少了464.4，0.1，36.7，289.0 ms。

表  2  对比实验结果

Table  2.  Comparative experimental results

模型	mAP/%	占用内存/MiB	CPU检测时间/ms
DETR	81.3	149	496.2
YOLOv5n	83.9	14	31.9
YOLOv5s	85.1	54.1	68.5
YOLOv7	86.5	284.6	320.8
MES−YOLOv5s	84.6	11.2	31.8

下载: 导出CSV 

| 显示表格

对比实验结果表明，MES−YOLOv5s模型的精度较高，内存小，CPU检测速度快，综合性能优于其他模型，更适合部署于低算力设备。

在测试集上采用各模型进行实验，部分结果如图6所示。第1组实验在高速运动、多尺度的工况下进行，DETR，YOLOv5n，MES−YOLOv5s模型对于小尺度目标的mAP小于50%，YOLOv5s，YOLOv7模型的mAP大于50%。第2组实验在遮挡、多目标的工况下进行，DETR和YOLOv5n模型出现误检情况，YOLOv5s，YOLOv7， MES−YOLOv5s模型的召回率为100%，且mAP大于85%。第3组实验在静止的工况下进行，DETR模型的精确度为57%，其他模型的召回率为100%，mAP大于85%。第4组实验在高速运动、多尺度、遮挡的工况下进行，DETR模型的精确度为85%，其他模型的召回率为100%，YOLOv7和MES−YOLOv5s模型的mAP大于60%。

图  6  不同模型部分检测结果

Figure  6.  Partial detection results of different models

下载: 全尺寸图片 幻灯片

MES−YOLOv5s模型综合性能表现最好，在高速运动、多尺度、遮挡和多目标的工况环境下能够保持较高的召回率和精度。

4.   结论

1） 采用MobileNetV3网络替换YOLOv5s的主干网络，以适应模型在移动端的部署，模型占用的内存减少了43 MiB，CPU端检测时间减少了39.7 ms。在颈部网络添加EMA模块，以保留各通道信息并进一步减少计算开销，mAP增加了2.2%，模型占用的内存增加了0.6 MiB，检测时间增加了7.2 ms。在检测头部更换SIoU损失函数，以提高模型的训练速度和推理的准确性，mAP增加了0.6%，模型占用的内存保持不变，检测时间增加了3.6 ms。

2） 与DETR，YOLOv5n，YOLOv5s，YOLOv7模型进行对比，MES−YOLOv5s模型综合性能最好，mAP为84.6%，模型占用的内存为11.2 MiB，在CPU端的检测时间为31.8 ms，在高速运动、多尺度、遮挡和多目标的工况环境下能够保持较高的召回率和精度。