0.   引言

近年来中国的能源结构正在逐步优化升级，但煤炭依然扮演着能源保障的核心角色^[1-3]。在煤炭开采过程中不可避免地会混入煤矸，这不仅会降低煤炭品质，还会影响环境与生态，并有可能触发山体滑坡等灾害。因此，准确快速地识别煤矸是进行有效分拣的基础，也是选煤厂智能化选煤技术研究的一个焦点^[4-5]。传统的煤矸分选技术包括人工分拣、射线法、重介法和跳汰分选法等，这些方法通常效率较低且易造成环境污染^[6-9]。随着深度学习技术的进展，基于目标检测技术的物体识别方法开始在工业领域得到广泛应用。

目前深度学习与煤矸检测结合的研究已取得一定的成果。蔡秀凡等^[10]通过修改K−means初始锚框参数与增加一个检测通道，降低了小块煤矸漏检率与误检率，但检测结果的鲁棒性有待检验。来文豪等^[11]选取多光谱系统中的3个波段创建煤矸图像数据集，并基于改进的YOLOv4模型检测煤矸，但模型检测时间偏长，影响了检测的实时性。高如新等^[12]对YOLOv5s模型的损失函数进行优化，提高了边界框检测的准确率，但并未提升煤矸的检测速度。郑道能^[13]引入空洞卷积替代tiny YOLOv3模型中部分卷积层，扩大模型感受野，提高了模型计算速度，但对检测小块煤矸不太友好。陈彪等^[14]将YOLOX−S主干网络替换为Ghost−S结构，并用SIoU边界框损失函数代替原损失函数，提高了模型的特征提取能力和准确率，但没有解决复杂环境下煤矸检测精度较低的问题。桂方俊等^[15]将YOLOv5m模型的Neck部分修改为双向特征金字塔结构，提高了模型的检测速度，但特征提取不充分，降低了煤矸的检测精度。张释如等^[16]通过在YOLOv5s模型的Backbone中引入空洞卷积和残差块优化空间金字塔池化（Spatial Pyramid Pooling， SPP）模块结构，强化多尺度特征融合，提高了对小目标煤矸的检测精度，降低了煤矸识别的误检率和漏检率，但网络的参数较多，对模型的检测速度影响较大。张磊等^[17]在YOLOv5s中将普通卷积替换为深度可分离卷积，显著降低了模型的参数量和计算量，提高了煤矸检测速度，但降低了模型的特征提取能力，影响了模型的检测精度。

针对上述问题，本文提出了一种基于YOLOv5s−FSW模型的煤矸检测方法。首先，在主干网络中引入FasterNet Block结构，以减少模型的参数量和计算量，从而提高检测速度。然后，在颈部网络添加无参型SimAM注意力机制来提高模型的特征提取能力，特别是复杂环境中的煤矸检测精度。最后，采用Wise−IoU（Wise-Intersection over Union）损失函数替代CIoU（Complete Intersection over Union），以提高模型的收敛速度和边界框定位精度。

1.   YOLOv5s−FSW模型建立

1.1   YOLOv5基础模型选择

YOLOv5共有YOLOv5n，YOLOv5s，YOLOv5m，YOLOv5l，YOLOv5x 5个版本，其网络结构主要由输入端（Input）、主干网络（Backbone）、颈部网络（Neck）、输出端（Prediction）4个部分组成^[18-19]。输入端主要对输入数据进行预处理。主干网络通过一系列卷积层、池化层和快速空间金字塔池化（Spatial Pyramid Pooling-Fast，SPPF）对特征图进行不同尺度的特征提取和融合，以提升模型的检测精度。颈部网络通过自顶向下传递语义信息和自底向上传递位置信息进行不同特征的融合，提高模型检测能力。输出端输出计算得到的网络预测结果。从YOLOv5n开始，模型的检测精度逐步提高，但模型深度和模型宽度也在依次增大，导致模型复杂度和参数量增大，影响了检测速度。由于采煤和运煤现场大都为算力较低的嵌入式设备，难以满足部署大模型的条件。综合对模型检测精度、速度及算力的考虑，本文选用YOLOv5s作为基础模型。

1.2   YOLOv5s−FSW模型

YOLOv5s−FSW模型是在YOLOv5s基础上改进而来，其网络结构如图1所示。将主干网络中的部分C3模块替换为FasterNet Block结构，降低参数量和计算量。在颈部网络添加SimAM注意力机制，使模型聚焦目标有效特征，降低对无关信息的关注度。在输出端采用Wise−IoU替换CIoU边界框损失函数，提高模型的定位精度和收敛速度。

图  1  YOLOv5s−FSW网络结构

Figure  1.  YOLOv5s-FSW network structure

下载: 全尺寸图片 幻灯片

1.2.1   FasterNet Block结构

在YOLOv5s中，主干网络主要包括Conv模块、SPPF模块、C3模块。Conv模块包括卷积（Conv2d）层、批量归一化（Batch Normalization，BN）层和SILU激活函数；SPPF模块可处理输入图像并获得多尺度的特征表示；C3模块可增加网络的深度和感受野，提高模型的特征提取能力，但C3模块的参数量较大、计算复杂度高，影响模型检测速度，难以满足选煤厂煤矸检测任务的实时性要求。因此，本文采用FasterNet Block结构^[20]替换主干网络中部分C3模块，通过降低内存访问量和计算量来提升模型的检测速度。

FasterNet Block为由1个部分卷积（Partial Convolution，PConv）层和2个逐点卷积（Point−Wise Convolution，PWConv）层组成的倒置残差块结构，如图2所示，其中*为卷积运算。FasterNet Block结构通过PConv层对输入特征的部分通道进行空间特征提取，维持其余通道不变，并将首个或尾个连续通道作为整个特征图的表征进行计算，在保证一般性的同时，维持输入和输出特征的通道数一致。PConv层通过减少冗余计算和内存访问实现降低计算量，从而提高模型计算速度和运行速度。为充分利用不同通道的所有信息，在PConv层后引入2个PWConv层对特征通道进行操作，第1个PWConv层用于减少特征图的通道数，降低计算成本，第2个PWConv层用于恢复特征通道数，并将空间信息和通道信息融合，以提高网络的表达能力。为保证模型的特征多样性并实现更低的延迟，将BN层和ReLU激活函数放置在2个PWConv层之间，以提高模型性能。

图  2  FasterNet Block结构

Figure  2.  FasterNet Block structure

下载: 全尺寸图片 幻灯片

FasterNet Block中PConv层的计算量为

式中：h和w分别为输入特征图的高和宽；k为PConv层的卷积核大小；c_p为PConv层作用于输入特征图的通道数，c_p通常取输入特征图通道数c的1/4，此时PConv层的计算量为常规卷积的1/16，同时内存访问量仅为常规卷积的1/4，其内存访问量为

1.2.2   SimAM注意力机制

YOLOv5s提取输入图像特征时无法对不同的通道信息实行不同程度的关注，影响模型的检测精度。煤矸检测任务中目标之间特征差异小，尤其在选煤厂、煤矿井下等复杂场景中目标与背景区分度小，影响模型对煤矸目标的特征提取能力，导致模型检测精度低，甚至出现误检、漏检的现象。本文在颈部网络中添加注意力机制以增强模型的特征提取能力。深度学习中的注意力机制是一种常用的数据处理技术，通过从众多信息中选出对当前任务最关键的信息并抑制不相关的次要信息，增强网络的特征提取能力，提升模型识别的效率和准确率。常见的注意力机制如压缩和激励注意力机制（Squeeze-and-Excitation，SE）^[21]、卷积块注意力机制（Convolutional Block Attention Module，CBAM）^[22]和高效通道注意力机制（Efficient Channel Attention，ECA）^[23]等均是基于通道维度或空间维度进行权重分配，且会在网络中带入额外的参数，既限制了注意力权重学习的灵活性，又增加了网络结构的复杂性。与传统的通道注意力和空间注意力相比，SimAM注意力机制在不向网络添加参数的情况下，可根据能量函数直接计算特征图的三维权重，其原理如图3所示^[24]。

图  3  SimAM注意力机制

Figure  3.  SimAM attention mechanism

下载: 全尺寸图片 幻灯片

SimAM通过计算神经元的能量函数，为每个神经元分配唯一权重，以度量目标神经元和其他神经元的线性可分性，从而找到含有最大信息量的神经元，并依据神经元的重要性实现注意力权重的计算，具体的神经元能量函数为

式中：$ \hat{\sigma } $²和$ \hat{\mu } $分别为当前通道所有神经元的方差和均值；λ为超参数；t为输入特征的目标神经元。

式中：M为当前通道上所有神经元个数；x_i为输入特征目标神经元的第i个相邻神经元。

由式（3）可知，$e_t^* $越小，目标神经元与其相邻神经元的差异越明显，表明该目标神经元的重要性越高，其重要性可由1/$e_t^* $表示。对输入特征进行增强处理。

式中：$ \widetilde{{\boldsymbol{X}}} $为通过Sigmoid函数限制注意力权重的异常值后与输入特征相乘得到的增强特征；E为每个通道维度上的能量函数矩阵；⊙为点积运算；X为输入特征。

1.2.3   Wise−IoU边界框损失函数

目标检测中通常使用交并比（Intersection over Union，IoU）^[25]判断网络预测框的准确性，但IoU无法体现预测框和真实框之间的距离信息及长宽比的相似性。YOLOv5s以CIoU为边界框损失函数^[26]。CIoU使用预测框和真实框的宽高比作为惩罚项，并考虑了边界框回归时重叠面积、中心点距离及长宽比3个重要因素，使模型在边界框回归时不仅只关注边界框的大小，还关注边界框的形状，有助于更准确地定位目标的边界，但计算复杂，且默认样本的质量较高，导致模型收敛速度较慢、泛化能力较差，阻碍了模型的优化。由于煤矸目标与背景相似，且存在相互重叠与遮挡等问题，人工标注图像数据时难免会产生一些低质量标注框，影响模型的检测精度与稳定性。若低质量样本较多，一味地增强边界框回归会使模型检测性能下降。因此本文在输出端采用Wise−IoU^[27]边界框损失函数（式（7））代替CIoU。Wise−IoU引入了动态聚焦机制，并能根据当前情况计算出最适合的梯度增益分配策略，通过离群度判断锚框的质量，给高质量和低质量锚框分配较小的梯度增益，从而使模型更加关注普通质量的锚框，整体提高模型的检测性能。

式中：${{L}_{{\mathrm{WIoU}}}} $为动态损失函数；r为非单调聚焦系数；R_WIoU为权重系数惩罚项；$ {\mathcal{L}}_{{\mathrm{IoU}}} $为预测框和标注框重叠面积的IoU；β为描述锚框质量的离群度因子，$ \beta = \dfrac{{\mathcal{L}_{{\mathrm{IoU}}}^*}}{{ {{\overline{\mathcal{L}}_{{\mathrm{IoU}}}}} }} \in [0, + \infty ) $，$ \mathcal{L}_{{\mathrm{IoU}}}^* $为预测框和真实框之间的IoU阈值，$ {\overline{\mathcal{L}}_{{\mathrm{IoU}}}} $为$ {\mathcal{L}}_{{\mathrm{IoU}}} $的均值；δ和$ \alpha $为超参数；（x，y）为预测框的中心点坐标；（x_gt，y_gt）为标注框的中心点坐标；W_g和H_g分别为预测框和标注框最小外接矩形的宽和高。

将式（8）和式（9）代入式（7）得

2.   实验分析

2.1   数据采集

为验证模型的有效性，在山西大同某煤矿井下现场和煤炭仿真实验室共采集1 263张分辨率为1 280×960的煤矸图像。图像目标中包括单块煤、单块矸石及多块煤与矸石相互遮挡等场景。为确保数据集的质量和可用性，删除不清晰及质量较差的图像，将剩余的1 133张煤矸图像用LabelImg软件进行标注，并保存为煤矸数据集，如图4所示。将自制数据集按照8∶1∶1的比例划分为训练集、验证集和测试集，其中训练集918张、验证集106张、测试集109张。为了加快训练速度，将数据集分辨率统一调整为640×480。

图  4  数据集示例

Figure  4.  Dataset example

下载: 全尺寸图片 幻灯片

2.2   模型训练

煤矸目标检测实验使用的操作系统为Windows 11，CPU为Intel（R） Xeon（R） E5−2686 v4，显卡为NVIDIA GeForce RTX 3060，显存为12 GiB。深度学习框架为PyTorch1.13.1，CUDA版本为11.6，Python版本为3.8.10。实验模型训练参数设置如下：学习率初始值为0.01，学习率周期为0.2，动量因子为0.937，权重衰减系数为0.000 5，批处理大小为32，迭代次数为300。

2.3   消融实验

为了观察模型各组件的重要性和贡献度，利用测试集进行消融实验。为了保证实验的一致性，各改进模型除了改进部分有所不同，其余部分相对YOLOv5s基础模型保持不变。改进模型1为采用FasterNet Block结构替换YOLOv5s主干网络的部分C3模块；改进模型2为在YOLOv5s的颈部网络添加SimAM注意力机制；改进模型3为用Wise−IoU代替CIoU边界框损失函数，实验结果见表1。

表  1  消融实验结果

Table  1.  Ablation experiment results

模型	精确率/%	召回率/%	mAP/%	权重/MiB	计算量	参数量/105	检测速度/（帧·s−1）
YOLOv5s	89.9	88.6	93.9	13.7	15.8	70.2	30.5
改进模型1	89.6	85.1	93.5	13.1	14.3	66.9	37.8
改进模型2	89.9	89.1	94.2	13.7	15.8	70.2	29.1
改进模型3	91.1	89.7	95.3	13.7	15.8	70.2	28.3
YOLOv5s−FSW	91.8	90.1	95.8	13.1	14.3	66.9	36.4

下载: 导出CSV 

| 显示表格

由表1可看出，改进模型1的参数量、权重、计算量较YOLOv5s分别减少了4.7%，4.4%，9.5%，检测速度较YOLOv5s提高了23.9%，但模型的平均精度均值（mean Average Precision，mAP）较YOLOv5s降低了0.4%，这是由于将主干网络部分C3模块替换为FasterNet Block结构后，降低了冗余计算量和内存访问量，参数量和计算量下降，提高了模型的检测速度，但模型的检测精度略微下降。改进模型2的召回率、mAP较YOLOv5s分别提升了0.5%，0.3%，检测速度较YOLOv5s降低了4.6%，这是由于颈部网络添加SimAM注意力机制，在不增加参数量和计算量的情况下，模型能聚焦特征差异，准确地捕捉特征间的交互信息，增强网络特征提取能力，提高了模型的检测精度。改进模型3的精确率、召回率、mAP较YOLOv5s分别提高了1.2%，1.1%，1.4%，说明采用Wise−IoU代替CIoU边界框损失函数，模型聚焦普通质量的锚框回归，提高了模型定位精度、收敛速度和稳定性。YOLOv5s−FSW模型的参数量、权重、计算量较YOLOv5s分别减少了4.7%，4.4%，9.5%，mAP、检测速度较YOLOv5s分别提高了1.9%，19.3%，表明YOLOv5s−FSW模型降低了参数量和计算量，提高了检测精度和检测速度，更加适合选煤厂复杂环境下的煤矸检测任务。

2.4   对比实验

为进一步验证YOLOv5s−FSW模型对煤矸的检测性能，在同一实验环境下设置了对比实验。对比实验的检测模型选取YOLOv5算法变体YOLOv5s−CBC^[12]、YOLOv5s−ASA^[16]、YOLOv5s−SDE^[17]及主流目标检测模型YOLOv5m，YOLOv6s，YOLOv7。YOLOv5s−CBC模型在主干网络中添加CBAM注意力机制，颈部网络采用BiFPN结构，使用CIoU替换DIoU（Distance Intersection over Union，距离交并比）损失函数；YOLOv5s−ASA模型使用残差ASPP（Atrous Spatial Pyramid Pooling，空洞空间金字塔池化）模块替换SPP模块，AdaBelief优化算法代替Adam优化算法；YOLOv5s−SDE模型在主干网络中添加SE注意力模块，在颈部网络用深度可分离卷积替换普通卷积，然后将CIoU损失函数替换为EIoU。在同一实验环境下对各目标检测模型进行多轮训练和测试，对比实验结果见表2。

表  2  不同检测模型性能对比

Table  2.  Performance comparison of different detection models

模型	mAP/%	权重/MiB	计算量	检测速度/（帧·s−1）
YOLOv5s−CBC	94.7	15.3	15.9	28.4
YOLOv5s−ASA	94.3	13.4	15.6	30.2
YOLOv5s−SDE	94.6	12.7	12.1	37.8
YOLOv5s	93.9	13.7	15.8	30.5
YOLOv5m	95.5	40.2	47.9	31.3
YOLOv6s	95.2	38.7	45.2	31.6
YOLOv7	96.1	71.3	105.2	25.1
YOLOv5s−FSW	95.8	13.1	14.3	36.4

下载: 导出CSV 

| 显示表格

由表2可看出，YOLOv5s−FSW模型的mAP较YOLOv5s−CBC、YOLOv5s−ASA、YOLOv5s−SDE模型分别提高了1.1%、1.5%和1.2%，但计算量较YOLOv5s−SDE模型增大了18.2%，检测速度降低了3.7%，YOLOv5s−FSW模型的计算量较YOLOv5s−CBC和YOLOv5s−ASA模型分别减少了10.1%和8.3%，检测速度分别提高了28.2%和20.5%；YOLOv5s−FSW模型的mAP较YOLOv5m，YOLOv6s模型分别提高了0.3%，0.6%，检测速度分别提高了16.3%与15.2%，权重分别减少了27.1，25.6 MiB，计算量分别减少了70.1%与68.4%。与YOLOv7模型对比，虽然YOLOv5s−FSW模型的mAP降低了0.3%，但权重减少了58.2 MiB，计算量减少了86.4%，检测速度提高了45.0%。对比实验结果表明，针对类似改进YOLOv5模型及其他YOLO模型变体，本文提出的YOLOv5s−FSW模型在检测精度和检测速度上性能更加均衡，满足选煤厂煤矸检测需求。

2.5   热力图可视化实验

为了直观地展现模型对煤矸目标检测区域的关注度，本文分别采用YOLOv5s模型与YOLOv5s−FSW模型融合Grad−CAM算法对煤矸测试图像进行热力图可视化实验，分析模型对煤矸目标检测区域的关注，结果如图5所示。红色高亮区域表示模型提取煤矸目标特征时重点关注的区域，煤矸表面红色高亮区域颜色越深、覆盖越广，表示模型对煤矸目标区域的关注度越高。从图5可看出，YOLOv5s−FSW模型较YOLOv5s模型对煤矸目标特征区域更加敏感，且关注度更高。

图  5  模型改进前后煤矸热力图结果对比

Figure  5.  Comparison of thermal map results of coal-gangue before and after model improvement

下载: 全尺寸图片 幻灯片

2.6   煤矸检测实验

为了进一步验证YOLOv5s−FSW模型的检测实用性，收集了山西大同某煤矿井下现场拍摄的煤矸图像，并与从实验室采集的测试集图像中挑选出具有代表性的煤矸图像分别对YOLOv5s和YOLOv5s−FSW模型进行测试。本文所用的测试图像包括环境昏暗、图像模糊、目标相互遮挡3种复杂场景，模型检测效果如图6所示。可看出在环境昏暗的场景下，图像中有2块矸石和3块煤，YOLOv5s模型对煤的检测精度偏低（置信度得分小于0.8），且出现了1块煤误检为矸石（置信度得分为0.37）和漏检1块煤的情况，而YOLOv5s−FSW模型正确检测出了全部煤和矸石目标，且置信度得分较高；在图像模糊的场景下，图像中有2块矸石和2块煤，YOLOv5s模型漏检了1块煤，而YOLOv5s−FSW模型正确检测出了煤和矸石目标，且置信度得分高于YOLOv5s模型；在目标相互遮挡的场景下，图像中的目标都为煤，虽然YOLOv5s模型正确检测出了全部目标，但有一半目标数量的置信度得分小于0.9，而YOLOv5s−FSW模型不但检测出了全部目标，而且置信度得分大于0.94。综合上述分析可知，YOLOv5s−FSW模型在引入SimAM注意力机制、使用Wise−IoU损失函数后，增强了模型对复杂场景的抗干扰能力和特征提取能力，使其能够在选煤厂环境昏暗、图像模糊、目标相互遮挡等复杂场景下展现良好的检测性能，避免了误检与漏检现象的发生。

图  6  模型改进前后煤矸检测效果对比

Figure  6.  Comparison of coal-gangue detection results before and after model improvement

下载: 全尺寸图片 幻灯片

3.   结论

1） 为解决煤矸检测精度低与速度慢的问题，提出了一种基于YOLOv5s−FSW模型的煤矸检测方法。在YOLOv5s的主干网络融合FasterNet Block模块，模型参数量和计算量分别降低了4.7%与9.5%，模型权重减少了4.4%，检测速度提高了23.9%；颈部网络引入无参型SimAM注意力机制，使模型聚焦煤矸目标特征的关键信息，模型mAP提高了0.3%；输出端用Wise−IoU代替CIoU边界框损失函数，使模型聚焦普通质量的锚框回归，提高了煤矸预测框的定位精度，mAP提高了1.4%，增强了模型的鲁棒性。

2） 与同类型改进模型相比，YOLOv5s−FSW模型的mAP较YOLOv5s−CBC，YOLOv5s−ASA，YOLOv5s−SDE模型分别提高了1.1%，1.5%，1.2%。与YOLOv5s模型相比，YOLOv5s−FSW模型的精确率达到91.8%，mAP提高了1.9%，检测速度提高了19.3%，参数量减少了4.7%，模型权重降低了4.4%。与YOLOv5m与YOLOv6s模型相比，YOLOv5s−FSW模型的mAP和检测速度均有提高，参数量、计算量和模型权重有所下降；与YOLOv7相比，虽然YOLOv5s−FSW模型的mAP降低了0.3%，但计算量减少了86.4%，检测速度提高了45.0%，模型权重减少了58.2 MiB，仅为13.1 MiB，有利于模型的快速移植和部署。

3） 热力图对比实验和煤矸石检测实验分别显示：YOLOv5s−FSW模型对煤矸目标特征区域更加敏感且关注度更高；在环境昏暗、图像模糊、目标相互遮挡的复杂场景下，采用YOLOv5s−FSW模型进行煤矸目标检测的置信度得分均高于YOLOv5s模型，并有效避免了误检和漏检现象的发生，表现出良好的检测性能。