0.   引言

煤矿开采过程中常常伴随着煤矸的产生，煤矸的存在不仅影响了煤的品质，还加剧了后续处理成本及对环境的污染^[1-2]。传统的分选方式为人工分选和设备分选，人工分选效率低、误差率高，设备分选易造成环境污染。因此，通过计算机视觉技术对煤矸进行识别，自动准确地检测出矸石，对煤矿智能化分选非常重要^[3-4]。

目前，计算机视觉技术对煤矸识别包括传统煤矸图像识别方法和深度学习识别方法^[5]。传统煤矸图像识别方法需手动提取煤矸的图像特征，存在检测精度低、实时性及泛化能力差等问题^[6-7]。深度学习识别方法具有较高的准确性、实时性和鲁棒性^[8-9]。李博等^[10]通过模拟生产环境下的煤矸图像，研究光强、湿度、粉尘和样品种类对煤矸图像特征的影响，但试验简化模拟的生产环境与实际生产环境的识别结果有较大差异。郭永存等^[11]针对煤矸小样本数据集识别率低，提出了一种迁移权重和简化神经元模型优化方法来改进预训练卷积神经网络模型，但模型泛化能力差。徐志强等^[12]基于卷积神经网络对建立的煤矸识别模型进行剪枝优化，减少模型参数和计算资源消耗，但未考虑煤矸识别时的检测速度。徐慈强等^[13]通过轻量化网络MobileNetV3替换YOLOv5s的主干网络，减小模型的参数量和运算量，以适应模型在移动端的部署，但模型识别效果差。张磊等^[14]通过深度可分离卷积对YOLOv5s模型改进，减少了模型的参数量和运算量，但模型在小目标、运动模糊、低照度煤矸数据集识别精度不高。邓天民等^[15]以YOLOv8s模型为基准网络，在颈部特征融合网络引入内容感知特征重组模块（Content Aware Reassembly of Features，CARAFE），加强对小目标显著语义信息的关注，但模型参数量和运算量大，难以部署到计算资源有限的设备中。

针对上述问题，本文提出了一种基于HGTC−YOLOv8n模型的煤矸识别算法，结合轻量化网络HGNetv2、三重注意力机制模块Triplet Attention和CARAFE，使煤矸识别模型具有更少的参数量和浮点运算量，能够部署到资源有限的设备中，完成对煤矸快速精准识别。

1.   HGTC−YOLOv8n模型结构

HGTC−YOLOv8n模型在YOLOv8n^[16]基础上进行改进，结构如图1所示。采用HGNetv2替换YOLOv8n的主干网络，通过多尺度特征的有效提取，提高煤矸图像准确率并减少模型的存储需求和计算资源消耗，嵌入三重注意力机制模块Triplet Attention，增强煤矸特征提取，减少无用特征的干扰，提高对井下复杂环境的适应性。利用CARAFE替换颈部特征融合网络上采样算子，增强对小目标煤矸的检测，实现对煤矸的精准高效识别。

图  1  HGTC−YOLOv8n 模型结构

Figure  1.  HGTC-YOLOv8n model structure

下载: 全尺寸图片 幻灯片

1.1   主干轻量化网络改进

采用HGNetv2^[17]改进YOLOv8n模型的主干网络，通过多尺度特征的有效提取，提高识别准确率，并降低模型计算量，实现煤矸图像高效识别。

HGNetv2主干网络由HGStem，HGBlock，DWConv^[18]组成。HGStem是网络初始预处理层，通过卷积层对输入数据进行特征提取，再经过最大池化操作进行降采样，在不同尺度上获取输入数据特征，HGStem结构如图2（a）所示。HGBlock包括多个不同滤波器大小的卷积层，主要作用是捕获数据多样化特征，HGBlock结构如图2（b）所示。使用深度可分离卷积DWConv替换传统卷积，能够减少计算负载，提高模型的推理速度，并在每个通道上能独立学习特征。

图  2  HGStem结构和HGBlock结构

Figure  2.  HGStem structure and HGBlock structure

下载: 全尺寸图片 幻灯片

1.2   主干添加注意力机制

煤矿井下环境复杂，采集到的煤矸图像受多种干扰因素影响，丢失了大量纹理特征且引入了冗余特征，导致煤矸图像的有效特征难以提取^[19]。为了增强有效特征的提取能力，在HGNetV2主干网络中嵌入Triplet Attention^[20]（图3）。Triplet Attention能够捕获不同维度间的交互信息，减少无关信息的干扰，使模型更加注重目标特征的提取，提高识别准确率。

图  3  Triplet Attention结构

Figure  3.  Triplet Attention structure

下载: 全尺寸图片 幻灯片

Triplet Attention由3个平行的分支组成，输入张量$ X \in {{\bf{R}}^{C{{ \times }}H{{ \times }}W}} $到3个分支。第1个分支中张量X绕维度H逆时针旋转90°，得到旋转张量$\hat{X}_1 $，经过池化后张量形状为2×H×C，再由卷积运算，通过Sigmoid激活函数生成注意力权重，最后绕维度H顺时针旋转90°，输出张量$ \hat X _1^* $，完成通道C与维度H交互^[21]。第2个分支中张量X绕维度W逆时针旋转90°，得到旋转张量$\hat{X}_2 $，经过池化层、卷积、Sigmoid激活函数后，绕维度W顺时针旋转90°，输出张量$\hat X _2^* $，完成通道C与维度W交互。第3个分支中张量X经过池化层、卷积、Sigmoid激活函数后，输出张量$\hat X _3^* $。最后将3个张量进行平均聚合，输出的张量为

式中：σ（·）为Sigmoid激活函数；ψ₁（·）,ψ₂（·）,ψ₃（·）为标准卷积。

1.3   颈部网络改进

YOLOv8n中的Upsample上采样层常用的方法是最近邻插值，即复制最近邻像素的值，该方法忽略了像素之间的平滑过渡，导致图像失真和模糊化，在处理大尺寸图像时易丢失重要细节信息。本文选用CARAFE^[22]（图4）来改进YOLOv8n颈部特征融合网络上采样算子，CARAFE主要由核预测模块和特征重组模块2个部分组成。CARAFE能够在上采样过程中保留更多的细节信息，利用上下文信息提高感受视野，更好地理解图像中的全局结构和语义信息，提高小目标煤矸识别准确率。输入张量$ X \in {{\bf{R}}^{C{{ \times }}H{{ \times }}W}} $，上采样率为a。首先，通过1×1卷积将输入特征通道数从C压缩到C_m。其次，进行内容编码，输入通道数为C_m，输出通道数为a²×k²，将通道维在空间维展开，得到形状为aH×aW×k²的上采样核。然后，对上采样核归一化，确保卷积权重总和为1。最后，对输出特征图中的每个位置，将其映射回输入特征图，提取以l=（i，j）为中心的k×k区域N（X_l，k），并与预测的上采样核进行点积操作，计算出最终的aH×aW×C的输出特征图^[23]。

图  4  CARAFE框架

Figure  4.  Framework of content aware reassembly of features (CARAFE)

下载: 全尺寸图片 幻灯片

2.   实验结果分析

2.1   制作煤矸数据集

对采集的不同照度、大小、摆放位置的煤矸图像进行组合，获取原始图像500张。为了模拟煤矿井下煤矸分选的复杂环境，提高模型鲁棒性和泛化能力，对煤矸图像进行添加噪声、运动模糊、镜像翻转、低照度等增强处理，最终得到1 703张煤矸图像，如图5所示。对数据集进行煤矸标注，按照9∶1的比例划分为训练集、验证集。

图  5  煤矸数据集

Figure  5.  Coal gangue dataset

下载: 全尺寸图片 幻灯片

2.2   实验配置及模型训练

本文所用模型基于Pytorch深度学习框架，实验的软硬件环境：RTX3090（24GiB）的GPU、Intel（R） Xeon（R） Gold 6330的CPU，Pytorch2.0.0，Cuda11.8，Python3.8（ubuntu20.04）。训练输入图像大小为640×640，训练轮数为201，批量大小为32，训练过程中使用SGD优化器。

2.3   评价指标

为验证HGTC−YOLOv8n模型的性能，采用平均精度均值（Mean Average Precision，mAP）、参数量、浮点运算量、帧速率作为评价指标。其中，mAP表示模型的识别精度，参数量和浮点运算量分别表示模型的存储需求和计算资源消耗，帧速率表示模型的识别速度。

2.4   数据增强

HGTC−YOLOv8n模型通过随机色调增强、饱和度增强、亮度增强等数据增强方法（表1）生成多样化的训练样本，提高模型的泛化能力。数据增强方法应用于每个训练迭代中，通过对训练样本进行随机变换，确保模型每次观察到不同的样本。

表  1  训练过程中数据增强的超参数

Table  1.  Hyperparameters of data enhancement during training

超参数	值
色调增强	0.015
饱和度增强	0.7
亮度增强	0.4
随机缩放	0.5
水平翻转	0.5
水平平移	0.1
Mosic数据增强	1.0

下载: 导出CSV 

| 显示表格

2.5   消融实验

通过消融实验分析本文改进各模块的优化效果，结果见表2。其中，优化模型1为YOLOv8n+HGNetv2，优化模型2为YOLOv8n+Triplet Attention，优化模型3为YOLOv8n+CARAFE，优化模型4为YOLOv8n+HGNetv2+Triplet Attention，优化模型5为YOLOv8n+HGNetv2+CARAFE，优化模型6为YOLOv8n+CARAFE+Triplet Attention，优化模型7为YOLOv8n+HGNetv2+Triplet Attention+CARAFE。由表2可看出，优化模型1的参数量和浮点运算量较YOLOv8n模型分别减少了0.654×10⁶和1.2×10⁹，帧速率提升了2.78 帧/s，mAP提升了1%；优化模型2的参数量和浮点运算量与YOLOv8n模型持平，帧速率下降了1.96 帧/s，mAP提升了1.8%；优化模型3的参数量和浮点运算量较YOLOv8n模型分别增加了0.14×10⁶和0.2×10⁹，帧速率下降了1.96 帧/s，mAP提升了1.8%；优化模型4的参数量和浮点运算量较YOLOv8n模型分别减少了0.653×10⁶和1.2×10⁹，帧速率提升了0.68 帧/s，mAP提升了1.7%；优化模型5的参数量和浮点运算量较YOLOv8n模型分别减少了0.513×10⁶和0.9×10⁹，帧速率下降了0.66 帧/s，mAP提升了1.1%；优化模型6的参数量和浮点运算量较YOLOv8n模型分别增加了0.141×10⁶和0.2×10⁹，帧速率下降了4.45 帧/s，mAP提升了2.1%；优化模型7的参数量和浮点运算量较YOLOv8n模型分别减少了0.513×10⁶和0.9×10⁹，帧速率下降了2.6 帧/s，mAP提升了2.5%，满足煤矸图像实时检测的要求。

表  2  消融实验结果

Table  2.  Ablation experiment results

模型	HGNetv2	Triplet Attention	CARAFE	mAP/%	参数量/106	浮点运算量/109	帧速率/（帧·s−1）
YOLOv8n	×	×	×	91.0	3.157	8.9	81.96
优化模型1	√	×	×	92.0	2.503	7.7	84.74
优化模型2	×	√	×	92.8	3.157	8.9	80.00
优化模型3	×	×	√	92.8	3.297	9.1	80.00
优化模型4	√	√	×	92.7	2.504	7.7	82.64
优化模型5	√	×	√	92.1	2.644	8.0	81.30
优化模型6	×	√	√	93.1	3.298	9.1	77.51
优化模型7	√	√	√	93.5	2.644	8.0	79.36

下载: 导出CSV 

| 显示表格

通过消融实验得出，添加Triplet Attention后，识别精度有较大提升，且模型的参数量和浮点运算量基本持平。值得注意的是，引入CARAFE上采样后，识别精度提升的同时模型的参数量和浮点运算量也相应增加。采用HGNetv2轻量化主干网络，在满足识别速度的条件下，提升了识别精度，减少了参数量和浮点运算量，减少了模型的存储需求和计算资源消耗。

2.6   对比实验

为进一步验证本文改进模型的有效性，与YOLOv5s，YOLOv7−tiny^[24]，YOLOv8n，YOLOv8s等模型进行对比，分别在正常、低照度、高噪声与运动模糊的环境下进行检测，所有实验均使用相同的训练集与验证集。不同模型的煤矸识别结果见表3，绘制不同模型的mAP曲线，如图6所示。

表  3  不同模型的煤矸识别结果

Table  3.  Coal gangue recognition results of different models

模型	参数量/106	浮点运算量/109	mAP/%	帧速率/（帧·s−1）
YOLOv5s	7.025	16.0	92.7	73.52
YOLOv7−tiny	6.018	13.2	90.8	68.96
YOLOv8n	3.157	8.9	91.0	81.96
YOLOv8s	11.167	28.8	91.9	78.12
HGTC−YOLOv8n	2.645	8.0	93.5	79.36

下载: 导出CSV 

| 显示表格

图  6  不同模型的mAP曲线

Figure  6.  Mean average precision curves of different models

下载: 全尺寸图片 幻灯片

由表3和图6可看出，HGTC−YOLOv8n模型的mAP在对比模型中最高，达到了93.5%，相较于YOLOv8n提升了2.5%；帧速率高于YOLOv8s，YOLOv7−tiny，YOLOv5s，略低于YOLOv8n，满足实时检测的要求（≥60帧/s）；参数量仅为YOLOv5s的37.6%、YOLOv7−tiny的43.9%、YOLOv8n的83.7%、YOLOv8s的28.2%；浮点运算量仅为YOLOv5s的50%、YOLOv7−tiny的60.6%、YOLOv8n的89.8%、YOLOv8s的27.8%。充分说明HGTC−YOLOv8n模型在计算资源有限的情况下仍能保持高精度，更适合部署到嵌入式或移动端设备等场景，完成对煤矸的快速精准识别。

不同模型在4种工况下煤矸石测试集部分识别结果如图7所示，其中，红色检测框标注煤块，粉色检测框标注矸石，黄色椭圆框标记类别错误，蓝色椭圆框标记漏检或重复检测。

图  7  不同算法在4种工况下的检测结果

Figure  7.  Detection results of different algorithms under four working conditions

下载: 全尺寸图片 幻灯片

由图7可看出，在正常情况下，YOLOv5s，YOLOv7−tiny，YOLOv8n等模型识别小目标煤块易发生漏检或错检；在低照度环境下，YOLOv7−tiny对小目标煤块发生了漏检，YOLOv8s发生了错检；在高噪声环境下，YOLOv7−tiny，YOLOv8n出现了检测不准确的现象；在运动模糊环境下，YOLOv5s发生了漏检，YOLOv7−tiny发生了错检。从检测结果可知，其他模型均有不同程度的漏检和错检现象，HGTC−YOLOv8n模型在低照度、高噪声、运动模糊环境下有较好的识别效果，能够对煤矸进行分类识别和位置检测，有效减少错检和漏检的情况发生。

2.7   基于HGTC−YOLOv8n模型的煤矸图像识别效果

为了验证改进模型的可行性，以带式输送机上煤矸为例进行识别。将HGTC−YOLOv8n模型在测试集上进行检测，对单幅图像中不同类别的煤矸进行识别并计数。红字为煤矸个数，蓝字为煤块个数，绿字为矸石个数，计数结果置于左上角，如图8所示。可看出HGTC−YOLOv8n模型能够在不同场景下准确识别煤矸。

图  8  带式输送机上煤矸识别及计数可视化

Figure  8.  Visualization of coal gangue recognition and count on belt conveyor

下载: 全尺寸图片 幻灯片

3.   结论

1） HGTC−YOLOv8n模型采用轻量化网络模型HGNetv2替换原模型主干网络，将Triplet Attention嵌入主干网络，特征融合网络上采样替换为CARAFE。

2） 提出了一种基于HGTC−YOLOv8n模型的煤矸识别算法。结果表明所提模型对小目标和重叠遮挡煤矸识别有明显改善，mAP为93.5%，比YOLOv8n模型提升了2.5%，模型参数量为2.645×10⁶，浮点运算量为8.0×10⁹ ，比未改进前分别下降了16.22%，10.11%，表明HGTC−YOLOv8n模型在保证煤矸识别精度的同时减少了模型的存储需求和计算资源消耗。

3） HGTC−YOLOv8n模型检测速度较快，但未部署在嵌入式或移动端等设备进行实时检测试验，未来将进行试验台搭建，以验证其在动态煤矸检测的有效性。