0.   引言

带式输送机运输的煤料中会伴随很多异物，如大块矸石、锚杆及铁质器物等，这些异物如果不及时清理，将导致落煤口堵塞、胶带撕裂，严重时引起火灾等事故^[1-2]。使用巡检机器人对带式输送机运输煤料中混杂的异物进行准确识别和计数，并将异物信息传送给异物分拣机器人，异物分拣机器人再将异物完全取出，对带式输送机安全稳定运行具有重要意义^[3-4]。

目前，基于深度学习的目标检测算法按阶段可分为2类。一类是双阶段目标检测算法，如Fast−RCNN，Faster−RCNN等。吴守鹏等^[5]提出一种基于Faster−RCNN+双向特征金字塔网络的运煤输送带异物识别模型，有效提升了对矸石、锚杆等多尺度异物的识别精度。另一类是单阶段目标检测算法，如YOLO系列。郝帅等^[6]提出一种融合卷积块注意力模型的YOLOv5目标检测算法，解决了带式输送机中异物目标图像因受煤尘干扰、输送带高速运动及光照不均等影响而难以准确检测的问题。高涵等^[7]设计了一种基于低层级特征增强和Transformer机制的井下输送带异物检测算法，解决了输送带异物目标检测中细长物体检测效果差、弱语义特征提取困难的问题。

现有带式输送机异物检测方法存在提取目标语义信息能力弱、检测精度差等问题，且仅对异物进行识别检测，不能准确计算异物数量。针对上述问题，设计了一种基于改进YOLOv8n+DeepSORT的带式输送机异物检测及计数方法。对YOLOv8n模型进行改进，再使用改进YOLOv8n模型对带式输送机异物进行识别；将改进YOLOv8n模型的异物检测结果作为DeepSORT算法^[8]的输入，对带式输送机上异物进行跟踪和计数。

1.   改进YOLOv8n模型

1.1   模型结构

考虑到异物检测模型最终部署到巡检机器人上，选取YOLO系列中体积最小的YOLOv8n模型作为基础网络。该模型由骨干特征提取网络（Backbone）、颈部网络（Neck）及头部网络（Head）3个部分组成^[9-10]。在煤矿井下运输巷道场景中，巡检机器人的监控画面存在高噪声、背景复杂、低照度及运动模糊等问题，这极大提升了带式输送机上异物检测的难度^[11]。此外，带式输送机上异物会出现被遮挡的情况，显露出来的面积很小，导致YOLOv8n应用于井下恶劣环境中目标识别时精度较差。针对上述问题，对YOLOv8n模型结构进行改进，将改进后的网络模型命名为MSF−YOLOv8n，其结构如图1所示。

图  1  MSF−YOLOv8n模型结构

Figure  1.  MSF-YOLOv8n model structure

下载: 全尺寸图片 幻灯片

1） 使用轻量级的混合局部通道注意力（Mixed Local Channel Attention，MLCA）模块改进C2f模块中的Bottleneck模块，记作C2f_MLCA模块。该模块能够同时考虑通道信息和空间信息，并结合局部信息和全局信息，以提高网络在井下恶劣环境中的识别效果。

2） 使用分离和增强注意力模块（Separated and Enhancement Attention Module，SEAM）改进Head部分，以提高异物被遮挡情况下的检测精度。

3） 采用Focaler−IoU优化损失函数，使得模型在不同尺度的异物检测任务中聚焦不同的回归样本，改善边框回归效果。

1.2   C2f_MLCA模块设计

C2f模块中的Bottleneck模块会使得网络在高频位置叠加大量信息，在关键特征获取过程中产生很多冗余特征，最终导致关键信息流失^[12]。因此，在Bottleneck模块中加入1个轻量级的MLCA模块进行改进。C2f_MLCA模块结构如图2所示。

图  2  C2f_MLCA模块结构

Figure  2.  C2f_MLCA module structure

下载: 全尺寸图片 幻灯片

首先对MLCA模块的输入特征向量进行局部平均池化（Local Average Pooling，LAP）操作，随后分为2个分支：第1分支进行全局平均池化（Global Average Pooling，GAP）操作，使其包含局部空间信息；第2分支进行Reshape操作，使其包含全局信息。2个分支在一维卷积后，通过反平均池化（Anti-Average Pooling，UNAP）操作恢复2个向量的原始分辨率，再进行信息融合，达到混合注意力的目的^[13]。

1.3   SEAM设计

煤炭运输过程中会出现异物被煤炭遮挡的情况，且异物形状多样，导致识别难度大大增加^[14]。为了解决该问题，将SEAM引入检测头中，以强调图像中的对象检测区域，并削弱背景区域，从而提高了存在遮挡情况下的带式输送机异物检测精度。SEAM结构如图3所示。

图  3  SEAM结构

Figure  3.  Separated and enhancement attention module structure

下载: 全尺寸图片 幻灯片

SEAM输入特征图通过通道和空间混合模块（Channel and Spatial Mixing Module，CSMM）学习空间维度和通道的相关性。但由于CSMM模块中使用了一个3×3的深度卷积与残余连接，使得卷积只能用来学习不同通道的重要性，而忽略了通道之间的信息关系。为了补偿这种损失，通过1×1逐点卷积对不同深度卷积的输出进行组合，再使用2层全连接网络融合每个通道的信息。全连接层输出的logits值的范围为[0，1]，使用指数函数将其扩展到[1，e]。这种指数归一化提供了一种单调映射关系，使得结果对位置误差的容忍度更高。最后，用SEAM的输出乘以原始特征，将结果作为注意力，使模型能够更有效地处理目标的遮挡^[15]。

1.4   损失函数优化

YOLOv8n的损失函数为CIoU，在不同的检测任务中具有一定局限性^[16]。为了在不同检测任务中聚焦不同的回归样本，本文采用边界框回归损失函数Focaler−CIoU^[17]。该函数通过关注不同难易程度的回归样本，提高模型在不同检测任务中的性能。Focaler−CIoU的损失值为

式中：L_CIoU为CIoU的损失值；I为预测边框和真实边框的交并比；$ \mathrm{\mathit{I}}_{\mathrm{Focaler}} $为重构后的交并比。

2.   异物检测及计数方法流程

DeepSORT算法是目前较为常用的目标跟踪算法之一，其前身是经典的SORT算法^[18]。DeepSORT不仅继承了SORT的实时性优势，还通过融入深度特征显著提高了追踪的鲁棒性和重识别能力，特别是在目标外观变化较大或存在短暂遮挡的情况下^[19]，解决了ID频繁切换的问题。因此，本文采用DeepSORT算法实现带式输送机异物计数。

基于MSF−YOLOv8n+DeepSORT的带式输送机异物检测及计数方法基本思路是使用MSF−YOLOv8n检测带式输送机上存在的异物，将检测结果输入DeepSORT算法对连续跟踪的异物进行ID编码，最后的ID数值即为带式输送机上存在的异物数量。异物检测及计数流程如图4所示。

图  4  基于MSF−YOLOv8n+DeepSORT的带式输送机异物检测及计数流程

Figure  4.  Foreign object detection and counting process for belt conveyor based on MSF-YOLOv8n+DeepSORT

下载: 全尺寸图片 幻灯片

1） 使用矿用防爆巡检机器人搭载摄像仪，获取带式输送机运行状态视频数据并传输到上位机。

2） 筛选有效视频片段，对视频进行抽帧并保存为图像文件，对图像文件进行分类标注后构建异物检测数据集，随后输入MSF−YOLOv8n模型中进行训练，保存最佳检测模型。

3） 使用训练好的MSF−YOLOv8n模型检测巡检机器人采集的视频数据，输出视频帧中异物的边界框信息（bounding box）、类别标签信息（class label）、置信度信息（confidence score），作为DeepSORT算法的输入。

4） DeepSORT算法利用深度神经网络提取异物的外观特征，并赋予每个异物ID信息；利用Kalman滤波器预测目标状态，并更新目标进行状态估计；通过匈牙利算法实现异物关联，在追踪过程中不断更新目标的外观模型。对连续追踪的异物持续输出相同的ID信息，最终得到的ID数值即为带式输送机上存在的异物数量。

3.   MSF−YOLOv8n模型性能验证实验

3.1   数据采集

实验平台的操作系统为Ubuntu18.04，CPU型号为Intel（R） Xeon（R） Silver 4210R，GPU型号为Tesla V100−PCIE−32 GiB，编译器为Python 3.7.13，深度学习框架为PyTorch 1.8.1，CUDA版本为CUDA10.2。MSF−YOLOv8n训练参数设置见表1。

表  1  MSF−YOLOv8n训练参数设置

Table  1.  MSF-YOLOv8n training parameter setting

参数	数值		参数	数值
epochs	300		lr	0.01
batch	8		optimizer	SGD
imgsz	640		weight_decay	0.0005
workers	8		momentum	0.937

下载: 导出CSV 

| 显示表格

实验使用的数据集来源于中国矿业大学智能检测与模式识别研究中心煤矿专用视频AI分析数据集CUMT−BelT，该数据集采集自井下胶带运输环境。选取CUMT−BelT中的大块煤图像数据集和锚杆图像数据集，共选取图像2 800张，包含训练图像2 200张和测试图像600张^[20]。根据7∶2∶1的比例将数据集随机划分为训练集、验证集、测试集。

为避免模型训练过程中过拟合，提高数据集的鲁棒性和模型的泛化能力，采用Albumentations在线数据增强模块进行数据增强和模型训练。通过图像翻转、RGB转换、随机旋转、随机裁剪等对数据集图像进行处理，部分增强后的图像如图5所示。

图  5  部分增强后的图像

Figure  5.  Partially enhanced images

下载: 全尺寸图片 幻灯片

本文采用的主要评价指标包括交并比阈值为0.5时的平均精度均值mAP（mAP50）、参数量和帧率。其中mAP50用来衡量模型的精度，参数量用来评价模型的复杂度，帧率用来评价模型的检测速度^[21]。

3.2   消融实验

为了验证MSF−YOLOv8n模型的有效性，进行了消融实验。在原有YOLOv8n模型的基础上逐步优化，先使用C2f_MLCA模块替换主干网络中的C2f模块；随后采用SEAM改进基础网络的检测头Detect，记作Detect_SEAM；最后采用Focaler−CIoU损失函数计算边界框回归损失。在不改变其他训练环境的情况下，分别对模型进行改进训练，实验结果见表2。

表  2  消融实验结果

Table  2.  Ablation experiment results

基础 网络	C2f_ MLCA	Detect_ SEAM	Focaler−CIoU	mAP50/%	参数 量/106个	帧率/ （帧·s−1）
√	×	×	×	91.1	3.01	115
√	√	×	×	91.9	3.01	105
√	×	√	×	92.7	2.82	93
√	×	×	√	89.1	3.01	117
√	√	√	×	92.9	2.82	97
√	√	√	√	93.2	2.82	101

下载: 导出CSV 

| 显示表格

从表2可看出：① 加入C2f_MLCA模块后，mAP50提高了0.8%，并且参数量没有增加，其原因在于MLCA模块提取的关键信息同时包含特征通道信息和空间特征信息，使得模型检测精度有所提高。② 加入Detect_SEAM模块后，mAP50提高了1.6%，同时模型的参数量也有所减少，其原因在于SEAM加强了所有通道之间的连接，使模型可更好地应对目标遮挡问题，且SEAM中深度可分离卷积按深度进行分离和独立的操作减少了参数量。③ 引入Focaler−CIoU损失函数后，虽然mAP50降低了2.0%，但帧率提高到117 帧/s，其原因是Focaler−CIoU损失函数能够在不同的检测任务中聚焦不同的回归样本，使模型快速聚焦到不同的目标。④ 将所有改进方案添加到基础模型中后，mAP50和参数量都有所改善，帧率有所下降，但101 帧/s仍可满足视频实时性检测要求。

实验结果表明，3个改进部分的协同作用使mAP50提升了2.1%，参数量减少了0.19×10⁶，帧率略有下降，为101 帧/s。MSF−YOLOv8n模型在满足实时检测要求的同时，提高了模型检测精度，减轻了边缘设备的计算负担。

3.3   可视化分析

为了更清晰直观地分析模型改进效果，使用Grad−CAM热力图进行可视化分析，结果如图6所示。由图6（b）可看出：左侧和右侧图像中YOLOv8n模型虽然关注到锚杆和大块煤的热度信息，但关注的有效区域范围较小；中间图像中，模型不仅关注到异物的热度信息，还关注到背景干扰物的热度信息。由图6（c）可看出：左侧图像中，MSF−YOLOv8n模型对部分遮挡异物也有足够多的关注；中间图像中，不同尺寸异物都得到有效关注；右侧图像中，多个目标区域都能很好地被激活。可视化结果表明，MSF−YOLOv8n模型能够很好地处理被遮挡及多尺度的目标。

图  6  Grad−CAM热力图

Figure  6.  Grad-CAM thermal map

下载: 全尺寸图片 幻灯片

3.4   对比实验

为了进一步验证MSF−YOLOv8n模型的优越性，基于相同数据集，在保持训练环境不变的情况下，对MSF−YOLOv8n及其他几种主流模型进行了比较，结果见表3。经过对比发现，MSF−YOLOv8n模型的检测精度比YOLOv5s，YOLOv7，YOLOv8s，YOLOv8n模型分别高出2.2%，1.3%，0.3%，2.1%；帧率比YOLOv8s和YOLOv8n分别低14，10 帧/s；MSF−YOLOv8n模型的参数量仅为2.82×10⁶，更适合部署到巡检机器人等边缘设备中。

主流模型检测精度对比结果如图7所示。可看出，MSF−YOLOv8n模型收敛速度快，在保持较高检测速度的情况下，检测精度也高于其他流行模型。

表  3  不同模型性能对比结果

Table  3.  Comparison results of performance of different models

模型	mAP50/%	参数量/106个	帧率/（帧·s−1）
YOLOv5s	91.0	9.12	91
YOLOv7	91.9	36.90	69.5
YOLOv8s	92.9	11.12	115
YOLOv8n	91.1	3.01	111
MSF−YOLOv8n	93.2	2.82	101

下载: 导出CSV 

| 显示表格

图  7  主流模型检测精度对比

Figure  7.  Comparison of detection precision of mainstream models

下载: 全尺寸图片 幻灯片

主流模型在测试集上的检测效果如图8所示。从左侧图可看出，YOLOv5s，YOLOv8n只检测出大块煤，而被煤流遮挡严重的锚杆没有检测出来；YOLOv7、YOLOv8s和MSF−YOLOv8n将锚杆和大块煤都检测出来，其中MSF−YOLOv8n模型检测异物的置信度更高。从中间图可看出，与其他主流模型相比，MSF−YOLOv8n模型能准确检测出被煤流遮挡严重的大块煤。从右侧图可看出，在面对异物多尺度且严重遮挡时，MSF−YOLOv8n模型能够很好地应对，而其他检测模型出现漏检及错检情况。对比实验表明，MSF−YOLOv8n模型能够在各种具有挑战性的场景中正确识别各类异物，并且在煤流遮挡情况下精准获取异物信息。

图  8  主流模型在测试集上的检测效果

Figure  8.  The detection effect of mainstream models on the test set

下载: 全尺寸图片 幻灯片

4.   异物检测及计数实验

为了验证本文方法的实用性，使用矿用防爆巡检机器人搭载摄像仪在实验基地采集带式输送机运行状态的视频数据，使用MSF−YOLOv8n模型进行异物检测，采用DeepSORT算法进行异物计数。

4.1   异物检测实验结果与分析

不同工况下的异物检测结果如图9所示。在锚杆小部分被煤流遮挡的情况下，锚杆以较高置信度被检测出来。在大块煤颜色与煤流相似的情况下，本文方法可对大块煤目标进行准确识别，说明MLCA模块提高了网络在颜色单一环境下的信息提取能力。锚杆大部分被遮挡的情况下，因采用SEAM优化检测头，使得模型可很好地检测出被遮挡目标。在检测目标形状差异较大的情况下，大块煤与细长锚杆都可被准确识别，验证了使用Focaler−IoU优化损失函数的必要性。

图  9  不同工况下的异物检测结果

Figure  9.  Foreign object detection results under different working conditions

下载: 全尺寸图片 幻灯片

4.2   异物计数实验结果与分析

将MSF−YOLOv8n识别的带式输送机异物信息作为计数算法的输入，对BYTETracker，HybridSORT，BoT−SORT，DeepSORT算法的计数结果进行对比分析，结果见表4。可看出，DeepSORT算法的准确率达80%，远高于其他3种算法。

表  4  带式输送机异物计数结果

Table  4.  Foreign object counting results of belt conveyor

算法	人工计数结果	模型计数结果	差值	准确率/%
BYTETracker	10	17	7	30
HybridSORT	10	14	4	60
BoT−SORT	10	15	5	50
DeepSORT	10	12	2	80

下载: 导出CSV 

| 显示表格

各种算法的异物计数效果如图10所示。从图10（a）和图10（c）可看出，异物ID切换频繁，主要原因是目标被遮挡或暂时离开视野后又重新进入，导致目标ID的变换。从图10（b）可看出，带式输送机上异物可被准确跟踪，且目标ID没有变换，但出现了目标计数错误的现象，图中目前有2个目标，而左上角的计数显示有3个。从图10（d）可看出，DeepSORT算法可准确跟踪被遮挡的锚杆及形状差异较大的目标，且在图像右上角准确显示当前画面中的异物数量，实现带式输送机异物准确计数。

图  10  各种算法的异物计数效果

Figure  10.  Foreign object counting effect of various algorithms

下载: 全尺寸图片 幻灯片

5.   结论

1） 提出一种基于MSF−YOLOv8n+DeepSORT的带式输送机异物检测及计数方法。在YOLOv8n的基础上，使用C2f_MLCA模块替换主干网络中的C2f模块，提高网络在颜色信息单一环境下的信息提取能力；采用SEAM改进网络的检测头Detect，提高模型在异物被遮挡情况下的检测精度；使用Focaler−CIoU损失函数计算边界框回归损失，解决检测目标形状差异大的问题。

2） MSF−YOLOv8n模型性能验证实验结果表明，MSF−YOLOv8n模型的mAP50达93.2%，相较于基础模型提高了2.1%；参数量仅为2.82×10⁶，比基础模型减少0.19×10⁶，更适合部署到巡检机器人等边缘设备中；检测精度比YOLOv5s，YOLOv7，YOLOv8s算法分别高2.2%，1.3%，0.3%；其帧率虽然比YOLOv8s和YOLOv8n低，但仍可满足视频实时性检测要求。

3） 异物检测及计数实验结果表明，DeepSORT算法的准确率达80%，可准确跟踪被遮挡的锚杆及形状差异较大的目标。基于改进YOLOv8n+ DeepSORT的带式输送机异物检测及计数方法不仅具有很好的鲁棒性，还能准确计算异物数量，且参数量较小，适用于边缘设备。