基于改进YOLOv8的煤矿输送带异物检测

洪炎, 汪磊, 苏静明, 汪瀚涛, 李木石

洪炎,汪磊,苏静明,等. 基于改进YOLOv8的煤矿输送带异物检测[J]. 工矿自动化,2024,50(6):61-69. DOI: 10.13272/j.issn.1671-251x.2024050006
引用本文: 洪炎,汪磊,苏静明,等. 基于改进YOLOv8的煤矿输送带异物检测[J]. 工矿自动化,2024,50(6):61-69. DOI: 10.13272/j.issn.1671-251x.2024050006
HONG Yan, WANG Lei, SU Jingming, et al. Foreign object detection of coal mine conveyor belt based on improved YOLOv8[J]. Journal of Mine Automation,2024,50(6):61-69. DOI: 10.13272/j.issn.1671-251x.2024050006
Citation: HONG Yan, WANG Lei, SU Jingming, et al. Foreign object detection of coal mine conveyor belt based on improved YOLOv8[J]. Journal of Mine Automation,2024,50(6):61-69. DOI: 10.13272/j.issn.1671-251x.2024050006

基于改进YOLOv8的煤矿输送带异物检测

基金项目: 国家重点研发计划项目(2021YFD2000204);国家自然科学基金项目(12304236,32301688,52174141);安徽数字农业工程技术研究中心开放项目(AHSZNYGCZXKF021);大学生创新创业基金项目(202210361053,202310361037);安徽理工大学研究生创新基金项目(2024cx2067)。
详细信息
    作者简介:

    洪炎(1979—),男,重庆万州人,教授,博士,主要研究方向为图像处理与物联网,E-mail:hong5212724@163.com

    通讯作者:

    汪磊(1997—),男,安徽六安人,硕士研究生,主要研究方向为深度学习与嵌入式系统、目标检测,E-mail:wljy2023@163.com

  • 中图分类号: TD634.1

Foreign object detection of coal mine conveyor belt based on improved YOLOv8

  • 摘要: 现有基于深度学习的输送带异物检测模型较大,难以在边缘设备部署,且对不同尺寸异物和小目标异物存在错检、漏检情况。针对上述问题,提出一种基于改进YOLOv8的煤矿输送带异物检测方法。采用深度可分离卷积、压缩和激励(SE)网络将YOLOv8主干网络中C2f模块的Bottleneck重新构建为DSBlock,在保持模型轻量化的同时提升检测性能;为增强对不同尺寸目标物体信息的获取能力,引入高效通道注意力(ECA) 机制,并对ECA的输入层进行自适应平均池化和自适应最大池化操作,得到跨通道交互MECA模块,以增强模块的全局视觉信息,进一步提升异物识别精度;将YOLOv8的3个检测头修改为4个轻量化小目标检测头,以增强对小目标的敏感性,有效降低小目标异物的漏检率和错检率。实验结果表明:改进YOLOv8的精确度达91.69%,mAP@50达92.27%,较YOLOv8分别提升了3.09%和4.07%;改进YOLOv8的检测速度达73.92帧/s,可充分满足煤矿输送带异物实时检测的需求;改进YOLOv8的精确度、mAP@50、参数量、权重大小和每秒浮点运算数均优于SSD,Faster-RCNN,YOLOv5,YOLOv7−tiny等主流目标检测算法。
    Abstract: The existing deep learning based foreign object detection models for conveyor belts are relatively large and difficult to deploy on edge devices. There are errors and omissions in detecting foreign objects of different sizes and small objects. In order to solve the above problems, a foreign object detection method for coal mine conveyor belts based on improved YOLOv8 is proposed. The depthwise separable convolution, squeeze-and-excitation (SE) networks are used to reconstruct the Bottleneck of the C2f module in the YOLOv8 backbone network as a DSBlock, which improves the detection performance while keeping the model lightweight. To enhance the capability to obtain information from objects of different sizes, an efficient channel attention (ECA) mechanism is introduced. The input layer of ECA is subjected to adaptive average pooling and adaptive maximum pooling operations to obtain a cross channel interactive MECA module, which enhances the global visual information of the module and further improves the precision of foreign object recognition. The method modifies the 3 detection heads of YOLOv8 to 4 lightweight small object detection heads to enhance sensitivity to small objects and effectively reduce the missed and false detection rates of small object foreign objects. The experimental results show that the improved YOLOv8 achieves a precision of 91.69%, mAP@50 reached 92.27%, an increase of 3.09% and 4.07% respectively compared to YOLOv8. The detection speed of improved YOLOv8 reaches 73.92 frames/s, which can fully meet the demand for real-time detection of foreign objects on conveyor belts in coal mines. The improved YOLOv8 outperforms mainstream object detection algorithms such as SSD, Faster-RCNN, YOLOv5, and YOLOv7-tiny in terms of precision, mAP@50, number of parameters, weight size, and number of floating point operations.
  • 带式输送机是煤矿井下运输的重要设备[1]。在煤炭运输过程中,石块、锚杆等异物的存在可能会造成带式输送机工作异常,导致煤块溢出、转轴磨损、出煤口堵塞等情况,甚至可能造成煤矿停产,严重威胁煤矿生产安全。

    随着人工智能技术的快速发展,众多研究者利用机器视觉对输送带异物进行识别。目前主流的目标检测算法主要分为单阶段和两阶段。单阶段代表算法包括YOLO[2],SSD[3],RetinaNet[4]等,两阶段代表算法包括Faster R-CNN[5],Mask R-CNN[6]等。刘富强等[7]通过灰度直方图实现视觉检测,但存在矸石被煤尘覆盖无法识别的问题;Wang Yuanbin等[8]通过改进SSD算法提高异物检测精度,在识别速度方面尚难满足需求;任国强等[9]通过先验框和损失函数解决样本不平衡问题,未能解决模型大的问题;Xie Yehui等[10]通过改进损失函数CIoU实现异物识别,但识别精度较低;程德强等[11]采用残差轻量级网络和融入交叉学习机制增强模型的提取能力,但模型参数量依旧较大;Mao Qinghua等[12]通过改进YOLOv5提升模型性能,但未针对细长物目标进行优化,易造成错检;张旭[13]通过剪枝进行模型轻量化,易破坏网络结构;Liu Jiehui等[14]通过K-means++聚类进行数据优化,融入GhostNet和深度可分离卷积降低模型计算量,但模型的权重依旧较大;高涵等[15]通过引入可变形卷积构建数据增强,解决输送带异物识别精确度低等问题,但泛化能力仍有较大提升空间;Yang Dengjie等[16]对YOLOv7算法进行改进,通过减少卷积和加入小尺度探测层增强模型检测能力,但模型的参数量和浮点计算负担依旧较大。上述方法均取得了不错的研究成果,但仍然存在错检、漏检情况,以及对不同尺寸异物和小目标异物检测性能不佳、异物检测模型较大、难以在边缘端部署等问题。

    针对上述问题,本文提出一种基于改进YOLOv8的煤矿输送带异物检测方法。主要的创新点:① 构建了基于Bottleneck的轻量化模块,可增强模型对前景信息的提取能力,同时减小模型的体积,便于后期在边缘端部署。② 提出一种有效的跨通道注意力机制MECA,以增强模块的全局视觉信息,从而适应不同大小的异物目标识别,进一步提升网络识别精度。③ 将3个检测头修改为4个轻量化小目标检测头,可更加准确地捕捉和定位小型异物目标,能够适应复杂环境。

    YOLOv8是YOLO系列中最新的版本,主要由InPut,Backbone,Neck,Head 4个部分组成,如图1所示。① InPut部分主要负责对输入的特征图像进行预处理,包括自适应缩放、调整输入尺寸、数据增强等,以提升网络模型的鲁棒性。② Backbone主要由Conv、C2f和快速空间金字塔池化(Spatial Pyramid Pooling Fast,SPPF)组成。YOLOv8将YOLOv5的C3模块替换为C2f模块,C2f模块相较于原C3模块,增加了跳层连接和额外的拆分操作,使模型的梯度数据流更加丰富,提升了模型的性能。此外,YOLOv8对模块个数进行了改进,从[3,6,9,3]优化为[3,6,6,3],从而使模型进一步轻量化。SPPF将不同尺度的特征信息融合在一起,丰富特征图的语义特征,从而进一步提升模型的特征提取能力。③ Neck部分主要对Backbone提取到的特性图信息进行处理,继续沿用YOLOv5的路径聚合网络(Path Aggregation Network,PAN)+特征金字塔网络 (Feature Pyramid Networks,FPN)结构。相较于YOLOv5模型,YOLOv8移除了1×1降采样层,通过自顶向下和自下向顶的跨层连接使特征更加充分融合。④ Head部分的主要作用是利用前面提取的特征,完成目标检测的识别任务。YOLOv8采用了解耦头结构,将回归解耦和分类的过程进行分离,并根据回归解耦和分类加权得到的分数来确定最终的正负样本数,从而解决了复杂背景下定位准确率低和分类错误的问题,有效提升模型的性能。

    图  1  YOLOv8网络结构
    Figure  1.  YOLOv8 network structure

    YOLOv8网络具备高性能和高准确度,同时可兼顾检测速度,不过在复杂矿井场景下仍然存在很大的优化空间:

    1) C2f模块的卷积大多为固定尺寸,无法对目标检测物进行深度检测,存在错检、漏检的可能性。针对该问题,采用压缩和激励 (Squeeze-and-Excitation,SE)网络模块[17],将C2f模块的Bottleneck重新构建为DSBlock,并将改进后的C2f模块命名为SC2f。

    2) 在复杂的带式输送机环境下,存在较多大小不一的目标异物,目标检测受目标形状、位置、方向等因素的影响。YOLOv8引入特征金字塔网络处理多尺度特征,但在应对输入图像尺寸大幅度变化时存在局限性。YOLOv8使用的锚框在训练时是基于特定大小的输入图像预定义的,对不同尺度的异物匹配度会降低,从而影响精度。针对上述问题,引入高效通道注意力 (Efficient Channel Attention,ECA) 机制,并通过自适应最大池化和自适应平均池化操作进行改进,得到跨通道交互MECA模块。

    3) YOLOv8的检测层可输出3种不同尺寸的特征图,分别为[20,20],[40,40],[80,80]。本文在YOLOv8基础上添加一个[160,160]小目标检测头,以增强对小目标的敏感性,有效降低不同尺寸小目标异物的漏检率和错检率。

    将改进YOLOv8网络记为CED−YOLO,其网络结构如图2所示。训练集图像经由卷积提取特征语义信息,经过改进后的C2f模块和MECA模块进行特征融合,提取较弱的特征信息,以更好地定位目标;在Neck部分对特性图进行处理,提取异物前景信息,并将融合后特征图传递给Head部分进行检测和分类;Head部分增强为4个轻量化检测头,得到训练权重;将训练好的网络权重应用于测试集上进行测试,获得客观的评价指标。

    图  2  CED−YOLO网络结构
    Figure  2.  CED-YOLO network structure

    增强数据集能够提升神经网络的鲁棒性和泛化能力[18]。为提高模型对小目标的检测精度,对图像数据集随机进行缩放、旋转、敏感度调整等操作。数据增强流程如图3所示[19]。融合传统YOLO的Mixup数据增强方法,随机将4个样本按照一定比例混合,生成新的图像。通过数据增强技术,增加了训练集数量,丰富了异物检测样本的多样性。

    图  3  数据增强流程
    Figure  3.  Data enhancement process

    SC2f模块结构如图4所示,其中hwcn分别为特征图的高度、宽度、通道数和层数。通道权重用于动态调整特征图中的信息流,使得模型更加关注对目标检测有用的特征,同时抑制不相关或噪声信息。这种精细的特征选择有助于提高模型的感知能力和表征能力,从而在保持模型轻量化的同时提高检测性能。

    图  4  SC2f模块结构
    Figure  4.  SC2f module structure

    传统C2f中的卷积大多有固定尺寸,无法对目标检测物进行深度检测。本文通过改进Bottleneck,结合深度可分离卷积提取特征,相比常规的卷积操作,参数量和运算成本较低。此外,引入SE注意力机制对Bottleneck进行改进,得到DSBlock模块,如图5所示。DSBlock采用常见的分支结构,其中包含卷积操作和SE注意力操作。对输入特征图进行一次卷积操作,以准确捕捉目标。通过深度可分离卷积对输入特征图进行特征提取,利用分支对提取的特征进行加工和学习。

    图  5  DSBlock模块结构
    Figure  5.  DSBlock module structure

    注意力机制被广泛应用到深度学习的各个领域,当前研究较多的包括卷积注意力模块 (Convolutional Block Attention Module,CBAM)和基于相似度的注意力机制(Similarity-based Attention Mechanism,SimAM)[20-22]。CBAM是一种简单高效的前馈卷积神经网络,可从空间和通道2个方面对图像进行关注,但CBAM需要消耗更多计算资源,计算复杂度较高,对于计算有限的设备很难部署。SimAM 是一种轻量级、无参数的卷积神经网络注意力机制,通过计算特征图的局部自相似性生成注意力权重,SimAM 不需要引入任何额外参数,但在某些情况下,易受输入噪声干扰,对长距离依赖关系处理能力较弱,可能会忽略一些重要信息。

    与传统注意力机制相比,ECA模块是一种不降维的跨通道注意力机制,有利于提高网络模型的学习能力。为进一步提升模型的性能,对ECA的输入层进行自适应平均池化和自适应最大池化操作,随后进行相加操作,以增强模块的全局视觉信息,使模型可适应不同大小的输入。MECA模块结构如图6所示。与传统的平均池化不同,自适应池化不需要指定池化核的大小,而是通过输出大小决定池化大小和步幅。MECA模块可在保持较少参数的同时,有效提高网络对目标特征的关注度,从而提升整体网络的检测精度。

    图  6  MECA模块结构
    Figure  6.  MECA module structure

    通过增加小目标检测头对检测层进行改进,改进后的检测层如图7所示。

    图  7  改进后检测层
    Figure  7.  Improved detection layer

    理想的目标检测头应具备以下特性:① 高效性,能够在较短时间内完成目标检测任务。② 准确性,可在保持高速检测的同时,具备较高的目标检测精度。③ 通用性,能够适应新的数据集和场景,保持较高的检测性能。为减轻增加小目标检测头造成的计算负担,引入PConv卷积对检测头进行轻量化改进[23],改进后的轻量化检测头如图8所示。

    图  8  改进后轻量化检测头
    Figure  8.  Improved lightweight detection head

    使用PConv卷积替换常规卷积,可大幅降低模型的计算量,减少信息丢失并增强模型的表达能力。其计算量为

    $$ F_{\text{PConv}}=hwk^2c_{\mathrm{p}}^2 $$ (1)
    $$ r = \frac{{{c_{\mathrm{p}}}}}{c} $$ (2)

    式中:$k$为卷积核尺寸;${c_{\mathrm{p}}}$为参与卷积的通道;$r$为参与卷积率,在实际应用中一般取0.25,即PConv卷积的计算量为普通卷积的1/16。

    PConv的内存访问量为

    $$ M_{\mathrm{AC}(\text{PConv})}=2hwc_{\mathrm{p}}+k^2c_{\mathrm{p}}^2\approx2hwc_{\mathrm{p}} $$ (3)

    普通卷积的内存访问量为

    $$ M_{\mathrm{AC}(\mathrm{Conv})}=2hwc+k^2c^2\approx2hwc $$ (4)

    由于卷积过程占用内存较少,PConv卷积内存访问量仅为普通卷积的r倍。本文仅对输入通道部分进行计算,后续特征并未丢失。此外,在保留的通道中使用1×1卷积层再次进行特征提取,以确保所有特征信息在通道中传递。

    实验数据集来自某省煤矿井下输送带,输送带的移动速度为5 m/s,共取得含有石块和锚杆异物的图像4 400张,使用Labelimg工具进行标注。共标注3 977张,其中锚杆的标注数量为1 264,石块的标注数量为2 713。分析发现数据集现有的类别分布不均衡,难以满足实验需求。为避免过拟合情况,通过数据增强方式对数据集进行扩充。扩充后的自建数据集包含10 584张图像,其中训练集9 273张,验证集为894张,测试集为447张,如图9所示。

    图  9  数据集图像
    Figure  9.  Dataset images

    实验硬件配置见表1

    表  1  实验硬件配置
    Table  1.  Experimental hardware configuration
    实验环境 配置
    操作系统 Windows 10
    CPU Intel(R) Core(TM)i5−13490F CPU@2.50 GHz
    GPU NVIDIA GeForce GTX 4060(8 G)
    深度学习框架 PyTorch 1.9.1+CUDA 11.1+CUDNN 8.0.5
    编译器 Python 3.8.18
    内存 32 GiB
    下载: 导出CSV 
    | 显示表格

    实验参数设置:训练批次大小为16,初始学习率为0.01,迭代次数为300,优化器采用随机梯度下降(SGD),动量为0.937,权重衰减为0.000 5,输入图像尺寸为640×640。选取平均精度均值(mean Average Precisio,mAP)、帧率、精确度和召回率作为评价指标,对不同模型的性能进行评价。

    将CED−YOLO与YOLOv8进行对比,结果如图10所示。可看出CED−YOLO的精确度、召回率、mAP@50(交并比(Intersection over Union,IoU)阈值为0.5时的mAP值)均高于YOLOv8。

    图  10  模型性能指标
    Figure  10.  Model performance indicators

    为了验证每一个改进点是否有效,设计一系列消融实验进行对比,结果见表2。其中A表示数据增强,B表示引入DSBlock模块,C表示增加一个小目标检测头,D表示引入MECA,E表示改进轻量化检测头。mAP@50∶95表示不同IoU阈值(从0.5到0.95,步长为0.05)上的平均mAP值。第1组实验为YOLOv8的实验数据。

    表  2  消融实验结果
    Table  2.  Ablation experiment results
    序号 A B C D E 精确度/% 召回率/% mAP@50/% mAP@50∶95/% 参数量/
    106
    权重大小/
    MiB
    每秒浮点
    运算数/109
    速度/
    (帧·s−1
    1 × × × × × 88.60 80.19 88.20 56.70 3.00 6.3 8.1 162.55
    2 × × × × 89.25 83.09 89.36 58.62 3.00 6.3 8.1 163.23
    3 × × × 89.45 87.98 92.32 59.94 2.68 5.5 6.9 156.68
    4 × × 89.02 86.26 92.96 62.21 2.79 5.9 11.7 94.49
    5 × 92.03 84.30 91.92 60.89 2.79 5.9 11.7 111.26
    6 91.69 83.25 92.27 61.59 2.34 5.0 6.2 73.92
    下载: 导出CSV 
    | 显示表格

    通过第2组实验可看出,数据增强后,网络精确度提高了0.65%,召回率提高了2.9%,mAP@50提高了1.16%,mAP@50∶95提升了1.92%。这表明对数据集进行数据增强可显著提升网络精确度,避免因数据集过少导致过拟合。

    通过第3组实验可看出,改进Bottleneck模块后,尽管网络精确度仅提升0.2%,但召回率提高了4.89%,mAP@50提高了2.96%,mAP@50∶95提升了1.32%。此外,参数量减少了0.32×106个,模型权重减少了12.12%,同时每秒浮点运算数也降低了14.8%。这表明DSBlock模块不仅可提升模型的整体性能,还具备一定的轻量化优势。

    通过第4组实验可看出,增加小目标检测头后,尽管网络精确度略有降低,但mAP@50提高了0.64%,mAP@50∶95提升了2.27%。增加小目标检头后能够提升小目标异物信息提取能力,避免漏检问题。

    通过第5组实验可看出,融入MECA后,虽然召回率、mAP@50和mAP@50∶95略有下降,但总体表现仍优于原始网络,且精确度提升了3.01%。这表明MECA增强了对目标特征的识别关注度,提高了煤矿异物区分度,减少了错检、漏检,可更好地捕捉图像细节信息,从而提高模型精确度和鲁棒性。

    通过第6组实验可看出,改进轻量化检测头后,模型参数量、权重大小和浮点运算数显著减少,降低了增加小目标检测头造成的计算负担。同时,检测速度保持在73.92帧/s,满足了预期的实时检测需求。

    为了更加客观展示CED−YOLO算法的优越性,采用相同数据集,在相同实验环境下,将其与主流目标检测算法SSD,Faster−RCNN,YOLOv3,YOLOv5,YOLOv7−tiny及文献[22]、文献[24]中的算法进行对比,结果见表3。可看出,CED−YOLO算法的精确度、mAP@50、参数量、权重大小和浮点运算次数均优于大多主流算法。CED−YOLO算法的精确度和mAP@50分别达91.69%和92.27%,较改进前提升了3.09%和4.07%。虽然参数量、模型权重和每秒浮点运算数略差于文献[24]的算法,但识别精确度略胜一筹,仍可满足实时性检测要求。CED−YOLO算法不仅在模型的收敛速度和识别方面占优,而且其他各项性能指标均占据一定优势。

    表  3  主流算法对比结果
    Table  3.  Comparison results of mainstream algorithms
    算法 精确度/% mAP@50/% 参数量/
    106
    权重大小/
    MiB
    每秒浮点
    运算数/109
    YOLOv3 87.54 89.06 12.12 24.4 18.9
    YOLOv5 89.38 88.52 2.50 5.3 7.1
    YOLOv7−tiny 84.40 89.70 6.01 12.3 13
    YOLOv8 88.60 88.20 3.00 6.3 8.1
    Faster−RCNN 66.13 55.09 136.73 108.0 401.7
    SSD 74.05 65.20 23.87 91.09 274.0
    文献[22]中算法 81.40 89.30 6.87 14.1 14.2
    文献[24]中算法 90.60 89.60 1.92 4.1 4.7
    CED−YOLO 91.69 92.27 2.34 5.0 6.2
    下载: 导出CSV 
    | 显示表格

    为了更直观展示算法优势,选取锚杆和石块混合及环境明暗度不同的4种典型场景,将YOLOv7−tiny,YOLOv8和文献[22]、文献[24]中的算法与CED−YOLO算法的识别效果进行对比,结果如图11所示。与YOLOv7−tiny的对比可看出,CED−YOLO可很好地避免漏检,可在复杂检测环境中精准识别异物,对细长锚杆异物的识别更加准确。与YOLOv8的对比可看出,受光照不足等环境因素干扰,煤矿输送带上混合异物难以识别,可能将1个目标异物识别为2个,CED−YOLO通过采用改进注意力机制,使检测框更加准确贴合异物目标。与文献[22]和文献[24] 对比可知,输送带上较小的煤块和石块可能具有较高相似度,文献[22]在识别率方面略逊于CED−YOLO,文献[24]对远处小目标存在漏检情况,CED−YOLO通过增加小目标检测层,可更有效地提取和利用有效信息,从而提升网络性能。

    图  11  不同模型的识别结果
    Figure  11.  Recognition results of different models

    在网络模型训练过程中,远离底层的特征图语义信息很难直观表现出来,因此,采用梯度加权类激活映射(Gradient-weighted Class Activation Mapping,Grad–CAM)[25],通过计算特征图的梯度生成热力图,深入了解模型在检测过程中对相关特征的关注程度。模型改进前后生成的热力图如图12所示。热力图中红色越深代表关注度越高,黄色代表关注度次之,蓝色代表对图像识别的影响较小,模型视为冗余信息。可看出CED−YOLO模型更加关注目标异物的图像特征,主要关注区域集中分布在目标异物位置上,能够避免环境因素的影响,更加贴合目标异物。

    图  12  模型改进前后热力图对比
    Figure  12.  Comparison of heat maps before and after model improvement

    1)设计了一种基于改进YOLOv8即CED-YOLO的煤矿输送带异物检测方法。对主干网络中C2f模块的Bottleneck进行改进,构建DSBlock,以增强模型的特征提取能力;采用MECA模块增强模块的全局视觉信息,使模型可适应不同大小的异物目标识别;将3个检测头修改为4个轻量化小目标检测头,增强网络对小目标异物的识别能力。

    2) 实验结果表明:改进YOLOv8的精确度达91.69%,mAP@50达92.27%,较YOLOv8分别提升了3.09%和4.07%;改进YOLOv8的检测速度达73.92帧/s,可充分满足煤矿输送带异物实时检测的需求;改进YOLOv8的精确度、mAP@50、参数量、权重大小和每秒浮点运算数均优于SSD,Faster−RCNN,YOLOv5,YOLOv7−tiny等主流目标检测算法。

    3) 在后续研究中,可对现有样本数据进行扩充,添加实际生产可能出现的情形,进一步提升模型的精度,同时实现算法的边缘部署,建立完善的智慧矿山监测平台。

  • 图  1   YOLOv8网络结构

    Figure  1.   YOLOv8 network structure

    图  2   CED−YOLO网络结构

    Figure  2.   CED-YOLO network structure

    图  3   数据增强流程

    Figure  3.   Data enhancement process

    图  4   SC2f模块结构

    Figure  4.   SC2f module structure

    图  5   DSBlock模块结构

    Figure  5.   DSBlock module structure

    图  6   MECA模块结构

    Figure  6.   MECA module structure

    图  7   改进后检测层

    Figure  7.   Improved detection layer

    图  8   改进后轻量化检测头

    Figure  8.   Improved lightweight detection head

    图  9   数据集图像

    Figure  9.   Dataset images

    图  10   模型性能指标

    Figure  10.   Model performance indicators

    图  11   不同模型的识别结果

    Figure  11.   Recognition results of different models

    图  12   模型改进前后热力图对比

    Figure  12.   Comparison of heat maps before and after model improvement

    表  1   实验硬件配置

    Table  1   Experimental hardware configuration

    实验环境 配置
    操作系统 Windows 10
    CPU Intel(R) Core(TM)i5−13490F CPU@2.50 GHz
    GPU NVIDIA GeForce GTX 4060(8 G)
    深度学习框架 PyTorch 1.9.1+CUDA 11.1+CUDNN 8.0.5
    编译器 Python 3.8.18
    内存 32 GiB
    下载: 导出CSV

    表  2   消融实验结果

    Table  2   Ablation experiment results

    序号 A B C D E 精确度/% 召回率/% mAP@50/% mAP@50∶95/% 参数量/
    106
    权重大小/
    MiB
    每秒浮点
    运算数/109
    速度/
    (帧·s−1
    1 × × × × × 88.60 80.19 88.20 56.70 3.00 6.3 8.1 162.55
    2 × × × × 89.25 83.09 89.36 58.62 3.00 6.3 8.1 163.23
    3 × × × 89.45 87.98 92.32 59.94 2.68 5.5 6.9 156.68
    4 × × 89.02 86.26 92.96 62.21 2.79 5.9 11.7 94.49
    5 × 92.03 84.30 91.92 60.89 2.79 5.9 11.7 111.26
    6 91.69 83.25 92.27 61.59 2.34 5.0 6.2 73.92
    下载: 导出CSV

    表  3   主流算法对比结果

    Table  3   Comparison results of mainstream algorithms

    算法 精确度/% mAP@50/% 参数量/
    106
    权重大小/
    MiB
    每秒浮点
    运算数/109
    YOLOv3 87.54 89.06 12.12 24.4 18.9
    YOLOv5 89.38 88.52 2.50 5.3 7.1
    YOLOv7−tiny 84.40 89.70 6.01 12.3 13
    YOLOv8 88.60 88.20 3.00 6.3 8.1
    Faster−RCNN 66.13 55.09 136.73 108.0 401.7
    SSD 74.05 65.20 23.87 91.09 274.0
    文献[22]中算法 81.40 89.30 6.87 14.1 14.2
    文献[24]中算法 90.60 89.60 1.92 4.1 4.7
    CED−YOLO 91.69 92.27 2.34 5.0 6.2
    下载: 导出CSV
  • [1] 中矿(北京)煤炭产业景气指数研究课题组,郭建利. 2023-2024年中国煤炭产业经济形势研究报告[J]. 中国煤炭,2024,50(3):12-20.

    China Mining (Beijing) Coal Industry Prosperity Index Research,GUO Jianli. Research report on the economic situation of China's coal industry from 2023 to 2024[J]. China Coal,2024,50(3):12-20.

    [2]

    REDMON J,DIVVALA S,GIRSHICK R,et al. You only look once:unified,real-time object detection[C]. IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,2016:779-788.

    [3]

    LIU Wei,ANGUELOV D,ERHAN D,et al. SSD:single shot multiBox detector[C]. The 14th European Conference on Computer Vision,Amsterdam,2016:21-37.

    [4]

    LIN T Y,GOYAL P,GIRSHICK R,et al. Focal loss for dense object detection [C]. IEEE International Conference on Computer Vision,Venice,2017:2999-3007.

    [5]

    REN Shaoqing,HE Kaiming,GIRSHICK R,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149. DOI: 10.1109/TPAMI.2016.2577031

    [6]

    HAO Zhenbang,LIN Lili,POST CHRISTOPHER J,et al. Automated tree-crown and height detection in a young forest plantation using mask region-based convolutional neural network (Mask R-CNN)[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2021,178:112-123. DOI: 10.1016/j.isprsjprs.2021.06.003

    [7] 刘富强,钱建生,王新红,等. 基于图像处理与识别技术的煤矿矸石自动分选[J]. 煤炭学报,2000,25(5):534-537. DOI: 10.3321/j.issn:0253-9993.2000.05.020

    LIU Fuqiang,QIAN Jiansheng,WANG Xinhong,et al. Automatic separation of waste rock in coal mine based on image procession and recognition[J]. Journal of China Coal Society,2000,25(5):534-537. DOI: 10.3321/j.issn:0253-9993.2000.05.020

    [8]

    WANG Yuanbin,WANG Yujing,DANG Langfei. Video detection of foreign objects on the surface of belt conveyor underground coal mine based on improved SSD[J]. Journal of Ambient Intelligence and Humanized Computing,2020:1-10.

    [9] 任国强,韩洪勇,李成江,等. 基于Fast_YOLOv3算法的煤矿胶带运输异物检测[J]. 工矿自动化,2021,47(12):128-133.

    REN Guoqiang,HAN Hongyong,LI Chengjiang,et al. Foreign object detection in coal mine belt transportation based on Fast_YOLOv3 algorithm[J]. Industry and Mine Automation,2021,47(12):128-133.

    [10]

    XIE Yehui,YU Sun,HUANG Ziyang. Foreign matter detection of coal conveying belt based on machine vision[C]. The 2nd International Conference on Computer Science and Management Technology,Shanghai,2021:293-296.

    [11] 程德强,徐进洋,寇旗旗,等. 融合残差信息轻量级网络的运煤皮带异物分类[J]. 煤炭学报,2022,47(3):1361-1369.

    CHENG Deqiang,XU Jinyang,KOU Qiqi,et al. Lightweight network based on residual information for foreign body classification on coal conveyor belt[J]. Journal of China Coal Society,2022,47(3):1361-1369.

    [12]

    MAO Qinghua,LI Shikun,HU Xin,et al. Coal mine belt conveyor foreign objects recognition method of improved YOLOv5 algorithm with defogging and deblurring[J]. Energies,2022,15(24). DOI:10.3390/ en15249504.

    [13] 张旭. 带式输送机异物检测系统关键技术研究[J]. 徐州:中国矿业大学,2023.

    ZHANG Xu. Research on key technology of belt conveyor foreign body detection system[J]. Xuzhou:China University of Mining and Technology,2023.

    [14]

    LIU Jiehui,QIAO Hongchao,LIANG Lijie,et al. Improved lightweight YOLOv4 foreign object detection method for conveyor belts combined with CBAM[J]. Applied Sciences,2023,13(14). DOI: 10.3390/app13148465.

    [15] 高涵,赵培培,于正,等. 基于特征增强与Transformer的煤矿输送带异物检测[J/OL]. 煤炭科学技术,1-11[2024-03-28]. http://kns.cnki.net/kcms/detail/11.2402.td.20240119.1515.012.html.

    GAO Han,ZHAO Peipei,YU Zheng,et al. Coal mine conveyor belt foreign object detection based on feature enhancement and Transformer[J/OL]. Coal Science and Technology,1-11[2024-03-28]. http://kns.cnki.net/kcms/detail/11.2402.td.20240119.1515.012.html.

    [16]

    YANG Dengjie,MIAO Changyun,LIU Yi,et al. Improved foreign object tracking algorithm in coal for belt conveyor gangue selection robot with YOLOv7 and DeepSORT[J]. Measurement,2024,228. DOI: 10.1016/j.measurement.2024.114180.

    [17]

    HU Jie,SHEN Li,AIBANIE S,et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42(8):2011-2023. DOI: 10.1109/TPAMI.2019.2913372

    [18]

    FAWZI A,SAMULOWITZ H,TURAGA D,et al. Adaptive data augmentation for image classification[C]. IEEE International Conference on Image Processing,Phoenix,2016:3688-3692.

    [19]

    VENKATARAMANAN S,KIJAK E,AMSALEG L,et al. AlignMixup:improving representations by interpolating aligned features[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,New Orleans,2022:19152-19161.

    [20]

    WANG Niannian,ZHANG Zexi,HU Haobang,et al. Underground defects detection based on GPR by fusing simple linear iterative clustering phash (SLIC-Phash) and convolutional block attention module (CBAM)-YOLOv8[J]. IEEE Access,2024,12:25888-25905. DOI: 10.1109/ACCESS.2024.3365959

    [21]

    PARK J,WOO S,LEE J-Y,et al. A simple and light-weight attention module for convolutional neural networks[J]. International Journal of Computer Vision,2020,128(4):783-798. DOI: 10.1007/s11263-019-01283-0

    [22] 郝帅,张旭,马旭,等. 基于CBAM−YOLOv5的煤矿输送带异物检测[J]. 煤炭学报,2022,47(11):4147-4156.

    HAO Shuai,ZHANG Xu,MA Xu,et al. Foreign object detection in coal mine conveyor belt based on CBAM-YOLOv5[J]. Journal of China Coal Society,2022,47(11):4147-4156.

    [23]

    CHEN Jierun,KAO S,HE Hao,et al. Run,don't walk:chasing higher FLOPS for faster neural networks[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Vancouver,2023:12021-12031.

    [24]

    HUANG Kaifeng,LI Shiyan,CAI Feng,et al. Detection of large foreign objects on coal mine belt conveyor based on improved[J]. Processes,2023,11(8). DOI: 10.3390/pr11082469.

    [25]

    SELVARAJU R R,COGSWELL M,DAS A,et al. Grad-CAM:visual explanations from deep networks via gradient-based localization[J]. International Journal of Computer Vision,2020,128(2):336-359. DOI: 10.1007/s11263-019-01228-7

  • 期刊类型引用(2)

    1. 林永洪,郑建明,李照. 基于UD-DETR轻量化网络小目标异物检测算法. 信息化研究. 2025(01): 71-78 . 百度学术
    2. 林晓华. 基于改进YOLOv8输送机皮带火电监测系统设计. 中国信息界. 2025(02): 188-190 . 百度学术

    其他类型引用(0)

图(12)  /  表(3)
计量
  • 文章访问数:  316
  • HTML全文浏览量:  55
  • PDF下载量:  63
  • 被引次数: 2
出版历程
  • 收稿日期:  2024-05-05
  • 修回日期:  2024-05-24
  • 网络出版日期:  2024-07-09
  • 刊出日期:  2024-06-29

目录

/

返回文章
返回