0 引言
矿用带式输送机是煤矿主运输设备，对煤矿运输起着至关重要的作用[1]。输送机功率大，输送距离远，设备长时间运转、持续受力及运输物料过程中会遇到重物和异物，导致输送带损伤[2-4]发生事故。因此，对输送带损伤进行快速准确的检测十分重要。
传统输送带损伤检测方法分为接触式检测法和非接触式检测法[5-6]。接触式检测法包括棒形检测法、漏料检测法、测力托辊检测法等，接触式检测法可靠性差、检测精度低且很难实现检测结果的可视化。非接触式检测法包括电磁感应检测法、X光透视检测法、机器视觉检测法等，其中机器视觉检测法[7-8]安全性强，检测精度高，具有自动化、智能化、可视化的特点。文献[9]将输送带灰度图像转换成一维向量，分析获得撕裂特征函数，当撕裂故障特征值大于设置的阈值时会产生报警，但是当撕裂故障特征值不明显时，会出现故障漏检问题，导致检测精度降低。文献[10]提出一种改进SSR(Single Scale Retinex，单尺度Retinex)算法的输送带纵向撕裂检测方法，通过对采集图像进行SSR算法处理，提取面积、宽度、矩形度等特征并设定三者的阈值，通过对比阈值来判断输送带是否撕裂，但往往输送带损伤形态不规则，大小不一，该方法难以区分除撕裂外的其他损伤，容易造成误检。文献[11]利用支持向量机对输送带红外图像进行分割，根据撕裂的像素点数目判断输送带撕裂情况，但该方法抗噪能力不佳，噪声严重影响红外图像的分割效果，降低检测精度。文献[12]通过高斯滤波、边缘检测和卷积运算等算法提取输送带撕裂特征，再对特征进行阈值分析，判断是否有撕裂发生，该方法提取特征这一步骤计算量较大，导致检测速度慢。传统输送带损伤检测方法检测速度慢、检测精度低且缺少对面积较小损伤的检测。
针对上述问题，本文提出了一种基于改进YOLOv4[13-14]的输送带损伤检测方法。该方法以YOLOv4为基础，对PANet路径融合网络部分进行改进，增加与浅层特征层的融合，可提高模型对面积较小损伤的特征提取能力，并减少特征层融合后的卷积次数，减少计算量，实现对输送带撕裂、表面磨损和表面缺陷3种损伤的快速、准确检测。
1 改进YOLOv4模型
1.1 YOLOv4模型结构
YOLOv4模型从结构上分为主干网络、Neck层及预测层3个部分，如图1所示。
图1 YOLOv4模型结构
Fig.1 Structure of YOLOv4 model
YOLOv4的主干网络采用CSPDarknet53，CSPDarknet53对输入图像(尺度为416×416)进行5次下采样，不断提取目标的特征信息，由浅入深得到5个尺度逐渐减小的特征层P1—P5，5个特征层尺度分别为208×208，104×104，52×52，26×26，13×13。YOLOv4主干网络使用Mish激活函数加快训练过程并实现较强的正则化效果。
Neck层处于主干网络和预测层中间，由SPP(Spatial Pyramid Pooling，空间金字塔池化)[15]模块和PANet组成，是一种特征金字塔结构。主干网络的输出进行3次卷积后作为SPP模块的输入，SPP模块对该输入进行不同尺度的最大池化和融合操作，经过该操作后可以扩大感受野。PANet是路径聚合网络，SPP的输出进入PANet后进行2次上采样，分别与P4和P3层进行融合并做5次卷积运算，得到特征层N1和N2。N2层再进行2次下采样，分别与N1层和SPP的输出进行融合并做5次卷积运算。
预测层是最终的检测部分。PANet通过3个不同尺度的特征层融合，再进行卷积运算，得到3个不同尺度的Yolo Head，尺度大小分别为52×52，26×26，13×13，检测不同大小的目标。每个Yolo Head都包含3个先验框，预测层首先对PANet输出的3个特征层进行预测，然后对每个先验框里面的目标信息进行分析，最后采用非极大值抑制方法并调整先验框来确定最终的预测框。
1.2 损失函数
YOLOv4目标检测的损失函数L由预测框回归损失函数LCIOU、分类损失函数Lcls及置信度损失函数Lconf3个部分组成。
L=LCIOU+Lconf+Lcls
(1)
(2)
(3)
(4)
Lconf=
(5)
Lcls=
(6)
式中：I(A,B)为预测框B和真实框A的交并比；ρ2(Actr,Bctr)为预测框中心点Bctr和真实框中心点Actr的欧氏距离；m为同时包含预测框和真实框的最小封闭区域的对角线距离；α为权重函数；ν为长宽比相似性度量系数；wgt，hgt分别为真实框的宽和高；w，h分别为预测框的宽和高；S2为网格数；E为每个网格中的先验框个数；
表示第i个网格上产生的第j个预测框内包含目标，i∈[0,S2]，j∈
表示第i个网格上产生的第j个预测框内不包含目标；
为真实置信度；
为预测置信度；λnoobj为自行设定的计算系数；k为目标分类数；
为框内目标属于某一类别c的真实概率；
为框内目标属于某一类别c的预测概率。
1.3 YOLOv4模型改进
输送带很多损伤与背景区分度不高，特征不明显，且存在许多较小的损伤，YOLOv4模型存在损伤 漏检问题，导致检测精度较低。为此，在YOLOv4 PANet部分的3个尺度特征层融合的基础上，与浅层特征层进行融合，提高对输送带损伤的特征提取能力，同时减少特征层融合后的卷积次数，减少计算量。改进后的PANet结构如图2所示。
图2 改进后的PANet结构
Fig.2 Structure of improved PANet
特征层N2继续上采样，然后和主干网络的P2层进行融合并做3次卷积运算，得到尺度大小为104×104的特征层N3。N3层进行下采样，再和N2层融合并做3次卷积运算，得到尺度大小为52×52的特征层N4，N4的输出作为改进YOLOv4的一个Yolo Head。将PANet部分每个特征层融合后的5次卷积运算减少到3次，卷积核大小分别为1×1，3×3，1×1。
2 模型训练
2.1 实验数据采集
本文实验平台为Windows 10操作系统，CPU为Intel i7-10870H，显卡为Nvidia Geforce RTX2060，采用Tensorflow深度学习框架。
实验数据集来源于现场拍摄，包括输送带撕裂、表面磨损和表面缺陷3种常见的损伤图像。由于数据集中图像大小不一，在训练前通过图像处理软件将图像裁剪成416×416的统一大小。为了提高模型泛化能力，避免网络过拟合，通过旋转、翻折、对比度调节、亮度调节等图像处理方法对数据集进行数据增强，扩充数据集，扩充后数据集图像共3 132张。训练集和测试集按比例8∶2进行划分。采用LabelImg软件对图像中输送带损伤部位进行标注，将输送带损伤类型及坐标信息保存到xml文件中。之后通过程序代码将xml文件转化成txt文本格式文件，用于网络模型训练。
整个训练迭代次数为50，学习率为0.005，批尺寸为16。
2.2 评判指标
采用检测精度和检测速度来衡量模型检测性能。检测精度指标包括精确率P、召回率R、平均精度PA及平均精度均值PmA；模型检测速度指标采用帧速率fFPS。
(7)
(8)
PA=
P(R)dR
(9)
(10)
(11)
式中：NTP为正确预测的正样本个数；NFP为错误预测的正样本个数；NFN为错误预测的负样本个数；n为待检测的目标类别数；PAi为第i个目标类别的平均精度；N为待检测图像个数；t为检测时间。
3 实验结果与分析
通过50次迭代训练，模型训练结果如图3所示。可看出在前10次迭代中损失大幅下降，10次迭代后下降幅度变缓，在40次迭代后曲线变化趋于平缓，表明基于改进YOLOv4的输送带损伤检测方法损失收敛速度快，模型训练效果好。
图3 迭代次数和损失的关系曲线
Fig.3 Relation curve between iteration numbers and loss
为了验证改进YOLOv4的优越性，将其与YOLOv4，YOLOv3及Faster-RCNN目标检测模型进行对比，结果见表1。
表1 改进YOLOv4与其他目标检测模型性能比较结果
Table 1 Performance comparison results of improved YOLOv4 and other target detection models
目标检测模型PA/%撕裂表面磨损表面缺陷PmA/%fFPS/(帧·s-1)Faster-RCNN91.8096.8595.4694.705.41YOLOv387.3491.1093.1190.5118.32YOLOv494.1095.4896.7995.4618.27改进YOLOv497.1096.9396.5496.8620.66
从表1可看出,基于改进YOLOv4的输送带损伤检测方法对输送带撕裂、表面磨损和表面缺陷检测的平均精度均值达96.86%，检测速度达20.66帧/s；与YOLOv4，YOLOv3和Faster-RCNN相比，平均精度均值分别提升了1.4%，6.35%，2.16%，检测速度分别提升了2.39，2.34，15.25帧/s。
3种输送带损伤图像检测结果如图4所示。在撕裂和表面磨损检测中，改进YOLOv4检测的置信度更高，表明检测精度更高；在表面缺陷检测中，YOLOv4有1处损伤漏检，改进YOLOv4能全部检测出3处表面缺陷，改进YOLOv4对面积较小损伤的检测效果更好。
(a)改进YOLOv4撕裂检测
(b)YOLOv4撕裂检测
(c)改进YOLOv4表面磨损检测
(d)YOLOv4表面磨损检测
(e)改进YOLOv4表面缺陷检测
(f)YOLOv4表面缺陷检测
图4 3种输送带损伤检测结果
Fig.4 Detection results of 3 conveyor belts
4 结论
(1)基于改进YOLOv4的输送带损伤检测方法损失收敛速度快，模型训练效果好。
(2)基于改进YOLOv4的输送带损伤检测方法对输送带撕裂、表面磨损和表面缺陷检测的平均精度均值达96.86%，检测速度达20.66帧/s；与YOLOv4，YOLOv3和Faster-RCNN相比，对输送带撕裂、表面磨损和表面缺陷3种损伤检测的平均精度均值分别提升了1.4%，6.35%，2.16%，检测速度分别提升了2.39，2.34，15.25帧/s。
(3)与YOLOv4相比，基于改进YOLOv4的输送带损伤检测方法检测精度更高，对面积较小损伤的检测效果更好。
[1] 张春生.矿用带式输送机滚筒结构性能的研究[J].机械管理开发,2021,36(10):125-126.
ZHANG Chunsheng.Structure and performance of mining belt conveyor drum in use[J].Mechanical Management and Development,2021,36(10):125-126.
[2] 张梦超,周满山,张媛,等.基于深度学习的矿用输送带损伤检测方法[J].工矿自动化,2021,47(6):51-56.
ZHANG Mengchao,ZHOU Manshan,ZHANG Yuan,et al.Damage detection method for mine conveyor belt based on deep learning[J].Industry and Mine Automation,2021,47(6):51-56.
[3] 胡璟皓,高妍,张红娟,等.基于深度学习的带式输送机非煤异物识别方法[J].工矿自动化,2021,47(6):57-62.
HU Jinghao,GAO Yan,ZHANG Hongjuan,et al.Research on the identification method of non-coal foreign object of belt conveyor based on deep learning[J].Industry and Mine Automation, 2021,47(6):57-62.
[4] ALVIARI L P, ANGGAMAWARTI M F, SANJIWANI Y, et al.Classification of impact damage on a rubber-textile conveyor belt: a review[J].International Journal of Mechanical Engineering Technologies and Applications, 2020, 1(1): 21-27.
[5] 王以娜.基于视觉检测的皮带纵向撕裂检测关键技术研究[D].鞍山:辽宁科技大学,2020.
WANG Yina.Research on key technology of belt longitudinal tear detection based on visual inspection[D].Anshan:University of Science and Technology Liaoning,2020.
[6] 武文泽.基于机器视觉的选煤厂输送机皮带磨损故障诊断研究[D].徐州:中国矿业大学,2020.
WU Wenze.Research on fault diagnosis of conveyor belt wear in coal preparation plant based on machine vision[D].Xuzhou:China University of Mining and Technology,2020.
[7] YANG Yanli, MIAO Changyun,LI Xianguo,et al.On-line conveyor belts inspection based on machine vision[J].Optik-International Journal for Light and Electron Optics,2014,125(19):5803-5807.
[8] 徐辉,刘丽静,沈科,等.基于多道线性激光的带式输送机纵向撕裂检测[J].工矿自动化,2021,47(7):37-44.
XU Hui,LIU Lijing,SHEN Ke,et al.Longitudinal tear detection of belt conveyor based on multi linear lasers[J].Industry and Mine Automation, 2021,47(7):37-44.
[9] YANG Yanli,ZHAO Yanfei,MIAO Changyun,et al.On-line longitudinal rip detection of conveyor belts based on machine vision[C]//IEEE International Conference on Signal and Image Processing(ICSIP), Beijing,2016:315-318.
[10] LI Jie,MIAO Changyun.The conveyor belt longitudinal tear on-line detection based on improved SSR algorithm[J].Optik-International Journal for Light and Electron Optics,2016,127(19):8002-8010.
[11] 赵弼龙,乔铁柱.基于支持向量机红外图像分割的输送带纵向撕裂检测方法[J].工矿自动化,2014,40(5):30-33.
ZHAO Bilong,QIAO Tiezhu.Detection method of belt longitudinal tear based on support vector machine and infrared image segmentation[J].Industry and Mine Automation,2014,40(5):30-33.
[12] 牛犇,乔铁柱,唐艳同.基于LabVIEW和CCD相机的输送带纵向撕裂检测系统设计[J].煤矿机械,2013,34(2):148-150.
NIU Ben,QIAO Tiezhu,TANG Yantong.Detection system design for longitudinal tear of conveyor belt based on LabVIEW and CCD camera[J].Coal Mine Machinery,2013,34(2):148-150.
[13] CHEN Xiaojiao,AN Zhenyu,HUANG Liansheng,et al.Surface defect detection of electric power equipment in substation based on improved YOLOV4 algorithm[C]//International Conference on Power and Energy Systems(ICPES),Chengdu,2020:256-261.
[14] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once: unified, real-ttime object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,2016:779-788.
[15] HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,37(9):1904-1916.
