0 引言
由于煤炭开采环境复杂，运输过程中煤矿输送带容易发生撕裂、转接处堵塞等安全事故[1-3]，主要原因是异物(锚杆、编织物、木块和铁丝网)进入。因此对煤矿输送带上异物进行实时检测，及时发现并处理，可最大程度减少异物对带式输送机造成的损害，不仅有利于煤矿安全生产，而且对提高生产效率具有重要意义。
传统的煤矿带式输送机异物检测方式主要包括人工检测、雷达检测、金属探测器等[4-5]。人工检测效率低，安全隐患大；雷达检测成本高，维护难；金属探测器部署困难，检测类别较少。随着图像识别技术的发展，基于深度学习的目标检测算法应用广泛。基于深度学习的目标检测算法根据模型结构可分成以Faster-RCNN(Faster Region-based Convolutional Neural Networks)为代表的双阶段目标检测算法和以YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)为代表的单阶段目标检测算法[6-8]。吕志强[9]提出了基于Faster-RCNN的输送带异物识别方法，引入置信度惩罚函数筛选最佳候选框，获得较高的检测精度。Wang Yuanbin等[10]基于改进SSD设计了煤矿输送带异物检测方法，通过替换损失函数及优化默认锚框比例等提高了检测精度。胡璟皓等[11]在YOLOv3模型基础上，采用Focal Loss函数替换交叉熵损失函数，并调节最佳超参数来解决输送带异物检测的样本不平衡问题，提高了模型检测性能。然而，基于深度学习的目标检测模型参数量大[12]，在计算资源有限的设备上运行速度慢[13]，无法实现异物的实时检测，且单纯依靠硬件的提升不足以带来检测性能的显著改善，根据目标特点设计模型才能更好地提升检测效果。因此，本文在YOLOv3模型的基础上，利用深度可分离卷积和复合残差块设计DarkNet22-DS网络作为主干特征提取网络，引入加权双向特征金字塔网络(Weighted Bi-directional Feature Pyramid Networks，BiFPN)改进特征融合网络，采用完全交并比(Complete Intersection over Union，CIoU)作为目标框回归损失函数，提出了一种改进YOLOv3模型，并将其应用于煤矿带式输送机异物检测，在满足检测精度要求的同时获得了较高的检测速度。
1 异物检测原理
煤矿带式输送机异物检测原理如图1所示。具体步骤：① 在井下输送带转接处安装摄像头及光源，采集监控视频。② 对异物进行统计分类，构建异物数据集，并利用数据增强操作对数据集进行扩充。③ 对改进YOLOv3模型进行训练，存储训练误差最低的权重文件。④ 输入实时视频，读取改进YOLOv3模型进行图像检测，得到异物的类别和位置信息，存储异物信息并上传数据库。
图1 煤矿带式输送机异物检测原理
Fig.1 Principle of coal mine belt conveyor foreign object detection
2 改进YOLOv3模型
2.1 主干特征提取网络改进
YOLOv3模型的主干特征提取网络采用DarkNet-53[14]，由于该网络具有大量参数，使得模型检测速度较慢。为满足异物检测速度要求，本文在DarkNet-53的基础上提出一种轻量化主干特征提取网络DarkNet22-DS，其结构如图2所示。DarkNet22-DS中5个复合残差块用于传递不同层次的特征信息。复合残差块通过1×1标准卷积进行通道调整，并将输出特征划分成两部分，一部分进入残差连接1，另一部分进入残差连接2，通过这种双路残差进行特征信息融合，不仅能增加网络深度，提高特征利用效率，还能加快模型训练速度。
图2 DarkNet22-DS结构
Fig.2 Structure of DarkNet22-DS
深度可分离卷积将标准卷积分解成深度卷积和逐点卷积[15]。深度卷积对每个输入通道进行筛选，之后逐点卷积通过1×1卷积进行通道调整，这种分解方式可大大减少网络计算量。标准卷积、深度卷积和逐点卷积结构如图3所示。假设输入的特征图尺度为DI×DI×M(DI为特征图的高度和宽度，M为输入通道数)，标准卷积的参数量为DKDKMN(DK为卷积核的高度和宽度，N为输出通道数)，则标准卷积的计算量为DIDIMNDKDK。
(a)标准卷积
(b)深度卷积
(c)逐点卷积
图3 标准卷积、深度卷积和逐点卷积结构
Fig.3 Structure of standard convolution, depthwise convolution and pointwise convolution
深度可分离卷积先用DK×DK×1的深度卷积给输入通道提供单个滤波器，再用1×1×N的逐点卷积来调整输出通道数，其计算量为DIDIMDKDK+DIDIMN。
深度可分离卷积和标准卷积的计算量之比为
(1)
随着DK的增加，深度可分离卷积计算量相比标准卷积计算量减少程度逐渐增大；但当DK=1时，由于深度可分离卷积采用分步卷积方式，使得其计算量相对于标准卷积反而有所增加。因此DarkNet22-DS利用深度可分离卷积替换3×3标准卷积，减少模型参数量，但保留第1层3×3标准卷积用于对输入图像进行下采样操作，确保特征输入的完整性。
2.2 特征融合网络改进
YOLOv3模型中特征融合网络采用特征金字塔网络(Feature Pyramid Networks，FPN)[16]。FPN结构如图4(a)所示，自上而下对不同级别特征(P3—P6)进行相加融合。然而，在实际检测过程中不同尺度的特征信息对于最终预测结果的贡献具有差异性，这种差异性通常会对输出特征产生不同的影响。为更好地利用不同尺度的特征信息，引入BiFPN改进特征融合网络，利用输入特征的不同权重信息进行高效的多尺度特征融合。BiFPN结构如图4(b)所示，其集成了双向交叉尺度连接和快速归一化融合[17]。
(a)FPN
(b)BiFPN
图4 FPN和BiFPN结构
Fig.4 Structure of FPN and BiFPN
BiFPN融合多尺度特征可表示为
(2)
(3)
式中：
为级别5的中间特征；Conv(·)为特征处理操作；ω1—ω5为各级特征对应的连接权重系数；
分别为级别5、级别6对应的输入特征；Resize(·)为分辨率的上下采样操作；ε为稳定系数；
分别为级别5、级别4对应的输出特征。
由于对带式输送机造成高威胁的异物多为木块、锚杆等大块物体，为增加大块异物的特征提取效率，在输入图像尺寸为416×416的前提下，将YOLOv3模型中52×52，26×26，13×13的三尺度预测输出改进为26×26，13×13的双尺度预测输出，在充分利用多尺度特征信息的同时减少模型计算量，进一步提高检测速度。改进的特征融合网络结构如图5所示。
图5 改进的特征融合网络结构
Fig.5 Structure of improved feature fusion network
2.3 损失函数改进
YOLOv3模型中使用交叉熵作为置信度和分类的损失函数、均方误差(Mean Squared Error，MSE)为目标框回归的损失函数。然而，煤矿带式输送机中的异物尺度存在很大差异，MSE损失函数没有考虑到目标框信息间的相关性，容易导致定位不准确，并且在训练刚开始阶段会出现梯度消失现象，导致模型训练速率十分缓慢。为使模型在训练过程中具有更好的收敛性、实现更高效的检测，采用CIoU作为目标框回归的损失函数，从而建立更有针对性的目标框回归过程。
CIoU损失函数充分利用了目标框中心点和宽高的关联信息，从而提高目标框回归的稳定性。CIoU计算过程如下[18]：
(4)
(5)
(6)
(7)
式中：LIoU为预测框和真实框之间的交并比损失函数；B，Bgt分别为预测框和真实框的面积；LCIoU为CIoU损失函数；ρ(b，bgt)为预测框中心点b和真实框中心点bgt之间的欧氏距离；C为同时包含预测框和真实框的闭合矩形对角线距离；α为平衡尺度权重参数；v为衡量预测框和真实框的长宽比相似性参数；wgt，hgt分别为真实框的宽和高；w，h分别为预测框的宽和高。
改进YOLOv3模型的损失函数Lloss为
Lloss=LCIoU+Lcls+Lobj
(8)
(9)
(10)
式中：Lcls为分类损失函数；Lobj为置信度损失函数；λclass为分类预测的系数；
为目标落入第i(i=1，2，…，S2，S2为网格数)个网格第j(j=1，2，…，N，N为每个网格的预测框数)个预测框的判断系数；c为分类数；
分别为第i个网格中真实框和预测框的分类概率；λno为预测框不包含目标时的置信度系数；
为目标没有落入第i个网格第j个预测框的判断系数；
分别为第i个网格中目标的真实框和预测框的置信度；λobj为预测框包含目标时的置信度系数。
3 实验与结果分析
模型训练平台环境为Windows10，CPU为Intel(R)Core(TM)i7-10875H CPU@2.30 GHz，内存为16 GB，GPU为NVIDIA GeForce GTX2060，编程框架为Tensorflow开源框架；模型部署平台为NVIDIA Jetson Xavier NX，核心功率设置为15 W。
3.1 数据集
样本数据采集自河南某煤矿井下输送带转接处监控视频。实验中设置锚杆、编织物、木块及铁丝网的标签分别为anchor，woven，wood，wire，再依照VOC2007数据集格式，通过LabelImg软件对800张图像进行标注。为增加数据样本的多样性，提高模型泛化能力，将图像扩充至1 800张，其中包含锚杆、编织物、木块及铁丝网的图像数量分别为443，439，427，391张，环境图像为100张，并随机取1 620张图像作为训练样本，180张图像作为测试样本。
3.2 锚框聚类
为使改进YOLOv3模型在数据集中有更好的训练效果，通过k均值聚类算法[19]对数据集中真实框的宽高参数进行重新聚类，并根据模型的不同尺度类别计算对应的聚类中心，从而获得初始锚框的宽高参数。由于改进YOLOv3模型将预测尺度改为13×13和26×26，所以设置聚类数为6，锚框聚类如图6所示。
图6 锚框聚类
Fig.6 Anchor box clustering
根据锚框聚类结果可得2种特征图尺度下的初始锚框尺度，见表1。
表1 初始锚框尺度
Table 1 Initial anchor size
特征图尺度锚框尺度26×2641×67,70×120,79×5313×13155×121,158×302,258×245
3.3 模型训练
在VOC2007数据集上对改进YOLOv3模型进行训练，得到预训练权重文件，用于加快后续模型训练效率。参数设置：输入图像大小为416×416；最大训练次数为300；批尺寸为16；初始学习率为0.001，经过50轮迭代训练后，将学习率降至0.000 1，再进行250轮迭代训练。
模型的损失函数曲线如图7所示。可看出随着训练次数增加，YOLOv3模型的损失值稳定在0.48，改进YOLOv3模型的损失值稳定在0.41，且改进YOLOv3模型在前50次训练中收敛速度明显优于YOLOv3模型，表明改进YOLOv3模型取得了更好的训练效果。
图7 损失函数曲线
Fig.7 Loss function curves
3.4 检测结果
为验证本文改进YOLOv3模型的检测效果，在YOLOv3模型基础上进行不同改进来做对比实验，结果见表2(mAP为平均精度均值，FPS为每秒传输帧数)。可看出YOLOv3模型的权重文件大小为235 MB，mAP为90.1%，FPS为1.9帧/s；改进模型1使用DarkNet22-DS作为主干特征提取网络，其权重文件大小降低为71.8 MB，FPS达25.2帧/s，而mAP相较于YOLOv3模型仅降低了1.9%，表明DarkNet22-DS能够大幅提高模型检测速度；改进模型2引入BiFPN改进特征融合网络，将权重文件大小降低至189 MB，而mAP相较于YOLOv3模型提高了0.6%，表明利用不同特征的权重信息有利于提高模型检测精度；改进模型3使用DarkNet22-DS作为主干特征提取网络并采用CIoU为目标框回归损失函数，其权重文件大小为71.8 MB，mAP为89.4%，FPS为25.1帧/s，相较于改进模型1，mAP提高了1.2%，表明CIoU作为目标框回归损失函数可改善模型检测精度；改进模型4引入BiFPN改进特征融合网络并采用CIoU为目标框回归损失函数，其权重文件大小为189 MB，mAP为92.1%，FPS为5.6帧/s，相较于YOLOv3模型均有提升，表明改进特征融合网络和使用CIoU损失函数可提高模型检测精度及速度；改进模型5替换主干特征提取网络并改进特征融合网络，其权重文件大小为20.2 MB，mAP为89%，FPS为30.7帧/s，相较于YOLOv3模型，替换主干特征提取网络和特征融合网络可大幅减少模型参数，提高检测速度，但检测精度略有降低；本文改进YOLOv3模型的权重文件大小为20.2 MB，mAP为90.4%，FPS为30.7帧/s，相较于YOLOv3模型，权重文件大小降低了91.4%，mAP提高了0.3%，FPS提高了约16倍，表明本文改进YOLOv3模型能够在保证检测精度的同时大幅减少模型参数，从而提高检测速度。
表2 不同改进YOLOv3模型检测结果对比
Table 2 Comparison of detection results of different improved YOLOv3 models
模型主干特征提取网络特征融合网络损失函数权重文件大小/MBmAP/%FPS/(帧·s-1)YOLOv3DarkNet-53FPNMSE235.090.11.9改进模型1DarkNet22-DSFPNMSE71.888.225.2改进模型2DarkNet-53BiFPNMSE189.090.75.6改进模型3DarkNet22-DSFPNCIoU71.889.425.1改进模型4DarkNet-53BiFPNCIoU189.092.15.6改进模型5DarkNet22-DSBiFPNMSE20.289.030.7本文改进模型DarkNet22-DSBiFPNCIoU20.290.430.7
煤矿带式输送机异物检测结果如图8所示。可看出本文改进YOLOv3模型能快速检测出各类异物，且检测精度相较于YOLOv3模型略有提升。
(a)YOLOv3模型检测结果
(b)改进YOLOv3模型检测结果
图8 煤矿带式输送机异物检测结果
Fig.8 Foreign object detection results of coal mine belt conveyor
改进YOLOv3模型与常见目标检测模型检测结果见表3。可看出Faster RCNN和SSD由于网络参数量大、结构复杂，FPS均小于1帧/s，难以在计算资源有限的设备上部署应用；改进YOLOv3模型的检测精度相较于Faster RCNN略低，但检测速度是Faster RCNN和SSD的30多倍，保证了较好的实时性。
表3 不同目标检测模型检测结果对比
Table 3 Comparison of detection results of different target detection models
模型mAP/%FPS/(帧·s-1)FasterRCNN94.6<1SSD89.7<1改进YOLOv390.430.7
4 结语
针对现有基于深度学习的带式输送机异物检测方法存在检测速度慢的问题，提出了一种可用于煤矿带式输送机异物检测的改进YOLOv3模型。改进YOLOv3模型以轻量化网络DarkNet22-DS作为主干特征提取网络，解决了模型参数量大的问题；引入BiFPN改进特征融合网络，提高了模型对于不同尺度特征的利用效率；采用CIoU作为目标框回归的损失函数，有效提升了模型检测精度。实验结果表明，改进YOLOv3模型能在保证检测精度的同时，大幅提升检测速度，满足煤矿带式输送机异物检测需求。
[1] 赵博.煤矿带式输送机故障分析[J].机械管理开发,2019,34(2):276-277.
ZHAO Bo.Failure analysis of belt conveyor in coal mine[J].Mechanical Management and Development,2019,34(2):276-277.
[2] 杨清翔,向秀华,孟斌,等.一种煤矿带式输送机故障诊断方法[J].工矿自动化,2017,43(12):48-52.
YANG Qingxiang,XIANG Xiuhua,MENG Bin,et al.A fault diagnosis method of coal mine belt conveyor[J].Industry and Mine Automation,2017,43(12):48-52.
[3] 曹虎奇.煤矿带式输送机撕带断带研究分析[J].煤炭科学技术,2015,43(增刊2):130-134.
CAO Huqi.Study and analysis on tear belt and break belt of belt conveyor in coal mine[J].Coal Science and Technology,2015,43(S2):130-134.
[4] 潘红光,裴嘉宝,侯媛彬.智慧煤矿数据驱动检测技术研究[J].工矿自动化,2020,46(10):49-54.
PAN Hongguang,PEI Jiabao,HOU Yuanbin.Research on data-driven detection technology of smart coal mine[J].Industry and Mine Automation,2020,46(10):49-54.
[5] ZHAO Yiding,HE Xiaoming.Recognition of coal and gangue based on X-ray[J].Applied Mechanics and Materials,2013,275:2350-2353.
[6] REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.
[7] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,real-time object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,2016:779-788.
[8] LIU Wei,ANGUELOV D,ERHAN D,et al.SSD:single shot multibox detector[C]//European Conference on Computer Vision,Cham,2016:21-37.
[9] 吕志强.复杂环境下煤矿皮带运输异物图像识别研究[D].徐州:中国矿业大学,2020.
LYU Zhiqiang.Research on image recognition of foreign bodies in the process of coal mine belt transportation in complex environment[D].Xuzhou:China University of Mining and Technology,2020.
[10] WANG Yuanbin,WANG Yujing,DANG Langfei.Video detection of foreign objects on the surface of belt conveyor underground coal mine based on improved SSD[J/OL].Journal of Ambient Intelligence and Humanized Computing:1-10[2021-04-06].https://schlr.cnki.net/en/Detail/index/SSJDLAST/SSJDDF03B33AA4178E8CF65AD4DA03007E79.
[11] 胡璟皓,高妍,张红娟,等.基于深度学习的带式输送机非煤异物识别方法[J].工矿自动化,2021,47(6):57-62.
HU Jinghao,GAO Yan,ZHANG Hongjuan,et al.Research on the identification method of non-coal foreign object of belt conveyor based on deep learning[J].Industry and Mine Automation,2021,47(6):57-62.
[12] 张伟,庄幸涛,王雪力,等.DS-YOLO：一种部署在无人机终端上的小目标实时检测算法[J].南京邮电大学学报(自然科学版),2021,41(1):86-98.
ZHANG Wei,ZHUANG Xingtao,WANG Xueli,et al.DS-YOLO:a real-time small object detection algorithm on UAVs[J].Journal of Nanjing University of Posts and Telecommunications(Natural Science Edition),2021,41(1):86-98.
[13] MITTAL S.A survey on optimized implementation of deep learning models on the NVIDIA Jetson platform[J].Journal of Systems Architecture,2019,97:428-442.
[14] REDMON J,FARHADI A.YOLOv3:an incremental improvement[EB/OL].[2021-04-08].https://pjreddie.com/media/files/papers/YOLOv3.pdf.
[15] 张陶宁,陈恩庆,肖文福.一种改进MobileNet_YOLOv3网络的快速目标检测方法[J].小型微型计算机系统,2021,42(5):1008-1014.
ZHANG Taoning,CHEN Enqing,XIAO Wenfu.Fast target detection method for improving MobileNet_YOLOv3 network[J].Journal of Chinese Computer Systems,2021,42(5):1008-1014.
[16] LIN T Y,DOLLAR P,GIRSHICK R,et al.Feature pyramid networks for object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition,Honolulu,2017:936-944.
[17] TAN Mingxing,PANG Ruoming,LE Q V.EfficientDet:scalable and efficient object detection[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition,Seattle,2020:10781-10790.
[18] ZHENG Zhaohui,WANG Ping,LIU Wei,et al.Distance-IoU loss:faster and better learning for bounding box regression[C]//AAAI Conference on Artificial Intelligence,New York,2020:12993-13000.
[19] 冯媛,李敬兆.改进的卷积神经网络行人检测方法[J].计算机工程与设计,2020,41(5):1452-1457.
FENG Yuan,LI Jingzhao.Improved convolutional neural network pedestrian detection method[J].Computer Engineering and Design,2020,41(5):1452-1457.
