0 引言
在煤矿胶带运输煤流过程中，可能有钎子、锚杆、木条、矸石、铁块等异物掺杂在煤块中，易造成胶带损坏甚至撕裂，不仅加大生产成本，还会引发安全事故，因此实现胶带运输异物检测具有重要意义。传统的胶带运输异物检测方法主要有人工检测法、金属探测器检测法、雷达检测法等[1-2]。人工检测法效率较低，且在处理胶带上的异物时存在安全隐患。金属探测器检测法只能检测钎子、锚杆、钢板、铁块等金属异物，检测类型不全面。雷达检测法成本较高，难以推广应用。基于图像处理技术的胶带运输异物检测法通过摄像头采集胶带运输图像，实时检测胶带上是否存在异物，可检测种类多，且精度较高。目前基于图像处理的煤矿胶带运输异物检测大多采用Faster R-CNN(Region-based ConvolutionalNeural Network,候选区域卷积神经网络)算法，如郜振国[1]对视频采集进行防抖动处理后，采用Faster R-CNN算法对多摄像头采集的胶带运输图像进行异物检测；吕志强[3]采用中值滤波算法对井下图像进行去噪处理，采用自适应直方图均衡化算法进行图像增强，构建Faster R-CNN网络进行异物检测。Faster R-CNN算法检测精度较高，但检测速度较慢，无法满足煤矿胶带运输异物实时检测需求。
本文基于YOLOv3算法，对其先验框、边界框、损失函数等进行改进，设计了Fast_YOLOv3算法，并将其应用于煤矿胶带运输异物检测，通过实验及现场测试验证了Fast_YOLOv3算法对胶带运输异物检测的精度高、速度快，整体性能良好。
1 YOLO算法
基于深度学习的目标检测方法主要有2类：一类为two-stage算法，主要是基于Region Proposal的R-CNN系列算法，如R-CNN[4]，Fast R-CNN，Faster R-CNN[5]等，该类算法检测精度高，但检测速度慢；另一类为以YOLO，SSD(Single Shot Multibox Detector)为代表的one-stage算法，该类算法检测速度快，但检测精度较Faster R-CNN算法低。为满足煤矿胶带运输异物检测实时性要求，选用YOLO算法进行研究。
YOLOv1算法[6]利用多层卷积网络提取原始图像的全局信息，采用全连接层进行预测和回归，检测速度快，但存在输出数据尺寸固定、小目标检测效果不佳等问题。YOLOv2算法[7]从输入分辨率、网络结构、边界框训练方法等方面对YOLOv1算法进行改进，使得算法模型参数更易学习，模型更加稳定。YOLOv3算法[8]将YOLOv2算法的单标签分类改进为多标签分类，用多标签分类的逻辑回归层代替单标签分类的softmax层，使得算法可应用于复杂环境[9-12]；采用融合了YOLOv2和残差网络的结构对目标进行特征提取，其骨干网络由YOLOv2算法的DartNet19改进为DarkNet53，提高了目标检测性能。
虽然YOLOv3算法有较快的检测速度和较高的检测精度，但用于煤矿胶带运输异物检测时仍存在以下问题：对小目标检测效果不佳且容易出现漏检情况；易出现正负样本不均衡问题[13-14]。YOLOv4算法采用Mosaic数据增强方法和SAT(Self Adversarial Training，自对抗训练)方法，提高了目标检测精度，但对于小目标的检测能力较弱。YOLOv5算法采用Focus+CSPNet (Cross Stage Partial Network)，在YOLO算法中数据量最小、计算速度最快，但由于卷积网络最后一层压缩了特征图，导致小目标检测能力较YOLOv3算法弱。
2 胶带运输异物检测方法
综合考虑各YOLO算法的优缺点，选择对YOLOv3算法进行改进，设计了Fast_YOLOv3算法：改进先验框及边界框，以适应煤矿胶带运输小目标异物检测场景；针对小目标易漏检问题，设计反卷积网络，以提高算法对小目标的检测能力；针对YOLOv3算法多尺度检测易出现正负样本不均衡的问题，引入Focal Loss改进YOLOv3算法损失函数中负样本置信度的交叉熵，以提高算法检测精度。
基于Fast_YOLOv3算法的胶带运输异物检测流程如图1所示。由煤矿井下摄像头采集的胶带运输监控图像经数据增强等预处理后输入Fast_YOLOv3模型进行训练，之后采用训练好的模型对胶带运输异物进行实时检测。
图1 基于Fast_YOLOv3算法的胶带运输异物检测流程
Fig.1 Foreign object detection flow for belt transportation based on Fast_YOLOv3 algorithm
2.1 数据增强方法
为提高小目标检测精度，针对煤矿胶带运输图像设计了StiPic数据增强方法。该方法融合了Mixup，CutMix数据增强方法，随机将2张样本图像按比例混合，先裁剪掉一张图像的部分区域，再将另一张图像裁剪后填充至被裁剪区域，从而生成新的图像及其对应标签。
设XA，XB为2张不同的井下监控图像，YA，YB为其对应的标签。采用StiPic数据增强方法生成的新图像X及其标签Y为
X=2F⊙XA+(1-2F)⊙XB
(1)
Y=2λYA+(1-2λ)YB
(2)
式中：F为二进制掩码，用于标记被裁剪区域和保留区域，被裁剪区域置为0，保留区域置为1；⊙为逐像素相乘运算符；λ为加权系数。
在图像中以服从(W，H)(W，H分别为采集图像的宽度和高度)的均匀分布进行采样，获得裁剪框左上角位置坐标(x，y)，即x～Unif(0，W)，y～Unif(0，H)。根据加权系数λ得到裁剪框宽度w和高度h：
(3)
(4)
裁剪区域比例为wh/(WH)=1-λ。确定好裁剪区域边界后，将该区域的二进制掩码F置为0，其他区域的F置为1。之后将XA中的裁剪区域去除，将XB中的裁剪区域填充到XA中，生成新的训练样本。
本文随机选取4张胶带运输图像，采用StiPic数据增强方法，通过随机缩放、裁剪、排列方式拼接为1张图像，如图2所示，从而增加了胶带运输异物训练集数量特别是小目标异物训练集数量，且增加了异物检测样本的多样性，使得Fast_YOLOv3算法能够从1张图像的局部视图中识别出多个异物，提高了训练效率，增强了算法对井下小型异物的识别能力。
2.2 Fast_YOLOv3算法
2.2.1 先验框和边界框
煤矿胶带运输煤流过程中，除存在工字钢、锚杆等较大异物外，还有矸石、钎子等较小异物。为增强小目标异物检测能力，在YOLOv3算法原有的9种先验框基础上，针对小尺寸特征图，设置了3种先验框。以在COCO数据集上进行目标检测为例，增加(6×12)，(8×24)，(16×32)这3种尺寸的先验框。对于不同尺寸的特征图，均采用3种不同的先验框，具体见表1。
图2 数据增强
Fig.2 Data enhancement
表1 不同尺寸特征图对应的先验框
Table 1 Priori boxes suitable for different characteristic images
特征图尺寸13×1326×2652×5268×68感受野大中小微适用先验框(116,90),(156,198),(373,326)(30,61),(62,45),(59,119)(10,18),(16,32),(28,34)(6,12),(8,24),(16,32)
获得先验框后，在特征图上生成初始边界框。根据式(5)计算预测边界框。
(5)
式中：(xb，yb)为预测边界框的中心点坐标；σ(·)为sigmoid激活函数；Δxb,Δyb为预测边界框中心点偏移量；(xc,yc)为初始边界框在特征图上的中心点坐标；wb，hb分别为预测边界框的宽度和高度;wp,hp分别为初始边界框的宽度和高度；twb，thb分别为预测边界框的宽度和高度缩放比。
2.2.2 损失函数
YOLOv3算法输出13×13，26×26，52×52这3种尺寸的特征图，即同时输出10 647个边界框，其中只有少量的边界框包含待检测目标，特别是在有小目标的特征图中，10 647个边界框中包含待检测目标的比例更小。在模型训练过程中，输出的边界框大部分被标记为负样本，使得异物检测数据集中的负样本数量远大于正样本，负样本将掌握模型梯度更新方向，导致模型无法学习到有用的信息，降低了模型检测精度。针对该问题，引入Focal Loss改进YOLOv3算法损失函数中负样本置信度的交叉熵，以降低模型训练过程中负样本损失在模型总损失的占比，避免模型在训练过程中负样本主导梯度更新方向，提高模型检测精度。
YOLOv3算法损失函数中负样本置信度的交叉熵为
Lce=-dlog2 d′-(1-d)log2(1-d′)=
(6)
式中：d为真实值；d′为检测值。
对于异物检测数据集中的正样本来说，异物检测模型的检出率越高，则二元分类的交叉熵损失越小；对于负样本来说，异物检测模型的检出率越高，则二元分类的交叉熵损失越大。在模型训练时，如果异物检测数据集中的负样本数量远大于正样本，则检测精度较低。
采用Focal Loss对式(6)改进，所得损失函数中负样本置信度的交叉熵为
Lfl=-αd(1-d′)γlog2 d′-
(1-α)(1-d)d′γlog2(1-d′)=
(7)
式中：α为平衡因子，用于平衡正负样本的比例；γ为交叉熵调整因子。
当γ>0时，模型会减少对负样本置信度损失的计算；当γ<0时，模型会减少对正样本置信度损失的计算。通过引入γ，解决了模型训练过程中正负样本数量失衡问题。
2.2.3 反卷积网络
在煤矿胶带运输异物检测过程中，小目标异物易出现漏检情况。为了获得特征中更多的上下文信息，降低小目标异物漏检概率，对YOLOv3算法的上采样和卷积过程进行改进，得到如图3所示的反卷积网络结构。在卷积层添加批处理归一化层，并增加反卷积层改进双线性插值上采样过程，设定反卷积层的步长为2；添加大小为3×3的卷积层和批处理归一化层，采用金字塔特征图方式将经过反卷积处理的特征图与浅层特征图连接。
图3 反卷积网络结构
Fig.3 Deconvolution network structure
通过增加反卷积层改进YOLOv3算法的双线性插值上采样过程，可获得高分辨率的特征图，使模型在异物检测过程中保留更多的上下文信息，增强了远景图像中小目标的检测效果。
3 算法验证
3.1 实验验证
采用由多个摄像头(分辨率为1 920×1 080)采集的7 520张胶带运输图像为异物检测数据集，其中不含异物图像有3 540张，含异物图像有3 980张。为使异物检测模型具有更好的泛化能力，设置较多的异物种类，包括钎子、锚杆、铁块、矸石、木条、工字钢、塑料等。
取异物检测数据集中的6 016张图像为训练集，1 504张图像为测试集。对训练集和测试集进行数据增强等预处理，之后将增强训练集数据输入Fast_YOLOv3模型进行训练。采用训练好的模型对增强测试集进行异物检测实验，结果如图4所示。可看出Fast_YOLOv3算法能够准确检测出胶带上各种异物。
图4 胶带运输异物检测结果
Fig.4 Foreign object detection results of belt transportation
基于生成的增强数据集，分别采用SSD，Faster R-CNN，YOLOv2，YOLOv3，YOLOv5，Fast_YOLOv3算法进行胶带运输异物检测，结果如图5所示。可看出Fast_YOLOv3算法较其他算法能识别出更多异物。
图5 基于不同算法的异物检测结果
Fig.5 Foreign object detection results based on different algorithms
从测试集中随机选取200张包含钎子、铁块、矸石等小目标图像进行异物检测，结果见表2。可看出Fast_YOLOv3算法较其他算法对于小目标异物有更高的检出率。
表2 小目标异物检测结果
Table 2 Detection results of small target foreign object
算法检出图像/张未检出图像/张检出率/%SSD1792189.50Faster R-CNN1821891.00YOLOv21267463.00YOLOv31425871.00YOLOv51544689.45Fast_YOLOv31871393.50
采用平均检测精度、平均检测时间、召回率指标评价不同异物检测算法的性能，结果见表3。可看出Fast_YOLOv3算法的平均检测精度为90.12%，较SSD，Faster R-CNN，YOLOv2，YOLOv3，YOLOv5算法分别提高1.76%，-2.77%，15.91%，5.44%，3.44%；平均检测时间为35 ms，较其他5种算法分别减少76.20%，90.33%，27.08%，33.96%，14.63%；召回率为93.86%，较其他5种算法分别提高2.72%，0.58%，9.21%，6.63%，4.41%。可见Fast_YOLOv3算法在异物检测准确性和速度方面具有较大优势。
表3 异物检测算法性能比较
Table 3 Performance comparison of foreign object detection algorithms
算法平均检测精度/%平均检测时间/ms召回率/%SSD88.3614791.14Faster R-CNN92.8936293.28YOLOv274.214884.65YOLOv384.685387.23YOLOv586.424189.45Fast_YOLOv390.123593.86
3.2 现场测试
在陕西正通煤业有限责任公司高家堡煤矿对采煤工作面西翼主运胶带运输进行异物检测。采用摄像头采集多点图像，经井下千兆环网传送至地面监控中心。监控中心主工作站对数据进行处理后，运行异物检测程序，并将检测结果返回监控界面。异物检测程序采用Python语言在Pytorch框架下编写，采用C#.Net设计监控界面。程序运行环境为Inter(R) Core i7-8750H处理器，16 GB内存，Windows10系统。
异物检测监控界面如图6所示。可看出Fast_YOLOv3算法能够较准确地检测出矸石、塑料、锚杆等异物，检测速度快，漏检率较低，小目标检测效果较好，异物类型及数量可实时显示在监控界面。
(a) 锚杆检测
(b) 杂物检测
图6 胶带运输异物检测监控界面
Fig.6 Monitoring interface of foreign object detection in belt transportation
4 结论
(1) 为满足煤矿井下胶带运输异物实时、精确检测需求，基于YOLOv3算法，通过改进先验框、边界框、损失函数，增加反卷积网络等方法，设计了Fast_YOLOv3算法。
(2) 为提高Fast_YOLOv3算法的检测精度，提出了StiPic数据增强方法，通过对采集图像进行随机缩放、裁剪、排列，将4张图像拼接为1张图像，增加了训练样本的数量及多样性，提高了模型训练效率及对小目标的识别能力。
(3) 对Fast_YOLOv3算法的异物检测效果进行了实验及现场测试，结果表明，该算法对于胶带运输异物的平均检测精度达90.12%，平均检测时间为35 ms，对小目标异物的检出率达93.50%，满足胶带运输现场对异物检测精度和实时性的要求。
[1] 郜振国.煤矿井下运输异物检测关键技术研究[D].徐州:中国矿业大学,2018.
GAO Zhenguo.Study on key technologies of foreign object detection in the coal mine transportation[D].Xuzhou:China University of Mining and Technology,2018.
[2] 姚富光.智能高速在线异物识别分拣关键技术研究[D].重庆:重庆大学,2009.
YAO Fuguang.Key technologies research on intelligent high-speed on-line foreign material recognition and sorting[D].Chongqing:Chongqing University,2009.
[3] 吕志强.复杂环境下煤矿皮带运输异物图像识别研究[D].徐州:中国矿业大学,2020.
LYU Zhiqiang.Research on image recognition of foreign bodies in the process of coal mine belt transportation in complex environment[D].Xuzhou:China University of Mining and Technology,2020.
[4] GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition,Columbus,2014:580-587.
[5] REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.
[6] REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,real-time object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,2015:779-788.
[7] REDMON J,FARHADI A.YOLO9000:better,faster,stronger[C]//IEEE Conference on Computer Vision and Pattern Recognition,Honolulu,2017:7263-7271.
[8] REDMON J,FARHADI A.YOLOv3:an incremental improvement[C]//IEEE Conference on Computer Vision and Pattern Recognition,Salt Lake,2018:1804-1808.
[9] 马巧梅,王明俊,梁昊然.复杂场景下基于改进YOLOv3的车牌定位检测算法[J].计算机工程与应用,2021,57(7):198-208.
MA Qiaomei,WANG Mingjun,LIANG Haoran.License plate location detection algorithm based on improved YOLOv3 in complex scenes[J].Computer Engineering and Applications,2021,57(7):198-208.
[10] 卢官有,顾正弘.改进的YOLOv3安检包裹中危险品检测算法[J].计算机应用与软件,2021,38(1):197-204.
LU Guanyou,GU Zhenghong.A dangerous goods detection algorithm based on improved YOLOv3[J].Computer Applications and Software,2021,38(1):197-204.
[11] 阮祥伟,李华,余烨.基于改进YOLOv3的快速车标检测方法[J].合肥工业大学学报(自然科学版),2020,43(12):1608-1613.
RUAN Xiangwei,LI Hua,YU Ye.A fast vehicle logo detection method based on improved YOLOv3[J].Journal of Hefei University of Technology(Natural Science),2020,43(12):1608-1613.
[12] 许腾,唐贵进,刘清萍,等.基于空洞卷积和Focal Loss的改进YOLOv3算法[J].南京邮电大学学报(自然科学版),2020,40(6):100-108.
XU Teng,TANG Guijin,LIU Qingping,et al.Improved YOLOv3 based on dilated convolution and Focal Loss[J].Journal of Nanjing University of Posts and Telecommunications(Natural Science Edition),2020,40(6):100-108.
[13] 徐志强,吕子奇,王卫东,等.煤矸智能分选的机器视觉识别方法与优化[J].煤炭学报,2020,45(6):2207-2216.
XU Zhiqiang,LYU Ziqi,WANG Weidong,et al.Machine vision recognition method and optimization for intelligent separation of coal and gangue[J].Journal of China Coal Society,2020,45(6):2207-2216.
[14] 吴守鹏.基于机器视觉的运煤皮带异物识别方法研究[D].徐州:中国矿业大学,2019.
WU Shoupeng.Research on detection method of foreign object on coal conveyor belt based on computer vision[D].Xuzhou:China University of Mining and Technology,2019.
