井下矿工多目标检测与跟踪联合算法

周孟然, 李学松, 朱梓伟, 黄凯文

周孟然,李学松,朱梓伟,等. 井下矿工多目标检测与跟踪联合算法[J]. 工矿自动化,2022,48(10):40-47. DOI: 10.13272/j.issn.1671-251x.2022060040
引用本文: 周孟然,李学松,朱梓伟,等. 井下矿工多目标检测与跟踪联合算法[J]. 工矿自动化,2022,48(10):40-47. DOI: 10.13272/j.issn.1671-251x.2022060040
ZHOU Mengran, LI Xuesong, ZHU Ziwei, et al. A joint algorithm of multi-target detection and tracking for underground miners[J]. Journal of Mine Automation,2022,48(10):40-47. DOI: 10.13272/j.issn.1671-251x.2022060040
Citation: ZHOU Mengran, LI Xuesong, ZHU Ziwei, et al. A joint algorithm of multi-target detection and tracking for underground miners[J]. Journal of Mine Automation,2022,48(10):40-47. DOI: 10.13272/j.issn.1671-251x.2022060040

井下矿工多目标检测与跟踪联合算法

基金项目: 国家重点研发计划项目(2018YFC0604503);安徽省自然科学基金资助项目(2008085UD06)。
详细信息
    作者简介:

    周孟然(1965—),男,安徽淮南人, 教授,博士,博士研究生导师,研究方向为矿山机电系统监测、光电信息处理、煤矿安全监测监控,E-mail:mrzhou8521@163.com

  • 中图分类号: TD67

A joint algorithm of multi-target detection and tracking for underground miners

  • 摘要: 针对现有的煤矿井下矿工多目标跟踪算法检测速度慢、识别精度低等问题,提出了一种基于改进YOLOv5s模型与改进Deep SORT算法的多目标检测与跟踪联合算法。多目标检测部分,在YOLOv5s的基础上进行改进,得到YOLOv5s−GAD模型:引入幻象瓶颈卷积(GhostConv)模块和深度可分离卷积(DWConv)模块,分别替换YOLOv5s模型骨干网络和路径聚合网络中的BottleneckCSP模块,以提高特征提取速度;针对井下光线暗、图像噪点多等特点,在最小特征图中引入高效通道注意力神经网络(ECA−Net)模块,以提高模型整体精度。多目标跟踪部分,使用全尺度网络(OSNet)替换Deep SORT中的浅层残差网络进行全方位特征学习,以更好地实现行人重识别,提高目标跟踪的准确性。实验结果表明:在自定义数据集Miner21上,YOLOv5s−GAD模型的平均精度(交并比为0.5时)达97.8%,帧率达140.2 帧/s,多目标检测效果优于常用的Faster RCNN,YOLOv3,YOLOv5s模型;在公开行人数据集MOT17上,多目标检测与跟踪联合算法的速度与准确率等综合性能优于IOU17,Deep SORT等常用多目标跟踪算法,人员身份转换次数最少,行人重识别效果最好;采用井下矿工多目标检测与跟踪联合算法能够及时检测并跟踪井下矿工,多目标跟踪效果良好。
    Abstract: The existing multi-target tracking algorithms for underground miners has the problems of slow detection speed and low recognition precision. In order to solve the above problems, a joint algorithm of multi-target detection and tracking algorithm based on the improved YOLOv5s model and the improved Deep SORT algorithm is proposed. In the part of multi-target detection, the YOLOv5s-GAD model is obtained by improving YOLOv5s model. The GhostConv module and the depthwise separable convolution (DWConv) module are introduced to replace the BottleneckCSP module in the YOLOv5s model backbone network and path aggregation network respectively. Therefore, the feature extraction speed is improved. Considering the characteristics of dark underground light and many noisy images, the efficient channel attention neural network (ECA-Net) module is introduced into the minimum feature map to improve the model's overall precision. In the part of multi-target tracking, the omni-scale network (OSNet) is used to replace the shallow residual network in Deep SORT to carry out omni-directional feature learning. Therefore, pedestrian re-identification and target tracking precision are improved. The experimental result shows that on the custom dataset Miner21, the YOLOv5s-GAD model average preciscom (when the intersection of union ratio is 0.5) reaches 97.8%, and the frame rate reaches 140.2 frames/s. The multi-target detection effect is better than the commonly used Faster RCNN, YOLOv3 and YOLOv5s models. On the public miners dataset MOT17, the speed and accuracy of the multi-target detection and tracking joint algorithm are better than those of IOU17, Deep SORT and other common multi-target tracking algorithms. The proposed model has the least number of personnel identity conversions and the best miner re-recognition effect. The joint algorithm of multi-target detection and tracking for underground miners can detect and track underground miners in time, and the multi-target tracking effect is good.
  • 目前我国煤矿大多采用井工开采[1],需要挖掘大量巷道,为了保持巷道围岩的稳定性,防止冒顶和片帮事故的发生,需要对这些巷道进行支护[2]。现有掘进巷道支护包括锚杆支护、锚索支护、锚喷支护等,其中,锚杆支护的支护效果较好[3]。煤矿井下常用锚杆钻机进行锚杆支护作业,但随着井下掘进工作面“少人则安,无人更安”[4-5]概念的提出,普通的锚杆钻机已不能满足锚护智能化需求,因此,对锚杆钻机进行智能化改造研究迫在眉睫。

    许多学者对锚杆钻机机械结构[6-9]和锚杆钻机自动化控制[10-11]进行了研究,虽然优化机械结构、对锚杆钻机进行远程控制改造可提高工作效率、实现工作面少人化,但只实现了锚杆钻机初步智能化,钻锚位置的确定仍需人工完成,无法实现钻锚作业全自动化。钻锚位置(即利用钻杆打孔并拧入锚杆的位置)的自动识别与定位是提高锚杆钻机智能化程度的关键技术。顶板条件不同时,钻锚位置有所不同,在顶板条件较差的巷道需要使用钢带辅助锚杆进行支护,此时钻锚位置的确定就是对支护钢带上锚孔的准确识别与定位,若定位不准,钻头打在钢带或锚网上容易造成设备损坏,严重时会造成安全事故,所以对支护钢带上锚孔的精准识别与定位非常重要。

    针对上述问题,本文提出了一种基于改进YOLOv5s模型的煤矿巷道支护钢带锚孔智能识别与定位方法,采用改进YOLOv5s模型的目标检测方法识别煤矿井下锚孔,结合双目摄像头获得锚孔相对于相机的三维坐标。首先通过超分辨率重构(Super Resolution,SR)技术对锚孔图像进行重构,提升图像分辨率。然后,在YOLOv5s的Backbone区域嵌入坐标注意力(Coordinate Attention,CA)模块,再利用嵌入CA模块的YOLOv5s网络训练重构后的锚孔数据集,得到改进后的YOLOv5s模型,将改进后的模型应用于支护钢带锚孔识别。最后,利用改进后的YOLOv5s模型结合双目摄像头对锚孔进行实时识别与定位。

    锚孔智能识别与定位流程如图1所示。首先,通过网络公开的DIV2K数据集训练用于图像SR的生成对抗网络(Super Resolution Generative Adversarial Network,SRGAN)[12],得到SRGAN模型,将原始锚孔数据集输入SRGAN模型对锚孔图像进行SR。然后,在YOLOv5s模型的Backbone区域中加入CA模块,得到CA−YOLOv5s模型,利用重构后的锚孔数据集训练CA−YOLOv5s模型得到SR−CA−YOLOv5s模型。最后,在实验室模拟巷道中,利用SR−CA−YOLOv5s模型对钢带锚孔图像进行识别,利用双目摄像头获取锚孔中心到摄像头的深度值,通过坐标转换公式得到锚孔相对于摄像头的三维坐标。

    图  1  锚孔智能识别与定位流程
    Figure  1.  Process of intelligent identification and positioning of anchor hole

    图像SR是将低分辨率(Low-Resolution, LR)图像恢复成高分辨率(High-Resolution,HR)图像的过程[13]

    由于井下掘进巷道中有粉尘和水雾等,会造成锚孔图像质量、分辨率不高,因此引入SR技术提升锚孔图像清晰度,防止因图像模糊而丢失图像中锚孔边缘高频信息。SRGAN模型由生成器模型和判别器模型组成。生成器模型主要用来进行特征提取,并将输入的LR图像输出为HR图像;判别器模型用来判断高清图像是不是生成器创造出来的[14]

    利用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity Index,SSIM)和单张图像重构时间评价SRGAN模型重构效果,测试结果见表1,当30<RNSR<40时,说明图像质量较好,SSIM的取值为[0,1],值越大说明图像失真程度越小。从表1可看出,SRGAN模型有很好的重构效果,能够有效提高锚孔图像分辨率且避免锚孔图像因SR而失真。

    表  1  测试结果
    Table  1.  Test results
    指标数值
    PSNR30.912
    SSIM0.860
    单张图像重构时间/ms533
    下载: 导出CSV 
    | 显示表格

    由于锚孔较小且摄像头距锚孔有一定距离,导致锚孔在图像中所占像素少,且锚孔图像易受复杂环境等因素影响,在卷积神经网络中易出现较小锚孔的特征信息丢失现象,影响锚孔检测效果。CA模块是将目标位置信息加入通道注意力中使卷积神经网络可以在更大区域上关注目标特征。CA模块在全局池化时分别沿水平方向和竖直方向的坐标对每个通道进行特征编码操作,这有助于网络更加准确定位被检测目标。为此引入CA模块,将其加入YOLOv5s模型Backbone区域的CSP模块的后面,增加YOLOv5s网络中特征提取网络的网络层数,将目标物体的坐标信息融入到卷积网络中,可有效提取锚孔小目标特征信息,从而提高锚孔检测成功率。

    本文实验训练模型使用的硬件环境为Intel(R) Xeon(R) Silver 4210R CPU@2.04GHz处理器,显卡为Tesla v100-PCIE。软件环境为Ubuntu 18.04LTS操作系统下Pytorch1.8.0深度学习框架和CUDA10.2并行计算架构。采用随机梯度下降(Stochastic Gradient Descent,SGD)作为优化器来优化网络参数,设SGD值为0.01,动量因子为0.937,优化器权重衰减为0.000 5,批尺寸为32,迭代次数为300。

    为增加实验结论的可靠性,搭建模拟巷道,模仿煤矿井下复杂、照度低的环境,选用白色环形光源进行实验环境的光照补充。为提高模型泛化能力,避免网络过拟合,通过旋转、随机裁剪、阈值化等图像处理方法对在模拟巷道中采集的1 600张锚孔图像进行数据增强,扩充数据集,扩充后数据集图像共3 200张。采用SRGAN模型对自制的锚孔数据集进行SR,使用labelImg对重构后的数据集进行标注,按8∶2划分训练集和测试集。

    采用精确率、召回率和平均精度均值(mean Average Precision,mAP)作为模型精度的评价指标,衡量模型的检测能力和实际应用能力,YOLOv5s模型与本文提出的模型对比见表2。其中精确率是用来反映模型分类能力的指标,召回率是用来反映模型对目标的检测能力,mAP是评价网络检测精度的常用指标,能更准确反映网络的检测效果。

    表  2  YOLOv5s模型与SR−CA−YOLOv5s模型对比结果
    Table  2.  Comparison results of the YOLOv5s model and the SR-CA-YOLOv5s model %
    模型准确率召回率mAP
    YOLOv5s93.992.893.7
    SR−CA−YOLOv5s96.697.096.8
    下载: 导出CSV 
    | 显示表格
    $$ P = \frac{{{N_{{\text{Tp}}}}}}{{{N_{{\text{Tp}}}} + {N_{{\text{Fp}}}}}} $$ (1)
    $$ R = \frac{{{N_{{\text{Tp}}}}}}{{{N_{{\text{Tp}}}} + {N_{{\text{FN}}}}}} $$ (2)
    $$ M = \frac{\displaystyle\sum Q }{n} $$ (3)

    式中:P为精确率;NTp为正确识别到锚孔的数量;NFp为将其他物体识别为锚孔的数量;R为召回率;NFN为未成功识别到锚孔的数量;M为平均精度均值;Q为各分类的平均精度;n为目标分类数。

    表2可看出,SR−CA−YOLOv5s模型的精确率、召回率、mAP分别为96.6%,97.0%,96.8%,与YOLOv5s模型相比,精确率、召回率、mAP分别提高了2.7%,4.2%,3.1%。

    为验证本文改进YOLOv5s模型的检测效果,在YOLOv5s模型基础上进行不同改进来进行消融实验,结果见表3,其中FPS为每秒填充图像的帧数。 可看出SR−YOLOv5s模型的mAP较YOLOv5s模型提高了0.8%,但是FPS降低了66.2帧/s,说明锚孔图像经过SR之后能变得清晰,使锚孔特征明显,且锚孔在图像中的像素占比变大,模型训练时能提取到更多的锚孔特征,从而提高检测精度,但是检测速度有轻微下降;CA−YOLOv5s模型的mAP较YOLOv5s模型提高了1.8%,但是FPS降低了15.7帧/s,说明在YOLOv5s的Backbone区域添加CA机制后,模型训练时更加关注目标特征,减少了特征提取网络卷积操作时目标特征的丢失,从而提升了模型训练效果;SR−CA−YOLOv5s模型的mAP较YOLOv5s模型提高了3.1%,尽管FPS降低了18.5帧/s,但是FPS依然达166.7帧/s,说明利用添加CA模块的YOLOv5s网络训练经过SR后的数据集能在不影响检测实时性前提下进一步提升了检测精度。

    表  3  消融实验结果
    Table  3.  Results of the ablation test
    模型SR加入CA机制mAP/%FPS/(帧·s−1)
    YOLOv5s××93.7185.2
    SR−YOLOv5s×94.5119.0
    CA−YOLOv5s×95.5169.5
    SR−CA−YOLOv5s96.8166.7
    下载: 导出CSV 
    | 显示表格

    为验证SR−CA−YOLOv5s模型的检测效果,利用YOLOv5s和SR−CA−YOLOv5s模型对部分锚孔图像进行对比检测实验,结果如图2所示。可看出YOLOv5s模型没有成功检测出锚孔,而SR−CA−YOLOv5s模型能成功检测出锚孔,这是因为在YOLOv5s网络中融入SR和CA模块增强了目标物体在图像中所占的像素比,提高了图像清晰度,且增大了模型训练时对锚孔特征的关注度,在一定程度上可避免由于图像模糊而出现漏检的问题。

    图  2  各模型检测结果对比
    Figure  2.  Comparison of test results of each model

    为验证SR−CA−YOLOv5s模型的实际应用效果,将其部署到NVIDIA Jetson Xavier NX边缘计算设备上进行验证。将训练的SR−CA−YOLOv5s模型部署到平台后,将其放入锚杆钻机控制箱,结合双目摄像头对钢带锚孔进行识别与定位。由于锚孔处于巷道顶端的钢带上,锚孔目标较小且位置特殊,另外由于锚杆钻机机械臂运动时锚杆钻机机身固定不动,采用Eye−in−Hand的手眼构型方式将摄像头和光源固定在锚杆钻机机械臂上。为了模仿煤矿井下真实环境,在模拟巷道中喷洒水雾,测试在不同光照条件下利用双目摄像头检测锚孔的实际情况,实验硬件部署如图3所示。

    图  3  实验装配
    Figure  3.  Experimental assembly

    首先利用C#在WPF框架下制作锚杆钻机远程控制界面,利用界面远程控制锚杆钻机机械臂运动到锚孔附近,即对机械臂进行粗定位。当支护钢带上的锚孔出现在摄像头视场内时,利用SR−CA−YOLOv5s模型对锚孔进行智能识别,当成功检测出锚孔后,利用双目摄像头获取锚孔中心到摄像头的深度值,然后通过坐标转换得出锚孔相对摄像头的三维坐标,测试结果见表4。可看出SR−CA−YOLOv5s模型能够在不同光照条件下准确检测出锚孔并获得锚孔相对于摄像头的三维坐标,坐标误差在6 mm以内,且检测FPS满足实时性要求。

    表  4  锚孔识别与定位结果
    Table  4.  Anchor hole identification and positioning results
    序号实际坐标/mm检测坐标/mm误差/mmFPS/(帧·s−1)
    1(225,36,542)(221,34,538)(4,2,4)30.1
    2(518,−10,1012)(519,−13,1015)(1,3,3)28.5
    3(−355,237,680)(−350,236,675)(5,1,5)28.7
    4(−247,−106,735)(−251,−108,741)(4,2,6)29.8
    5(−112,209,1021)(−109,206,1020)(3,3,1)28.1
    下载: 导出CSV 
    | 显示表格

    (1) 在YOLOv5s模型的Backbone区域加入CA模块,解决了小目标在卷积时特征丢失导致特征提取不充分的问题,再结合图像SR技术提高复杂环境下对于锚孔小目标的检测精度。

    (2) 相较于YOLOv5s模型,改进YOLOv5s模型mAP提高了3.1%,有更好的检测能力,在一定程度上避免了漏检,虽然FPS降低了18.5帧/s,但FPS仍保持在166.7帧/s,并不影响模型的实时检测功能。

    (3) 将改进YOLOv5s模型部署到边缘计算设备后能够准确识别出锚孔且获得锚孔相对于相机的三维坐标,且平均检测帧率满足实时检测要求。

  • 图  1   井下矿工多目标检测与跟踪联合算法流程

    Figure  1.   Flow of joint algorithm of multi-target detection and tracking for underground miners

    图  2   YOLOv5s−GAD模型

    Figure  2.   YOLOv5s-GAD model

    图  3   标准卷积过程

    Figure  3.   Standard convolution process

    图  4   DWConv过程

    Figure  4.   Depthwise separable convolution process

    图  5   OSNet结构

    Figure  5.   Omni-scale network structure

    图  6   数据集图像

    Figure  6.   Dataset image

    图  7   各模型训练过程

    Figure  7.   Training process of each model

    图  8   各种目标检测模型效果对比

    Figure  8.   Comparison of effects of various target detection models

    图  9   井下矿工多目标检测与跟踪结果

    Figure  9.   Multi-target detection and tracking results of underground miners

    表  1   不同模型消融实验结果

    Table  1   Ablation experiment results of different models

    模型图像尺
    寸/像素
    参数量/
    106
    计算量/
    byte
    AP/%帧率/
    (帧·s−1)
    基准网络640×6407.216.596.656.3
    加入 GhostConv640×6405.59.695.998.6
    加入 GhostConv, DWConv640×6400.73.594.5165.1
    加入 ECA−Net640×6407.818.298.247.2
    加入GhostConv,
    DWConv , ECA−Net
    640×6401.24.297.8140.2
    下载: 导出CSV

    表  2   目标检测模型实验结果

    Table  2   Experimental results of target detection models

    模型图像尺
    寸/像素
    参数量/
    106
    计算量/
    byte
    AP/%帧率/
    (帧·s−1)
    Faster RCNN600×60084.0200.098.38.4
    YOLOv3640×64032.079.672.920.4
    YOLOv5s640×6407.216.596.656.3
    YOLOv5s−GAD640×6401.24.297.8140.2
    下载: 导出CSV

    表  3   多目标检测与跟踪联合算法实验结果

    Table  3   Experimental results of joint algorithms of multi-target detection and tracking

    算法A/%R/%IT/%L/%帧率/(帧·s−1)
    IOU1745.539.45 98815.740.5147.8
    MOTDT1750.952.72 47417.535.720.6
    Deep SORT60.361.22 44231.520.320.0
    FairMOT73.772.33 30343.217.325.9
    本文算法55.254.21 52320.035.588.0
    下载: 导出CSV
  • [1] 张立亚. 基于动目标特征提取的矿井目标监测[J]. 煤炭学报,2017,42(增刊2):603-610. DOI: 10.13225/j.cnki.jccs.2017.1333

    ZHANG Liya. Mine target monitoring based on feature extraction of moving target[J]. Journal of China Coal Society,2017,42(S2):603-610. DOI: 10.13225/j.cnki.jccs.2017.1333

    [2] 刘艺,李蒙蒙,郑奇斌,等. 视频目标跟踪算法综述[J]. 计算机科学与探索,2022,16(7):1504-1515. DOI: 10.3778/j.issn.1673-9418.2111105

    LIU Yi,LI Mengmeng,ZHENG Qibin,et al. Survey on video object tracking algorithms[J]. Journal of Frontiers of Computer Science and Technology,2022,16(7):1504-1515. DOI: 10.3778/j.issn.1673-9418.2111105

    [3]

    CIAPARRONE G,SANCHEZ F L,TABIK S,et al. Deep learning in video multi-object tracking:a survey[J]. Neurocomputing,2020,381:61-88. DOI: 10.1016/j.neucom.2019.11.023

    [4]

    JIANG Daihong,DAI Lei,LI Dan,et al. Moving-object tracking algorithm based on PCA-SIFT and optimization for underground coal mines[J]. IEEE Access,2019,7:35556-35563. DOI: 10.1109/ACCESS.2019.2899362

    [5] 孔丽丽,易春求. 矿用智能安全头盔的设计[J]. 中国矿业,2020,29(12):95-98,115.

    KONG Lili,YI Chunqiu. Design of mine intelligent safety helmet[J]. China Mining Magazine,2020,29(12):95-98,115.

    [6] 郭曦,谢炜,朱红秀,等. 井下目标跟踪与测距方法研究[J]. 煤炭工程,2019,51(3):117-121.

    GUO Xi,XIE Wei,ZHU Hongxiu,et al. Target tracking and ranging method in underground mine[J]. Coal Engineering,2019,51(3):117-121.

    [7]

    REN Shaoqing,HE Kaiming,GIRSHICK R,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149. DOI: 10.1109/TPAMI.2016.2577031

    [8] 王琳,卫晨,李伟山,等. 结合金字塔池化模块的YOLOv2的井下行人检测[J]. 计算机工程与应用,2019,55(3):133-139. DOI: 10.3778/j.issn.1002-8331.1710-0236

    WANG Lin,WEI Chen,LI Weishan,et al. Pedestrian detection based on YOLOv2 with pyramid pooling module in underground coal mine[J]. Computer Engineering and Applications,2019,55(3):133-139. DOI: 10.3778/j.issn.1002-8331.1710-0236

    [9]

    REDMON J, FARHADI A. Yolov3: an incremental improvement[EB/OL]. [2022-05-10]. https://arxiv.org/abs/1804.02767.

    [10]

    BOCHKOVSKIY A, WANG C Y, LIAO H Y M. Yolov4: optimal speed and accuracy of object detection[EB/OL]. [2022-05-10]. https://arxiv.org/abs/2004.10934.

    [11]

    REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, 2016: 779-788.

    [12]

    BEWLEY A, GE Z, OTT L, et al. Simple online and real-time tracking[C]. IEEE International Conference on Image Processing, Phoenix, 2016: 3464-3468.

    [13]

    WOJKE N, BEWLEY A, PAULUS D. Simple online and real-time tracking with a deep association metric[C]. IEEE International Conference on Image Processing, Beijing, 2017: 3645-3649.

    [14]

    ZHOU Kaiyang, YANG Yongxin, CAVALLARO A, et al. Omni-scale feature learning for person re-identification[EB/OL]. [2022-05-10]. https://arxiv.org/abs/1905.00953.

    [15] 孙彦景,魏力,张年龙,等. 联合DD−GAN和全局特征的井下人员重识别方法[J]. 西安电子科技大学学报,2021,48(5):201-211. DOI: 10.19665/j.issn1001-2400.2021.05.023

    SUN Yanjing,WEI Li,ZHANG Nianlong,et al. Person re-identification method combining the DD-GAN and global feature in a coal mine[J]. Journal of Xidian University,2021,48(5):201-211. DOI: 10.19665/j.issn1001-2400.2021.05.023

    [16]

    HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916. DOI: 10.1109/TPAMI.2015.2389824

    [17]

    LIU Shu, QI Lu, QIN Haifang, et al. Path aggregation network for instance segmentation[EB/OL]. [2022-05-10]. https://arxiv.org/abs/1803.01534.

    [18]

    HAN Kai, WANG Yunhe, TIAN Qi, et al. Ghostnet: more features from cheap operations[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, 2020: 1580-1589.

    [19]

    HOWARD A G, ZHU Menglong, CHEN Bo, et al. Mobilenets: efficient convolutional neural networks for mobile vision applications[EB/OL]. [2022-05-10]. https://arxiv.org/abs/1704.04861.

    [20]

    GUO Menghao,XU Tianxing,LIU Jiangjiang,et al. Attention mechanisms in computer vision:a survey[J]. Computational Visual Media,2022(3):331-368.

    [21]

    CHAUDHAN S,MITHAL V,POLATKAN G,et al. An attentive survey of attention models[J]. ACM Transactions on Intelligent Systems and Technology,2021,12(5):1-32.

    [22] 张宸嘉,朱磊,俞璐. 卷积神经网络中的注意力机制综述[J]. 计算机工程与应用,2021,57(20):64-72.

    ZHANG Chenjia,ZHU Lei,YU Lu. Review of attention mechanism in convolutional neural networks[J]. Computer Engineering and Applications,2021,57(20):64-72.

    [23]

    WANG Qilong, WU Banggu, ZHU Pengfei, et al. ECA-Net: efficient channel attention for deep convolutional neural networks[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, 2020: 11531-11539.

    [24] 陈翰林. 基于YOLO v4−tiny的煤矿职工井下违章行为识别的研究[D]. 淮南: 安徽理工大学, 2021.

    CHEN Hanlin. Identification of underground violation behavior of coal mine workers based on YOLO v4-tiny[D]. Huainan: Anhui University of Science and Technology, 2021.

    [25]

    BOVHINSKI E, EISELEIN V, SIKORA T. High-speed tracking-by-detection without using image information[C]. 14th IEEE International Conference on Advanced Video and Signal Based Surveillance, Lecce, 2017: 1-6.

    [26]

    CHEN Long, AI Haizhou, ZHUANG Zijie, et al. Real-time multiple people tracking with deeply learned candidate selection and person re-identification[C]. IEEE International Conference on Multimedia and Expo, San Diego, 2018: 1-6.

    [27]

    ZHANG Yifu,WANG Chunyu,WANG Xinggang,et al. Fairmot:on the fairness of detection and re-identification in multiple object tracking[J]. International Journal of Computer Vision,2021,129(11):3069-3087. DOI: 10.1007/s11263-021-01513-4

    [28]

    BERNARDIN K, STIEFELHAGEN R. Evaluating multiple object tracking performance: the clear mot metrics[J]. EURASIP Journal on Image and Video Processing, 2008. DOI: 10.1155/2008/246309.

  • 期刊类型引用(6)

    1. 杨焜,王宏伟,张夫净,李进,张之好,李正龙. 多尺度复杂环境下的锚孔定位方法. 矿业研究与开发. 2025(01): 126-134 . 百度学术
    2. 王宏伟,李进,闫志蕊,郭军军,张夫净,李超. 基于图像与点云融合的巷道锚护孔位识别定位方法. 煤炭科学技术. 2024(05): 249-261 . 百度学术
    3. 陈万辉,郭瑞,韩伟,宋永明,梁燕翔,刘耀,王佳明,许娜,孟波. 煤矿巷道支护方案智能设计研究. 工矿自动化. 2024(08): 76-83+90 . 本站查看
    4. 张东宝. 钻锚机器人定位性能试验台设计与研究. 煤矿机械. 2024(12): 7-9 . 百度学术
    5. 付翔,秦一凡,李浩杰,牛鹏昊. 新一代智能煤矿人工智能赋能技术研究综述. 工矿自动化. 2023(09): 122-131+139 . 本站查看
    6. 刘瑞. 巷道掘进支护技术在煤矿工程中的应用研究. 内蒙古煤炭经济. 2023(18): 145-147 . 百度学术

    其他类型引用(3)

图(9)  /  表(3)
计量
  • 文章访问数:  373
  • HTML全文浏览量:  58
  • PDF下载量:  54
  • 被引次数: 9
出版历程
  • 收稿日期:  2022-06-12
  • 修回日期:  2022-09-23
  • 网络出版日期:  2022-08-11
  • 刊出日期:  2022-10-25

目录

/

返回文章
返回