基于云边协同的煤矿井下尺度自适应目标跟踪方法

牟琦, 韩嘉嘉, 张寒, 李占利

牟琦，韩嘉嘉，张寒，等. 基于云边协同的煤矿井下尺度自适应目标跟踪方法[J]. 工矿自动化，2023，49(4)：50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
引用本文: 牟琦，韩嘉嘉，张寒，等. 基于云边协同的煤矿井下尺度自适应目标跟踪方法[J]. 工矿自动化，2023，49(4)：50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
shu
MU Qi, HAN Jiajia, ZHANG Han, et al. A scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration[J]. Journal of Mine Automation，2023，49(4)：50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
Citation: MU Qi, HAN Jiajia, ZHANG Han, et al. A scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration[J]. Journal of Mine Automation，2023，49(4)：50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
shu

基于云边协同的煤矿井下尺度自适应目标跟踪方法

  • 1.

    西安科技大学 计算机科学与技术学院, 陕西 西安　710054

  • 2.

    西安科技大学 机械工程学院, 陕西 西安　710054

基金项目: 国家重点研发计划资助项目（2019YFB1405000）。
详细信息
    作者简介:

    牟琦(1974—)，女，陕西西安人，副教授，研究方向为计算机视觉和图像处理、人工智能，E-mail：muqi@xust.edu.cn

    通讯作者:

    李占利(1964—)，男，陕西西安人，教授，研究方向为图像处理、视觉计算与可视化，E-mail：lizl@xust.edu.cn。

  • 中图分类号: TD76

A scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration

  • 1.

    College of Computer Science and Technology, Xi'an University of Science and Technology, Xi'an 710054, China

  • 2.

    College of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China

HTML全文

    摘要
  • 摘要: 煤矿井下监控视频中的运动目标通常存在较大的尺度变化和形变，导致基于计算机视觉的目标跟踪算法准确率不高，且海量的视频数据导致基于云端的集中式数据处理方式难以满足目标跟踪的实时性要求。针对上述问题，提出了一种基于云边协同的煤矿井下尺度自适应目标跟踪方法。设计了基于深度估计的尺度自适应目标跟踪算法，通过构建深度−尺度估计模型，利用目标深度值估计尺度值，实现尺度自适应目标跟踪，解决了目标尺度变化和形变导致跟踪准确率不高的问题；设计了一种基于云边协同的智能监控系统架构，将尺度自适应目标跟踪算法细粒度划分后的子模块按所需计算资源分别部署在系统的边缘端和云端，通过边缘端和云端的分布式并行处理提高算法运行效率，解决了集中式数据处理方式实时性差的问题。将基于云边协同的煤矿井下尺度自适应目标跟踪方法应用于煤矿井下视频序列，对其跟踪性能和实时性能进行实验验证，结果表明：与核相关滤波(KCF)、判别型尺度空间跟踪(DSST)算法、基于多特征融合的尺度自适应(SAMF)算法3种经典目标跟踪算法相比，基于深度估计的尺度自适应目标跟踪算法在煤矿井下目标出现较大尺度变化和形变时，具有更高的跟踪精度和成功率；与传统的云计算处理方式相比，基于云边协同的尺度自适应目标跟踪算法部署方式使算法总时延降低了32.55%，有效提升了煤矿井下智能监控系统目标跟踪的实时性能。
    Abstract: The moving targets in coal mine underground monitoring videos often have significant scale changes and deformations. This results in low accuracy of target tracking algorithms based on computer vision. Moreover, the massive amount of video data makes it difficult for centralized cloud-based data processing methods to meet the real-time requirements of target tracking. In order to solve the above problems, a scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration is proposed. A scale-adaptive target tracking algorithm based on depth estimation is designed. The scale-adaptive target tracking is achieved by constructing a depth-scale estimation model, which uses target depth values to estimate scale values. The problem of low tracking accuracy caused by target scale change and deformation is solved. An intelligent monitoring system architecture based on cloud-edge collaboration is designed. The sub-modules of the scale-adaptive target tracking algorithm, which are divided into fine granularity, are deployed at the edge and cloud of the system according to the required computing resources. The algorithm's operational efficiency is improved through distributed parallel processing at the edge and cloud, solving the problem of poor real-time performance in the centralized data processing. The scale-adaptive target tracking method based on cloud-edge collaboration is applied in coal mine underground video sequences. The tracking performance and real-time performance are verified experimentally. The results show that compared with three classic target tracking algorithms, namely kernel correlation filter (KCF), discriminant scale space tracking (DSST) algorithm, and scale adaptive multiple feature (SAMF) algorithm, the scale-adaptive target tracking algorithm based on depth estimation has higher tracking precision and success rate when there are significant scale changes and deformations in coal mine underground targets. Compared with traditional cloud computing processing methods, the deployment method of scale-adaptive target tracking algorithm based on cloud-edge collaboration reduces the total delay of the algorithm by 32.55%. It effectively improves the real-time performance of target tracking of intelligent monitoring system in coal mine underground.
    • HTML全文

  • 0.   引言

    火灾一直是煤矿的重点防治灾害，一般分为内因火灾和外因火灾[1-2]。内因火灾由矿井煤层自燃引起，主要影响煤矿正常开采。外因火灾主要由人员违规违章行为引起，如违章作业、设备检修不规范、违规堆放易燃物资等，一般火灾初期的火源较小，但常发生在生产区域，如果未及时发现，火情将会迅速扩大，造成煤矿人员伤亡和财产损失[3-5]。对煤矿外因火灾隐患进行检测，实现对初期火灾的可靠判识，对于提升煤矿火灾检测水平有重要意义，也是未来智能矿山建设的重要方向。

    现有的矿井外因火灾检测方法主要包括基于传感器的检测方法、基于可见光图像和红外图像的检测方法、基于深度学习的检测方法等。基于传感器的检测方法[6-8]通过传感器采集环境中的温度、烟雾浓度、气体浓度等信息，利用阈值来判断火灾的发生情况，该方法准确率较高，但对微小火源感知不明显，且判识相对滞后。基于可见光图像和红外图像的检测方法[9]主要依赖于图像识别技术，利用颜色空间进行火焰图像分割，进而提取出尖角数、圆形度、质心位移等特征，再通过支持向量机进行分类，该方法易受井下移动发光物体（如探照灯）的影响[10]。基于红外图像、可见光图像及传感器多信息融合的矿井外因火灾感知方法[10-11]与单一方法相比提升了火灾感知准确率，但该类方法采用“分布采集−集中处理−远程控制”的方式，传感器信息、控制信息的传输依赖网络可靠性，网络波动可能会导致响应延迟、报警滞后等问题。随着深度学习在图像分类[12]、目标检测[13]等方面取得进展，卷积神经网络[14]、改进Mask R−CNN[15]、改进Faster−CNN [16]等被应用于火焰特征检测，该类方法对特征的识别精度更高，但网络模型参数量、计算量较大，检测速度慢，应用于煤矿时，通常需要配置高性能处理器，在地面集中处理视频信息，对视频图像传输网络的可靠性有较高要求。

    YOLO[17]是一种单阶段目标检测网络模型，其检测速度快，适合部署在边缘侧硬件上，但对火灾初期小目标火源的识别能力不足。针对该问题，本文提出一种基于边缘智能的煤矿外因火灾感知方法。对YOLOv5s模型进行改进，在保证处理速度和轻量化的前提下，提高对火灾初期小目标火源的识别精度；对改进YOLOv5s模型提取的图像特征和传感器提取的物理特征进行融合分析，并将改进网络模型部署在智能边缘处理器上，用于煤矿外因火灾识别。这种煤矿灾害感知的新模式提高了火源检测的实时性和准确性，且不依赖长距离传输网络，提升了检测的可靠性，可用于矿山重点区域风险监控，为未来矿山的火源智能化巡检提供了算法支撑。

    1.   基于边缘智能的煤矿外因火灾检测模型

    基于边缘智能的煤矿外因火灾检测模型主要由视频检测模块、多源信息融合模块及智能边缘处理模块组成，如图1所示。在智能边缘处理器上部署轻量化的改进YOLOv5s模型和多源信息融合模块，分别提取火源的图像特征和环境信息的多维度时空特征，通过特征融合判断是否发生火灾。

    图  1  基于边缘智能的煤矿外因火灾检测模型
    Figure  1.  Detection model of coal mine external fire based on edge intelligence
    下载: 全尺寸图片 幻灯片

    智能边缘处理器是基于嵌入式微控制单元(Microcontroller Unit，MCU)和国产神经网络处理单元（Neural Processor Unit，NPU）开发的一款矿用边缘处理器。其核心是思元220边缘计算模组，具备专门用于深度学习的系统级芯片（System on Chip，SOC），采用ARM+NPU架构，芯片内部集成了CPU、NPU、视频处理单元及图像编解码单元；CPU为四核ARM Cortex−A55，主频为1.5 GHz，单片功耗为12 W，核心算力为每秒12×1012次操作。智能边缘处理器支持深度学习网络AlexNet，GoogleNet，VGG，ResNet，YOLO，SSD等。

    采用矿用本安型网络摄像机KBA18(C)进行视频数据采集。摄像机在监测区域按一定距离部署，并通过网络接口与智能边缘处理器相连，为火灾检测提供视频图像数据。

    采用矿用一氧化碳传感器GTH1000、矿用烟雾传感器GQLQ5及矿用温度传感器GWD150进行环境数据采集。传感器部署在矿用本安型网络摄像机周围，通过Modbus总线与智能边缘处理器相连，为火灾检测提供传感器数据。

    2.   改进YOLOv5s模型

    2.1   YOLOv5s模型基本架构

    YOLOv5s模型的基本框架可以分为输入端(Input)、主干网络(Backbone)、颈部(Neck)和输出端(Prediction)4个部分，如图2所示。输入端采用Mosaic数据增强方式，通过随机缩放、裁剪、排布对图像进行拼接。主干部分主要由跨阶段局部网络(Cross Stage Partial Network，CSPNet)模块组成，特征提取采用CSPDarknet53[18]网络结构，可降低计算损耗和内存成本。颈部使用特征金字塔网络(Feature Pyramid Network，FPN)和路径聚合网络(Path Aggregation Network， PANet)[19]来加强特征融合能力。输出部分主要由损失函数构成，采用CIOU_Loss作为损失函数，最后输出预测结果。

    图  2  YOLOv5s模型结构
    Figure  2.  Structure of YOLOv5s model
    下载: 全尺寸图片 幻灯片

    2.2   小目标检测层

    为更适应火灾初期小目标火源的特征检测，提高小目标火源实时检测精度，综合考虑火焰检测精度和速度要求，在经典YOLOv5s模型基础上添加一个152×152的特征尺度，并改进为4尺度检测网络(图3)，将目标的感受野变为4×4，使模型能够充分学习浅层特征，改善小目标检测性能。

    图  3  改进后的4尺度检测网络
    Figure  3.  Improved 4-scale detection network
    下载: 全尺寸图片 幻灯片

    2.3   自适应注意模块

    YOLOv5s模型中，颈部使用FPN和PANet来加强其特征融合能力，然而在采样过程中，高层特征图会因为特征通道数的减少而造成上下文信息损失，影响检测精度。针对该问题，在原有FPN基础上添加自适应注意模块，通过空间注意力机制为每个特征图生成空间权重图，通过权重图融合上下文特征，生成包含多尺度上下文信息的新特征图，以减少上下文信息损失。

    首先，将卷积得到的特征图$ {M}_{5} $(大小为$ S $)通过自适应平均池化层，获得不同尺度(${a }_{1}\times S，{a}_{2}\times S， {a}_{3}\times S$)的多个语境特征，池化系数$a$1—$a$3可根据数据集中目标大小自适应变化。其次，将每个特征分别上采样后通过Concat层合并，得到特征图$ {C}_{5} $。$ {C}_{5} $依次经过1×1卷积层、ReLU激活层、3×3卷积层及Sigmoid激活层，得到空间权重图$ {W}_{5} $。最后，将特征图$ {C}_{5} $和权重图$ {W}_{5} $进行Hadamard乘积运算，分离后与特征图$ {M}_{5} $相加，得到包含多尺度上下文信息的新特征图$ {A}_{5} $，$ {A}_{5} $具有丰富的多尺度背景信息，在一定程度上缓解了由于通道数量减少而造成的信息损失，提高了模型的检测精度。自适应注意模块结构如图4所示。

    图  4  自适应注意模块结构
    Figure  4.  Structure of adaptive attention module
    下载: 全尺寸图片 幻灯片

    3.   多源信息融合

    为解决井下光线条件差、粉尘多及摄像机拍摄角度引起的图像检测误差和漏检问题，进一步提高火灾检测精度，本文采用多传感器辅助检测，并提出一种动态加权算法，对图像和传感信息进行加权融合判识，具体流程如图5所示。

    图  5  图像和传感信息加权融合判识流程
    Figure  5.  Weighted fusion identification process of image and sensor information
    下载: 全尺寸图片 幻灯片

    计算图像和传感信息动态加权值：

    $$ F=\left[{\alpha }_{1}\;{\alpha }_{2}\;{\alpha }_{3}\;{\alpha }_{4}\right][{\beta }_{1}\;\;{{\beta }_{2}\;\;{\beta }_{3}\;\;{\beta }_{4}]}^{\mathrm{T}} $$ (1)

    式中：$ {\alpha }_{1}—{\alpha }_{4} $分别为摄像机、温度传感器、烟雾传感器、CO传感器的检测结果，取值为1或0；$ {\beta }_{1}—{\beta }_{4} $为对应$ {\alpha }_{1}—{\alpha }_{4}\mathrm{的} $权重参数，4个权重参数的和为1。

    $ {\alpha }_{1}=0 $表示摄像机未检测到火焰，$ {\alpha }_{1}=1 $表示摄像机检测到火焰；$ {\alpha }_{2}=0 $表示井下温度在正常范围内，$ {\alpha }_{2}=1 $表示井下温度已经超过正常情况；$ {\alpha }_{3}=0 $表示井下没有烟雾或者烟雾浓度忽略不计，$ {\alpha }_{3}=1 $表示井下烟雾浓度异常；$ {\alpha }_{4}=0 $表示井下CO浓度在正常范围内，$ {\alpha }_{4}=1 $表示井下CO浓度异常。

    根据文献[20]设定权重参数，并以此为基础进行多组实验，得出最优权重参数和阈值，实验结果见表1。

    表  1  各权重对比分析结果
    Table  1.  Comparative analysis results of each weight
    $ {\beta }_{1} $$ {\beta }_{2} $$ {\beta }_{3} $$ {\beta }_{4} $阈值准确率
    0.700.10.10.10.810.83
    0.750.120.070.060.850.88
    0.810.080.060.050.880.90
    0.900.050.030.020.920.98
    00.650.250.10.70.75
    00.730.220.070.80.80
    00.780.140.080.830.87
    00.790.110.100.890.90
    下载: 导出CSV 
    | 显示表格

    当所有检测信息的动态加权值超过设定阈值时，表示检测到火灾发生。根据表1数据可得出，当视频检测到真实火焰时，设定$\; {\beta }_{1}—{\beta }_{4} $及阈值分别为0.90，0.05，0.03，0.02，0.92，检测准确率最高。当视频未检测到真实火焰时或者误检时，设定$\; {\beta }_{2}—{\beta }_{4} $及阈值分别为0.79，0.11，0.10，0.89，检测准确率最高。

    4.   实验分析

    4.1   数据集制作

    为了提升本文方法在煤矿井下的检测性能，制作了火源特征数据集。该数据集由公共数据集（VOC2007）、项目组拍摄的12 000张图像、100张井下各种灯光图像构成，包含了火焰燃烧整个过程（从初期到后期，直至熄灭）的图像，涵盖不同光线条件和粉尘浓度情况。基于混合数据集训练网络模型，可提升模型的泛化能力。

    图像拍摄地点为中国矿业大学火灾实验室和某煤矿提供的实验巷道（图6）。针对煤矿井下作业环境及相机拍摄角度的影响，采用多角度拍摄方式，拍摄参数见表2。

    图  6  实验巷道
    Figure  6.  Experimental roadway
    下载: 全尺寸图片 幻灯片
    表  2  图像拍摄参数
    Table  2.  Image capture parameters
    相机编号拍摄角度安装高度/cm图像/张光线粉尘
    1号正水平01 000正常少
    2号正水平02 000较暗多
    3号正45°2101 000正常多
    4号正45°2102 000较暗少
    5号后水平01 000正常少
    6号后水平02 000较暗多
    7号后45°2101 000正常多
    8号后45°2102 000较暗多
    下载: 导出CSV 
    | 显示表格

    1号和2号相机的安装高度为0，表示相机正对火焰拍摄。3号和4号相机拍摄角度为正45°，表示相机在火焰正前方45°拍摄。部分现场拍摄样本如图7所示。

    图  7  部分现场拍摄样本
    Figure  7.  Some samples taken on site
    下载: 全尺寸图片 幻灯片

    4.2   参数设置与评价指标

    设置所有模型训练批次为16，学习率为 0.001，交并比阈值为0.5，训练轮数为100，在NVIDIA TITAN Xp GPU上训练模型。以召回率、交并比为0.5时的平均精度均值(mAP@0.5)及每帧推理时间作为模型评估指标。召回率计算公式为

    $$ R=\frac{{n}_{\mathrm{T}\mathrm{P}}}{{n}_{\mathrm{F}\mathrm{N}}+{n}_{\mathrm{T}\mathrm{P}}} $$ (2)

    式中：R为召回率；$ {n}_{\mathrm{T}\mathrm{P}} $为模型检测结果为正值的正样本数；$ {n}_{\mathrm{F}\mathrm{N}} $为检测结果为负值的正样本数。

    mAP@0.5计算公式为

    $$ Q={\int }_{0}^{1}R P{\rm{d}}r $$ (3)
    $$ P=\frac{{n}_{\mathrm{T}\mathrm{P}}}{{n}_{\mathrm{F}\mathrm{P}}+{n}_{\mathrm{T}\mathrm{P}}} $$ (4)

    式中：Q为mAP@0.5的值；P为精确率；r为积分变量；$ {n}_{\mathrm{F}\mathrm{P}} $为虚假的正样本数。

    4.3   实验结果分析

    由于本文提出的方法由图像特征检测与传感器检测共同构成，为了与经典视频检测方法进行比较，先在YOLOv5s模型中加入小目标检测和自适应注意模块，得到YOLOv5s−a，再加入传感器信息融合判识，得到YOLOv5s−as。在各训练参数一致的前提下，与YOLOv5s，SSD−300[21]，SSD−521[22]等经典图像识别模型比较召回率、mAP@0.5、每帧推理时间等，结果见表3。由表3可知，YOLOv5s−as模型由于通过图像特征和传感器感知特征共同判识，识别精度最高，但由于增加了传感器信息推理，每帧推理时间比YOLOv5s−a模型略有增加，但仍优于其他模型，原因在于改进模型对图像进行特征提取时视野更集中，处理速度更快。

    表  3  各模型移植前检测结果对比
    Table  3.  Comparison of detection results of each algorithm before transplantation
    模型召回率mAP@0.5每帧推理时间/ms
    SSD 300（VGG16）0.7640.73226
    SSD 521（VGG16）0.7790.75162
    YOLOv5s0.8250.81124
    YOLOv5s−a0.9150.90718
    YOLOv5s−as0.9670.94120
    下载: 导出CSV 
    | 显示表格

    将上述模型移植到智能边缘处理器上，并进行轻量化处理，在煤矿安全实验室模拟井下巷道场景，进行50次着火实验，以测试各模型在真实场景下的每帧推理时间及精度，实验结果见表4。

    表  4  各模型移植后检测结果对比
    Table  4.  Comparison of detection results of each algorithm after transplantation
    模型每帧推理时间/msmAP@0.5
    SSD 300（VGG16）190.710
    SSD 521（VGG16）530.742
    YOLOv5s180.803
    YOLOv5s−a110.870
    YOLOv5s−as120.933
    下载: 导出CSV 
    | 显示表格

    由表4可知，经过轻量化处理后，YOLOv5s−as模型的处理速度仍大于SSD 300（VGG16），SSD 521（VGG16）及YOLOv5s模型。但由于需对传感器信息和视频检测信息进行融合推理，每帧推理时间略长于YOLOv5s−a模型，但mAP@0.5提高了7.24%，与移植前的YOLOv5s模型相比，mAP@0.5提高了15.04%。

    为了验证YOLOv5s−as模型的泛化能力，分别进行大目标火源、小目标火源和混淆实验，结果如图8所示。对于大目标火源，所有模型均能正常识别；对于小目标火源，SSD 300，SSD 512及YOLOv5s模型无法识别，这3种模型对小目标火源的适应性较差。YOLOv5s−a，YOLOv5s−as模型能够检测出小目标火源，适应性较好。

    图  8  火灾检测实验结果
    Figure  8.  Fire detection test results
    下载: 全尺寸图片 幻灯片

    在混淆实验中，控制火焰亮度和形状趋近灯光，进行对比实验，发现除YOLOv5s−as模型外所有模型都将其识别为灯光。这是由于YOLOv5s−as模型加入了传感器信息融合判别，得到了正确结果，并发出警报。

    4.4   边缘计算性能测试

    为了比较边缘处理与传统的集中式处理2种方案的性能，将YOLOv5s−as模型从完成判识到报警输出的时间定义为响应周期，并进行对比测试。

    集中式处理：将传感器数据通过RS485总线转以太网模块，并接入KJJ148井下环网交换机；摄像机通过网口接入KJJ148井下环网交换机，交换机通过光纤接入服务器；在服务器上部署YOLOv5s−as模型，对采集的视频和传感器信息进行分析和识别。主机硬件：CPU为英特尔E5−2609，64 GB RAM 和1 TB固态磁盘，GPU为Nvidia TITAN Xp，网络测试带宽为300 Mbit/s，处理结果下行至现场的网络报警器。

    边缘处理：传感数据、视频数据、报警器均通过网络接口接入边缘智能处理器，处理器每秒钟可进行12×1012次操作，网络传输带宽为300 Mbit/s。

    对比结果见表5。可看出使用集中式处理方法时，需要经过5个步骤，响应周期为388 ms；使用边缘处理方式时，仅包括3个步骤，响应周期为238 ms，比集中式处理方法缩短了38.66%。

    表  5  边缘计算性能测试结果
    Table  5.  Edge computing performance test results
    步骤边缘处理集中式处理
    步骤1捕获图像用时39 ms捕获图像用时39 ms
    步骤2边缘计算用时157 ms上传图像用时154 ms
    步骤3响应警报用时42 ms算法计算用时49 ms
    步骤4—反馈检测结果用时104 ms
    步骤5—响应警报用时42 ms
    响应周期/ms238388
    下载: 导出CSV 
    | 显示表格

    5.   结论

    （1） 针对火灾初期的小目标火源，对YOLOv5s模型主干网络特征尺度进行改进，充分学习浅层特征，提高对小目标检测的能力；对YOLOv5s模型的颈部进行改进，在原有的FPN基础上添加自适应注意模块，提高模型检测精度。

    （2） 提出基于多源信息融合对井下火灾进行判识，使用动态加权算法将视频检测信息与多传感器检测信息相融合，构建了YOLOv5s−as模型。利用YOLOv5s−as模型的轻量化特点，实现边缘智能设备部署。

    （3） 实验结果表明：与未加入传感器信息融合推理的YOLOv5s−a模型相比，YOLOv5s−as模型推理时间略长，但mAP@0.5提高了7.24%；与移植前的YOLOv5s模型相比，移植到智能边缘处理器上并进行轻量化处理的YOLOv5s−as模型mAP@0.5提高了15.04%；对于小目标火源，SSD 300、SSD 512及YOLOv5s模型无法识别，YOLOv5s−a，YOLOv5s−as模型能够检测出小目标火源，适应性较好；使用边缘处理方式时，YOLOv5s−as模型的响应周期为238 ms，比集中式处理方法缩短了38.66%。

    （4） 基于边缘智能的煤矿外因火灾感知方法准确率较高，响应周期短，满足煤矿井下对火灾检测的实时性要求，适用于井下重点区域的外因火灾检测，也可用于未来智能矿山的智能巡检。

  • 图  1   深度−尺度估计模型构建过程

    Figure  1.   Construction process of depth-scale estimation model

    下载: 全尺寸图片 幻灯片

    图  2   基于深度估计的尺度自适应目标跟踪算法

    Figure  2.   Scale-adaptive target tracking algorithm based on depth estimation

    下载: 全尺寸图片 幻灯片

    图  3   目标跟踪算法5个子模块的运行时间

    Figure  3.   Running time of five sub-modules of the target tracking algorithm

    下载: 全尺寸图片 幻灯片

    图  4   基于云边协同的智能监控系统架构

    Figure  4.   Architecture of cloud-edge collaborative intelligent monitoring system

    下载: 全尺寸图片 幻灯片

    图  5   云边协同任务卸载架构

    Figure  5.   Architecture of cloud-side collaborative task unloading

    下载: 全尺寸图片 幻灯片

    图  6   煤矿井下视频序列部分帧的RGB图像和深度图像

    Figure  6.   Part of RGB images and depth images of a coal mine underground video sequence

    下载: 全尺寸图片 幻灯片

    图  7   深度−尺度估计模型实验结果

    Figure  7.   Experimental results of depth-scale estimation model

    下载: 全尺寸图片 幻灯片

    图  8   4种算法对煤矿井下数据集的目标跟踪结果

    Figure  8.   Target tracking results of four algorithms for coal mine underground data set

    下载: 全尺寸图片 幻灯片

    图  9   4种算法对OTB−100数据集的目标跟踪结果

    Figure  9.   Target tracking results of four algorithms for OTB-100 standard data set

    下载: 全尺寸图片 幻灯片

    图  10   目标跟踪算法在煤矿井下数据集上的精度和成功率

    Figure  10.   Tracking accuracy and success rate of four target tracking algorithms for coal mine underground data set

    下载: 全尺寸图片 幻灯片

    图  11   目标跟踪算法在OTB−100数据集上的精度和成功率

    Figure  11.   Tracking accuracy and success rate of four target tracking algorithms for OTB-100 data set

    下载: 全尺寸图片 幻灯片

    图  12   目标跟踪算法在2种部署方式下的局部时延曲线

    Figure  12.   Local delay curves of the proposed target tracking algorithm under two deployment modes

    下载: 全尺寸图片 幻灯片

    图  13   目标跟踪算法在2种部署方式下的总时延曲线

    Figure  13.   Overall delay curves of the proposed target tracking algorithm under two deployment mode

    下载: 全尺寸图片 幻灯片

    图  14   不同边缘服务器数量下目标跟踪算法总时延曲线

    Figure  14.   Overall delay curves of the proposed target tracking algorithm under different groups of edge servers

    下载: 全尺寸图片 幻灯片

    表  1   煤矿井下尺度自适应目标跟踪实验环境配置

    Table  1   Experimental environment configuration of coal mine underground scale-adaptive target tracking method

    实验环境配置
    边缘服务器CPUAMD Ryzen 5 5600H with Radeon Graphics 3.30 GHz
    GPUGeForce RTX 3050
    系统Windows10
    云端服务器CPUIntel Xeon E5−2680 v2
    GPUNVIDIA GeForce GTX TITAN Z
    系统centos7
    编程语言Matlab
    下载: 导出CSV

    表  2   任务卸载相关参数配置

    Table  2   Parameters configuration related to task unloading

    设备参数值
    终端设备$ {B}_{i,j} $/MHz100
    $ {P}_{i,j} $/W0.1
    ${D}_{i,j} $[0.1,1.0]
    边缘服务器$ {B}_{j,{\rm{c}}} $/MHz200
    $ {P}_{j,{\rm{c}}} $/W0.5
    $ {y}_{j} $/GHz10
    $ {C}_{j} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $)200
    $ D_{j,{\rm{c}}} $[0.1,1.0]
    云端服务器$ {w}_{{\rm{c}}} $/GHz100
    $ {C}_{{\rm{c}}} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $)50
    $ {\sigma }^{2} $/dBm100
    其他$ {b}_{{\rm{v}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,100]
    $ {b}_{{\rm{f}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,5]
    $ {b}_{{\rm{m}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,5]
    下载: 导出CSV

    表  3   煤矿井下视频序列数据信息

    Table  3   Video sequence data information of coal mine underground

    视频序列帧数主要影响因素
    Video1355尺度变化
    Video2170目标形变、背景杂乱
    Video3181光照不均、尺度变化
    Video4297光照极度不足、目标形变
    Video5215目标形变
    Video6286尺度变化
    下载: 导出CSV

    表  4   目标跟踪算法在2种部署方式下的传输时延和计算时延计算结果

    Table  4   Calculated transmission delay and calculation delay of the proposed target tracking algorithm under two deployment modes ms

    视频序列云边协同方式云计算方式
    传输时延计算时延传输时延计算时延
    Video122.4910.012 78209.559 60.004 61
    Video223.3610.013 41190.456 90.004 73
    Video321.4360.012 13205.454 90.004 47
    Video422.2670.011 98193.576 80.004 34
    Video521.8790.015 76200.177 40.004 91
    Video621.2530.013 05193.115 10.004 39
    Total132.6870.079 11 1 192.340 70.027 45
    　注：黑体数据为最优结果。
    下载: 导出CSV

    表  5   目标跟踪算法在2种部署方式下的总时延计算结果

    Table  5   Calculated overall delay of the proposed target tracking algorithm under two deployment modes ms

    视频序列总时延
    云计算方式云边协同方式
    Video1209.567 6139.916 7
    Video2190.465 3140.214 6
    Video3205.462 5130.169 8
    Video4193.584 6134.247 2
    Video5200.186 1130.744 2
    Video6193.123 8128.929 4
    Total1 192.389 9804.221 9
    　注：黑体数据为最优结果。
    下载: 导出CSV

    表  6   不同边缘服务器数量下目标跟踪算法时延

    Table  6   Delay of the proposed target tracking algorithm under different groups of edge servers

    边缘服务器
    数量/台    		视频序列
    数量/个    		传统云计算
    总时延/ms    		M=12时云边协同时延/msM=18时云边协同时延/ms
    边缘端云端总时延边缘端云端总时延
    传输时延计算时延传输时延计算时延传输时延计算时延传输时延计算时延
    161192.3899132.6870.0791671.4290.0263804.2219132.6870.0791671.4290.0263804.2219
    2122384.7798132.6870.0791671.4290.0526804.2481132.6870.0791671.4290.0526804.2481
    3183577.1697265.3740.07911342.8590.07891608.391132.6870.0791671.4290.0789804.2744
    4244769.5596265.3710.07911342.8590.10521608.417265.3740.07911342.8590.10521608.417
    5305961.9495398.0610.07912014.2880.13152412.560265.3740.07911342.8590.13151608.443
    6367154.3394398.0610.07912014.2880.15782412.586265.3740.07911342.8590.15781608.470
    　注：黑体数据为最优结果。
    下载: 导出CSV
    • 参考文献(28)
  • [1] 王国法,赵国瑞,胡亚辉. 5G技术在煤矿智能化中的应用展望[J]. 煤炭学报,2020,45(1):16-23.

    WANG Guofa,ZHAO Guorui,HU Yahui. Application prospect of 5G technology in coal mine intelligence[J]. Journal of China Coal Society,2020,45(1):16-23.
    [2] 丁恩杰,俞啸,夏冰,等. 矿山信息化发展及以数字孪生为核心的智慧矿山关键技术[J]. 煤炭学报,2022,47(1):564-578.

    DING Enjie,YU Xiao,XIA Bing,et al. Development of mine informatization and key technologies of intelligent mines[J]. Journal of China Coal Society,2022,47(1):564-578.
    [3] 陈龙,王晓,杨健健,等. 平行矿山:从数字孪生到矿山智能[J]. 自动化学报,2021,47(7):1633-1645.

    CHEN Long,WANG Xiao,YANG Jianjian,et al. Parallel mining operating systems:from digital twins to mining intelligence[J]. Acta Automatica Sinica,2021,47(7):1633-1645.
    [4] 孙彦景,霍羽,陈岩,等. 矿山动态协同作业场景无线通信关键技术[J]. 煤炭学报,2021,46(1):321-332.

    SUN Yanjing,HUO Yu,CHEN Yan,et al. Key technology of service attribute driven wireless communication for dynamic cooperative operations in mining scenarios[J]. Journal of China Coal Society,2021,46(1):321-332.
    [5] 王学文,刘曙光,王雪松,等. AR/VR融合驱动的综采工作面智能监控关键技术研究与试验[J]. 煤炭学报,2022,47(2):969-985.

    WANG Xuewen,LIU Shuguang,WANG Xuesong,et al. Research and test on key technologies of intelligent monitoring and control driven by AR/VR for fully mechanized coal-mining face[J]. Journal of China Coal Society,2022,47(2):969-985.
    [6]

    LIU S,LIU D,SRIVASTAVA G,et al. Overview and methods of correlation filter algorithms in object tracking[J]. Complex & Intelligent Systems,2021,7(4):1895-1917.
    [7] 张旭辉,杨文娟,薛旭升,等. 煤矿远程智能掘进面临的挑战与研究进展[J]. 煤炭学报,2022,47(1):579-597.

    ZHANG Xuhui,YANG Wenjuan,XUE Xusheng,et al. Challenges and developing of the intelligent remote controlon roadheaders in coal mine[J]. Journal of China Coal Society,2022,47(1):579-597.
    [8] 张帆,孙晓辉,崔东林. 基于ORB特征的矿井移动目标双目视觉跟踪与定位[J]. 煤炭学报,2018,43(增刊2):654-662.

    ZHANG Fan,SUN Xiaohui,CUI Donglin. Method of tracking and positioning for mobile target based on ORB features and binocular vision in mine[J]. Journal of China Coal Society,2018,43(S2):654-662.
    [9] 刘浩,刘海滨,孙宇,等. 煤矿井下员工不安全行为智能识别系统[J]. 煤炭学报,2021,46(增刊2):1159-1169.

    LIU Hao,LIU Haibin,SUN Yu,et al. Intelligent recognition system of unsafe behavior of underground coal miners[J]. Journal of China Coal Society,2021,46(S2):1159-1169.
    [10]

    BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, 2010: 2544-2550.
    [11]

    HENRIQUES J F, CASEIRO R, MARTINES P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]. European Conference on Computer Vision, Berlin, 2012: 702-715.
    [12]

    HENRIQUES J F,CASEIRO R,MARTINS P,et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,37(3):583-596.
    [13] 覃剑,石昌伟,张媛,等. 边缘视频处理的细粒度划分与重组部署算法[J]. 电子学报,2021,49(11):2152-2159.

    QIN Jian,SHI Changwei,ZHANG Yuan,et al. Fine-grained partitioning and reorganization deployment strategy of edge video processing[J]. Acta Electronica Sinica,2021,49(11):2152-2159.
    [14] 卢新明,阚淑婷. 煤炭精准开采地质保障与透明地质云计算技术[J]. 煤炭学报,2019,44(8):2296-2305.

    LU Xinming,KAN Shuting. Geological guarantee and transparent geological cloud computing technology of precision coal mining[J]. Journal of China Coal Society,2019,44(8):2296-2305.
    [15] 施巍松,张星洲,王一帆,等. 边缘计算:现状与展望[J]. 计算机研究与发展,2019,56(1):69-89. DOI: 10.7544/issn1000-1239.2019.20180760

    SHI Weisong,ZHANG Xingzhou,WANG Yifan,et al. Edge computing:state-of-the-art and future directions[J]. Journal of Computer Research and Development,2019,56(1):69-89. DOI: 10.7544/issn1000-1239.2019.20180760
    [16] 王国法,杜毅博,任怀伟,等. 智能化煤矿顶层设计研究与实践[J]. 煤炭学报,2020,45(6):1909-1924.

    WANG Guofa,DU Yibo,REN Huaiwei,et al. Top level design and practice of smart coal mines[J]. Journal of China Coal Society,2020,45(6):1909-1924.
    [17] 陈思光,陈佳民,赵传信. 基于深度强化学习的云边协同计算迁移研究[J]. 电子学报,2021,49(1):157-166.

    CHEN Siguang,CHEN Jiamin,ZHAO Chuanxin. Deep reinforcement learning based cloud-edge collaborative computation offloading mechanism[J]. Acta Electronica Sinica,2021,49(1):157-166.
    [18]

    DANELLJAN M, HAGER G, KHAN F, et al. Accurate scale estimation for robust visual tracking[C]. British Machine Vision Conference, Nottingham, 2014: 1-11.
    [19]

    LI Yang, ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[C]. European Conference on Computer Vision Workshops, Zurich, 2014: 254-265.
    [20] 孙继平,贾倪. 矿井视频图像中人员目标匹配与跟踪方法[J]. 中国矿业大学学报,2015,44(3):540-548.

    SUN Jiping,JIA Ni. Human target matching and tracking method in coal mine video[J]. Journal of China University of Mining & Technology,2015,44(3):540-548.
    [21] 程健,陈亮,王凯,等. 一种多特征融合的复杂场景动态目标跟踪算法[J]. 中国矿业大学学报,2021,50(5):1002-1010.

    CHENG Jian,CHEN Liang,WANG Kai,et al. Multi-feature fusion dynamic target tracking algorithm for complex scenes[J]. Journal of China University of Mining & Technology,2021,50(5):1002-1010.
    [22] 牟琦,张寒,何志强,等. 基于深度估计和特征融合的尺度自适应目标跟踪算法[J]. 图学学报,2021,42(4):563-571.

    MU Qi,ZHANG Han,HE Zhiqiang,et al. Scale adaptive target tracking algorithm based on depth estimation and feature fusion[J]. Journal of Graphics,2021,42(4):563-571.
    [23]

    GOARD C, AODHA O M, BROSTOW G J. Unsupervised monocular depth estimation with left-right consistency[C]. Computer Vision and Pattern Recognition, Hawaii, 2017: 6602-6611.
    [24]

    HABER E E,NGUYEN T M,ASSI C. Joint optimization of computational cost and devices energy for task offloading in multi-tier edge-clouds[J]. IEEE Transactions on Communications,2019,67(5):3407-3421. DOI: 10.1109/TCOMM.2019.2895040
    [25]

    CHEN Siguang,ZHENG Yimin,LU Weifeng,et al. Energy optimal dynamic computation offloading for industrial IoT in fog computing[J]. IEEE Transactions on Green Communications and Networking,2019,4(2):566-576.
    [26] 张展,张宪琦,左德承,等. 面向边缘计算的目标追踪应用部署策略研究[J]. 软件学报,2020,31(9):2691-2708.

    ZHANG Zhan,ZHANG Xianqi,ZUO Decheng,et al. Research on target tracking application deployment strategy for edge computing[J]. Journal of Software,2020,31(9):2691-2708.
    [27] 姜德义,魏立科,王翀,等. 智慧矿山边缘云协同计算技术架构与基础保障关键技术探讨[J]. 煤炭学报,2020,45(1):484-492.

    JIANG Deyi,WEI Like,WANG Chong,et al. Discussion on the technology architecture and key basic support technology for intelligent mine edge-cloud collaborative computing[J]. Journal of China Coal Society,2020,45(1):484-492.
    [28] 张文柱,余静华. 移动边缘计算中基于云边端协同的任务卸载策略[J]. 计算机研究与发展,2023,60(2):371-385.

    ZHANG Wenzhu,YU Jinghua. Task offloading strategy in mobile edge computing based on cloud-edge-end cooperation[J]. Journal of Computer Research and Development,2023,60(2):371-385.
    • 相关文章
    • 施引文献(10)

  • 期刊类型引用(4)

    1. 邓军，李鑫，王凯，王伟峰，闫军，汤宗情，康付如，任帅京. 矿井火灾智能监测预警技术近20年研究进展及展望. 煤炭科学技术. 2024(01): 154-177 . 百度学术
    2. 刘慧敏，张彬. 永定庄煤业3-5#煤层系统性防灭火设计分析. 山西化工. 2024(04): 195-196+223 . 百度学术
    3. 杨莹，吴爱祥，王先成，王国立. 基于RAdam算法优化ResNet50模型膏体图像识别方法研究. 中国矿业. 2023(07): 79-86 . 百度学术
    4. 杜雨馨，张贺，王树臣，张建化. 综掘系统视觉处理技术研究现状及发展趋势. 工矿自动化. 2023(11): 22-38+75 . 本站查看

    其他类型引用(6)

    • 资源附件(0)
图(14)  /  表(6)
计量
  • 文章访问数:  225
  • HTML全文浏览量:  61
  • PDF下载量:  35
  • 被引次数: 10
出版历程
  • 收稿日期:  2022-10-30
  • 修回日期:  2023-04-07
  • 网络出版日期:  2023-04-26
  • 刊出日期:  2023-04-24

目录

摘要
HTML全文

  • 0.   引言

  • 1.   基于边缘智能的煤矿外因火灾检测模型

  • 2.   改进YOLOv5s模型

  • 2.1   YOLOv5s模型基本架构

  • 2.2   小目标检测层

  • 2.3   自适应注意模块

  • 3.   多源信息融合

  • 4.   实验分析

  • 4.1   数据集制作

  • 4.2   参数设置与评价指标

  • 4.3   实验结果分析

  • 4.4   边缘计算性能测试

  • 5.   结论

参考文献(28)
相关文章
施引文献(10)
资源附件(0)

/

返回文章
返回

苏ICP备 05016349号-2

本系统由 北京仁和汇智信息技术有限公司 开发  访问量：1153918    百度统计