基于云边协同的煤矿井下尺度自适应目标跟踪方法

牟琦, 韩嘉嘉, 张寒, 李占利

牟琦，韩嘉嘉，张寒，等. 基于云边协同的煤矿井下尺度自适应目标跟踪方法[J]. 工矿自动化，2023，49(4)：50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
引用本文: 牟琦，韩嘉嘉，张寒，等. 基于云边协同的煤矿井下尺度自适应目标跟踪方法[J]. 工矿自动化，2023，49(4)：50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
shu
MU Qi, HAN Jiajia, ZHANG Han, et al. A scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration[J]. Journal of Mine Automation，2023，49(4)：50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
Citation: MU Qi, HAN Jiajia, ZHANG Han, et al. A scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration[J]. Journal of Mine Automation，2023，49(4)：50-61. DOI: 10.13272/j.issn.1671-251x.2022100093
shu

基于云边协同的煤矿井下尺度自适应目标跟踪方法

  • 1.

    西安科技大学 计算机科学与技术学院, 陕西 西安　710054

  • 2.

    西安科技大学 机械工程学院, 陕西 西安　710054

基金项目: 国家重点研发计划资助项目（2019YFB1405000）。
详细信息
    作者简介:

    牟琦(1974—)，女，陕西西安人，副教授，研究方向为计算机视觉和图像处理、人工智能，E-mail：muqi@xust.edu.cn

    通讯作者:

    李占利(1964—)，男，陕西西安人，教授，研究方向为图像处理、视觉计算与可视化，E-mail：lizl@xust.edu.cn。

  • 中图分类号: TD76

A scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration

  • 1.

    College of Computer Science and Technology, Xi'an University of Science and Technology, Xi'an 710054, China

  • 2.

    College of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China

HTML全文

    摘要
  • 摘要: 煤矿井下监控视频中的运动目标通常存在较大的尺度变化和形变，导致基于计算机视觉的目标跟踪算法准确率不高，且海量的视频数据导致基于云端的集中式数据处理方式难以满足目标跟踪的实时性要求。针对上述问题，提出了一种基于云边协同的煤矿井下尺度自适应目标跟踪方法。设计了基于深度估计的尺度自适应目标跟踪算法，通过构建深度−尺度估计模型，利用目标深度值估计尺度值，实现尺度自适应目标跟踪，解决了目标尺度变化和形变导致跟踪准确率不高的问题；设计了一种基于云边协同的智能监控系统架构，将尺度自适应目标跟踪算法细粒度划分后的子模块按所需计算资源分别部署在系统的边缘端和云端，通过边缘端和云端的分布式并行处理提高算法运行效率，解决了集中式数据处理方式实时性差的问题。将基于云边协同的煤矿井下尺度自适应目标跟踪方法应用于煤矿井下视频序列，对其跟踪性能和实时性能进行实验验证，结果表明：与核相关滤波(KCF)、判别型尺度空间跟踪(DSST)算法、基于多特征融合的尺度自适应(SAMF)算法3种经典目标跟踪算法相比，基于深度估计的尺度自适应目标跟踪算法在煤矿井下目标出现较大尺度变化和形变时，具有更高的跟踪精度和成功率；与传统的云计算处理方式相比，基于云边协同的尺度自适应目标跟踪算法部署方式使算法总时延降低了32.55%，有效提升了煤矿井下智能监控系统目标跟踪的实时性能。
    Abstract: The moving targets in coal mine underground monitoring videos often have significant scale changes and deformations. This results in low accuracy of target tracking algorithms based on computer vision. Moreover, the massive amount of video data makes it difficult for centralized cloud-based data processing methods to meet the real-time requirements of target tracking. In order to solve the above problems, a scale-adaptive target tracking method for coal mine underground based on cloud-edge collaboration is proposed. A scale-adaptive target tracking algorithm based on depth estimation is designed. The scale-adaptive target tracking is achieved by constructing a depth-scale estimation model, which uses target depth values to estimate scale values. The problem of low tracking accuracy caused by target scale change and deformation is solved. An intelligent monitoring system architecture based on cloud-edge collaboration is designed. The sub-modules of the scale-adaptive target tracking algorithm, which are divided into fine granularity, are deployed at the edge and cloud of the system according to the required computing resources. The algorithm's operational efficiency is improved through distributed parallel processing at the edge and cloud, solving the problem of poor real-time performance in the centralized data processing. The scale-adaptive target tracking method based on cloud-edge collaboration is applied in coal mine underground video sequences. The tracking performance and real-time performance are verified experimentally. The results show that compared with three classic target tracking algorithms, namely kernel correlation filter (KCF), discriminant scale space tracking (DSST) algorithm, and scale adaptive multiple feature (SAMF) algorithm, the scale-adaptive target tracking algorithm based on depth estimation has higher tracking precision and success rate when there are significant scale changes and deformations in coal mine underground targets. Compared with traditional cloud computing processing methods, the deployment method of scale-adaptive target tracking algorithm based on cloud-edge collaboration reduces the total delay of the algorithm by 32.55%. It effectively improves the real-time performance of target tracking of intelligent monitoring system in coal mine underground.
    • HTML全文

  • 0.   引言

    视频监控是保障煤矿井下安全作业的重要手段[1]。随着智慧矿山[2]建设进程的加快，煤矿井下智能监控[3-5]能够在无人工干预的情况下，利用计算机视觉等技术实现对监控视频图像的自主处理、分析和理解。目标跟踪是指在视频序列的初始帧中指定感兴趣的目标，在后续视频中自动对该目标的位置进行估计[6]。在煤矿井下智能监控系统中，借助目标跟踪技术对井下人员、车辆、运输设备等运动目标进行实时自动跟踪，是进一步分析判断、识别异常等高级视觉任务的基础，有利于及时、准确地发现安全隐患，为煤矿企业的安全管理、生产调度、灾后救援等提供技术支持和保证，对实现煤矿井下智能监控具有重要意义[7-9]。

    近年来，基于相关滤波的目标跟踪算法[10-11]因其较高的效率和较强的鲁棒性逐渐成为目标跟踪领域的主流方法。其核心思想是设计一个滤波器模板，并利用相关运算求解目标响应峰值来确定目标中心位置，实现目标跟踪。核相关滤波(Kernelized Correlation Filter，KCF)[12]算法利用傅里叶变换将滤波器运算从时域变换到频域，采用多通道方向梯度直方(Histogram of Oriented Gradient，HOG)特征代替灰度特征，大幅提高了目标跟踪速度和精度，在环境简单且目标尺度变化不明显时跟踪效果良好。

    煤矿井下摄像机一般沿巷道安装，人员、车辆等运动方向往往与摄像机成像平面呈较大角度，因此，监控视频中的运动目标会出现较大的尺度变化，而KCF算法由于采用固定的跟踪框，无法根据目标的变化动态调整跟踪框尺寸；煤矿井下人员可能出现弯腰、抬手等较大形变的肢体动作，跟踪框内会存在大量的非目标区域，导致滤波器在后续跟踪中学习到错误特征，无法正确跟踪目标；另外，目标跟踪是一个时延敏感性任务，对算法实时性能要求较高[13]，而现有煤矿井下监控系统多采用传统的集中式数据处理方式，将所有终端数据全部传输到云端进行处理[14-15]。随着煤矿井下监控设备增多，海量的数据处理会增加云端服务器的计算压力[16]，且大量数据传输易造成网络拥堵[4, 17]，增加传输时延，难以满足实时性要求。

    针对目标尺度变化问题，M. Danelljan等[18]提出了一种判别型尺度空间跟踪(Discriminative Scale Space Tracking，DSST)算法，通过增加一个尺度滤波器对尺度进行估计，实现对目标的尺度自适应跟踪。Li Yang等[19]提出了一种基于多特征融合的尺度自适应(Scale Adaptive Multiple Feature，SAMF)算法，采用7个不同的尺度因子对跟踪区域进行多尺度采样，得到预测目标的最优尺度，进一步提升了跟踪性能，但无法处理目标形变的情况。孙继平等[20]提出了一种基于压缩感知的实时多尺度跟踪方法，利用尺度不变压缩特征(Scale Invariant Compressed Features，SICF)建立判别式外观模型。当目标在各方向上发生均等尺度变化时，上述方法均能够取得较好的跟踪效果。但当煤矿井下人员出现较大形变时，会存在大量非目标区域的背景噪声，易导致上述方法跟踪失败。

    针对煤矿井下目标跟踪中的形变问题，程健等[21]在跟踪学习检测(Track Learning Detection，TLD)框架基础上，提出一种融合多特征的复杂场景动态目标长时间视觉跟踪算法，使用融合多特征的MeanShift算法替代TLD框架中的光流法，对目标形变有较强的鲁棒性，但由于加入了目标检测模块，导致计算复杂度较大。牟琦等[22]提出了一种基于深度估计的尺度自适应目标跟踪算法，通过构建深度−尺度估计模型，利用目标深度信息估计目标尺度，对目标尺度变化及形变具有很好的适应性，但由于采用左右一致性深度估计网络[23]估计目标深度，导致算法实时性能不高。

    针对煤矿井下采用云端集中处理目标跟踪算法导致跟踪实时性能较差的问题，云边协同技术[24-26]可提供解决方案。该技术将原本在云端处理的部分任务下发到边缘端执行，不仅能缓解云端的计算压力，还能减小带宽消耗。姜德义等[27]设计了一种基于边缘云协同计算架构的智慧矿山技术架构体系，将云计算中处理实时数据的服务卸载至边缘端。陈思光等[17]提出了异步云边协同的深度强化学习算法，可满足大数据场景对高效计算服务的需求。张文柱等[28]提出了基于Docker的云−边−端协同任务卸载框架，解决了多接入移动边缘计算(Moving Edge Calculation，MEC)协同卸载、计算资源分配问题。

    基于以上研究启发，本文提出一种基于云边协同的煤矿井下尺度自适应目标跟踪方法：利用目标深度估计尺度，实现尺度自适应目标跟踪；设计基于云边协同的智能监控系统架构和目标跟踪算法部署策略，以减轻云端的计算压力和网络传输压力，提高煤矿井下跟踪效率。实验结果表明，与经典的目标跟踪算法相比，本文方法在煤矿井下目标出现较大尺度变化和形变时，具有更高的跟踪精度和成功率，且跟踪速度得到显著提升。

    1.   基于深度估计的尺度自适应目标跟踪算法

    1.1   算法思想

    煤矿井下运动目标通常同时存在较大尺度变化及形变，且煤矿井下光照条件非常有限，导致跟踪准确率和成功率不高。由于运动目标的深度和尺度信息之间存在较强的关联性，当目标与摄像机之间的距离发生变化时，目标尺度值会随深度值增大而减小。基于以上原理，对KCF算法[12]进行改进，提出了基于深度估计的尺度自适应目标跟踪算法[22]。

    煤矿井下各监控点摄像机安装高度、角度类似，且安装位置固定，因此，各视频序列中运动目标的深度和尺度信息之间的对应关系近似。可利用煤矿井下监控视频序列作为训练集，构建深度−尺度估计模型，再使用该模型从实时监控视频中估计目标尺度，从而实现尺度自适应目标跟踪。

    1.2   深度−尺度估计模型

    使用煤矿井下视频序列所有帧的目标面积和深度值作为训练数据，构建深度−尺度估计模型，如图1所示。

    图  1  深度−尺度估计模型构建过程
    Figure  1.  Construction process of depth-scale estimation model
    下载: 全尺寸图片 幻灯片

    1) 深度估计。通过左右一致性单目深度估计网络[23]获取第t帧图像的深度值$ {d}_{t} $。

    2) 尺度计算。考虑到不同目标的跟踪框长宽比例不同，且在目标运动过程中可能会产生形变，采用目标面积表示目标尺度。用训练集中第t帧目标面积$ a $t与第1帧目标面积$ {a}_{1} $的比值作为该帧目标尺度值$ {s}_{t} $，即

    $$ {s_t} = \frac{{{a_t}}}{{{a_1}}} $$ (1)

    3) 深度−尺度估计模型构建。由于模型中的尺度值是用跟踪框的面积表示，且深度值和尺度值呈线性关系，所以采用二次多项式函数构建深度−尺度估计模型。

    $$ s({d_t}) = {k_1}{d_t}^{_2} + {k_2}{d_t} + {k_0}$$ (2)

    式中：$ s\left({d}_{t}\right) $为第t帧目标尺度估计值；k1，k2分别为二次项和一次项系数；k0为常数项。

    4) 深度−尺度估计模型训练。采用最小均方误差作为损失函数训练模型，即

    $$ \min \sum\limits_{t = 1}^N {|{{s}}({d_t}) - {s_t}{|^2}} $$ (3)

    式中N为视频序列帧数。

    1.3   尺度自适应目标跟踪算法

    基于深度估计的尺度自适应目标跟踪算法如图2所示。

    图  2  基于深度估计的尺度自适应目标跟踪算法
    Figure  2.  Scale-adaptive target tracking algorithm based on depth estimation
    下载: 全尺寸图片 幻灯片

    1) 预处理。读取煤矿井下视频的第1帧图像，并在第1帧目标周围循环采样得到r个训练样本，对每个训练样本提取HOG特征和颜色(Color Name，CN)特征并融合，得到融合特征$ {{\boldsymbol{F}}}_{r} $，以每个训练样本的目标中心生成相关响应图$ {{\boldsymbol{G}}}_{r} $，进而计算每个样本的滤波模板${\boldsymbol{H}}_r $。

    $$ {{\boldsymbol{H}}_{{r}}} = \frac{{{{\boldsymbol{G}}_r}}}{{{{\boldsymbol{F}}_r}}} $$ (4)

    2) 训练相关滤波模板。使用最小化均方误差(式(5))作为损失函数，训练得到最优解作为第1帧的滤波模板$ {{\boldsymbol{H}}}_{1}^{*} $。

    $$ \min \sum\limits_{r } {|{{\boldsymbol{F}}_r} \odot {\boldsymbol{H}}_1^* - {{\boldsymbol{G}}_{ r}}{|^2}} $$ (5)

    3) 读取下一帧，继续在目标区域循环采样并提取融合特征$ {{\boldsymbol{F}}}_{r} $，根据式(6)计算每一个样本的相关响应图$ {{\boldsymbol{G}}}_{r} $，其中响应值最大的位置即为当前图像帧中的目标位置。

    $$ {{\boldsymbol{G}}_{ r}} = {{\boldsymbol{F}}_{ r}} \odot {\boldsymbol{H}}_{t - 1}^* $$ (6)

    式中$ {{\boldsymbol{H}}}_{t-1}^{*} $为上一帧目标的相关滤波模板。

    4) 利用深度估计网络得到当前帧的目标深度值，通过深度−尺度估计模型估计目标尺度值，调整跟踪框大小。

    5) 判断视频序列是否为最后1帧，若是则结束跟踪，否则根据式(7)将上一帧的滤波模板与当前帧的滤波模板进行加权求和，得到更新后的滤波模板，并重复执行步骤3)—步骤5)，直至跟踪结束。

    $$ {{\boldsymbol{H}}_{{t}}^*} = \eta \frac{{{{\boldsymbol{G}}_t^*}}}{{{{\boldsymbol{F}}_{ t}^*}}} + (1 - \eta ){{\boldsymbol{H}}_{t-1}^*} $$ (7)

    式中：η为学习率，通常取0.125；$ {{\boldsymbol{G}}}_{t}^* $为第t帧的相关响应图；$ {{\boldsymbol{F}}}_{t}^* $为第t帧的融合特征。

    基于深度估计的尺度自适应目标跟踪算法通过深度估计网络获取图像深度信息，无需安装深度摄像头，且无需更新煤矿井下现有硬件设备，不受场景和硬件设备限制。但使用深度估计网络会增大云端计算压力，降低算法在煤矿井下环境的执行效率，因此，深度估计网络成为影响算法执行效率的主要瓶颈。

    对基于深度估计的尺度自适应目标跟踪算法进行细粒度划分，根据功能划分为特征提取、响应图计算、深度估计、深度−尺度估计及模板更新5个相对独立的子模块，各子模块的运行时间如图3所示。

    图  3  目标跟踪算法5个子模块的运行时间
    Figure  3.  Running time of five sub-modules of the target tracking algorithm
    下载: 全尺寸图片 幻灯片

    从图3可看出，采用深度估计网络得到深度图时因计算复杂度高而用时最长，若直接在云端处理会增大云端计算压力。另外，煤矿井下终端设备将获取的原始视频数据直接上传至云端进行处理，数据传输时延非常大。基于此，本文设计了一种基于云边协同的目标跟踪算法部署策略。

    2.   基于云边协同的目标跟踪算法部署策略

    2.1   智能监控系统架构及目标跟踪算法部署

    本文设计了一种基于云边协同的智能监控系统架构，如图4所示。该系统分为终端设备层、边缘服务层和云端服务层。根据所需计算资源不同，将基于深度估计的尺度自适应目标跟踪算法中的特征提取、深度估计和深度−尺度估计3个子模块部署到边缘服务层，响应图计算和模板更新2个子模块部署到云端服务层。

    图  4  基于云边协同的智能监控系统架构
    Figure  4.  Architecture of cloud-edge collaborative intelligent monitoring system
    下载: 全尺寸图片 幻灯片

    终端设备层位于系统架构的最底层，由煤矿井下多个监控摄像头组成，主要负责煤矿井下视频数据采集，并将获取的视频数据上传至边缘服务层。该层只考虑摄像头的设备感知能力，不考虑其计算能力。

    边缘服务层由具有一般计算能力和存储能力的边缘服务器组成，其广泛分布在巷道内。将特征提取、深度估计和深度−尺度估计3个子模块部署于该层，在接收到终端设备层的视频数据后，利用边缘计算就近处理的优势，高速、有效地进行任务处理，将得到的融合特征数据和尺度数据上传至云端服务层，从而减轻云端设备计算压力。

    云端服务层由高性能的集群服务器组成，具有强大的计算能力，且能够协同管理边缘服务层之间的计算资源。该层主要任务是利用边缘服务层上传的融合特征计算响应图，得到当前帧的目标位置；根据尺度数据确定目标尺寸，结合目标位置和目标尺寸确定目标最终位置；更新相关滤波模板参数，并继续进行下一帧跟踪。

    系统的云−边−端三层共同协作完成目标跟踪任务，实现计算资源的协同优化，从而有效解决煤矿井下海量数据处理导致云端计算压力较大和数据传输时延较高的问题，进一步提升算法的实时性能。

    2.2   任务卸载

    任务卸载技术将算法的计算任务卸载至边缘服务器或云端服务器，从而统筹系统资源，加快处理速度。云边协同任务卸载架构如图5所示。设有n台终端设备，边缘服务层有e台边缘服务器为终端设备提供服务。

    图  5  云边协同任务卸载架构
    Figure  5.  Architecture of cloud-side collaborative task unloading
    下载: 全尺寸图片 幻灯片

    由图5可知，目标跟踪算法部署策略在基于云边协同的智能监控系统中执行任务主要存在2个传输时延和2个计算时延，算法总时延为

    $$ T = {T_{{\rm{t}}1}} + {T_{{\rm{t}}2}} + {T_{{\rm{c}}1}} + {T_{{\rm{c}}2}} $$ (8)

    式中：$ {T}_{{\rm{t}}1} $为终端设备将视频序列上传至边缘服务器的视频传输时延；$ {T}_{{\rm{t}}2} $为边缘服务器将子模块处理得到的特征值和尺度值上传至云端服务器的数据传输时延；$ {T}_{{\rm{c}}1} $为边缘服务器完成特征提取、深度估计和深度−尺度估计任务的计算时延；$ {T}_{{\rm{c}}2} $为云端服务器完成响应图计算和模板更新任务的计算时延。

    2.2.1   边缘服务器时延

    终端设备将煤矿井下视频数据上传至边缘服务器进行处理，根据Shannon公式，终端设备i与边缘服务器j之间的传输速率为

    $$ {R_{i,j}} = {B_{i,j}} {\log _2}\left(1 + \frac{{{P_{i,j}} {D_{i,j}}^{}}}{{{\sigma ^2}}}\right) $$ (9)

    式中：$ {B}_{i,j} $为终端设备i与边缘服务器j之间的信道带宽；$ {P}_{i,j} $为终端设备i上传数据至边缘服务器j的传输功率；$ {D}_{i,j} $为终端设备i到边缘服务器j的信道增益；$ {\sigma }^{2} $为传输信道的噪声功率。

    从终端设备i到边缘服务器j的传输时延为

    $$ T_{{\rm{t}}1(i,j)} = \frac{{{b_{\rm{v}}}}}{{{R_{i,j}}}} $$ (10)

    式中$ {b}_{{\rm{v}}} $为原始视频数据量。

    边缘服务器接收终端设备上传的视频序列并执行特征提取、深度估计和深度−尺度估计任务。设边缘服务器j将计算资源$ {y}_{j} $平均分配给n台终端设备，则每台终端设备的计算资源为$ {y}_{j} $/n，边缘服务器j的计算时延为

    $$ T_{{\rm{c}}{1j}} = \frac{{n{C_{j}}}}{{y_{j}}} $$ (11)

    式中$ {C}_{j} $为边缘服务器j完成3个子模块任务所需的CPU周期数，即边缘服务器j的计算能力。

    2.2.2   云端服务器时延

    边缘服务器完成计算任务后，将融合特征和尺度值上传至云端服务器，则从边缘服务器j到云端服务器之间的传输速率为

    $$ {R_{j,{\rm{c}}}} = {B_{j,{\rm{c}}}} {\log _2}\left(1 + \frac{{{P_{j,{\rm{c}}}} {D_{j,{\rm{c}}}}^{}}}{{{\sigma ^2}}}\right) $$ (12)

    式中：$ {B}_{j,{\rm{c}}} $为边缘服务器j与云端服务器间的信道带宽；$ {P}_{j,{\rm{c}}} $为边缘服务器j上传数据至云端服务器的传输功率；$ {D}_{j,{\rm{c}}} $为边缘服务器j到云端服务器的信道增益。

    从边缘服务器j到云端服务器的数据传输时延为

    $$ T_{{\rm{t}}2(j,{\rm{c}})}^{} = \frac{{\max ({b_{\rm{f}}},{b_{\rm{m}}})}}{{{R_{j,{\rm{c}}}}}} $$ (13)

    式中：$ {b}_{{\rm{f}}} $为融合特征数据量；$ {b}_{{\rm{m}}} $为尺度值数据量。

    响应图计算、模板更新任务在云端服务器执行。设云端服务器的计算能力为$ {w}_{{\rm{c}}} $，则在云端服务器上的任务计算时延为

    $$ T_{{\rm{c}}{2_{}}}^{} = \frac{{{C_{\rm{c}}}}}{{{w_{\rm{c}}}}} $$ (14)

    式中$ {C}_{{\rm{c}}} $为云端服务器完成任务所需的CPU周期数。

    3.   实验及结果分析

    3.1   实验环境及配置

    基于云边协同的煤矿井下尺度自适应目标跟踪实验环境配置见表1。

    表  1  煤矿井下尺度自适应目标跟踪实验环境配置
    Table  1.  Experimental environment configuration of coal mine underground scale-adaptive target tracking method
    实验环境配置
    边缘服务器CPUAMD Ryzen 5 5600H with Radeon Graphics 3.30 GHz
    GPUGeForce RTX 3050
    系统Windows10
    云端服务器CPUIntel Xeon E5−2680 v2
    GPUNVIDIA GeForce GTX TITAN Z
    系统centos7
    编程语言Matlab
    下载: 导出CSV 
    | 显示表格

    任务卸载相关参数配置见表2，设定每台边缘服务器的性能指标相同。

    表  2  任务卸载相关参数配置
    Table  2.  Parameters configuration related to task unloading
    设备参数值
    终端设备$ {B}_{i,j} $/MHz100
    $ {P}_{i,j} $/W0.1
    ${D}_{i,j} $[0.1,1.0]
    边缘服务器$ {B}_{j,{\rm{c}}} $/MHz200
    $ {P}_{j,{\rm{c}}} $/W0.5
    $ {y}_{j} $/GHz10
    $ {C}_{j} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $)200
    $ D_{j,{\rm{c}}} $[0.1,1.0]
    云端服务器$ {w}_{{\rm{c}}} $/GHz100
    $ {C}_{{\rm{c}}} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $)50
    $ {\sigma }^{2} $/dBm100
    其他$ {b}_{{\rm{v}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,100]
    $ {b}_{{\rm{f}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,5]
    $ {b}_{{\rm{m}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,5]
    下载: 导出CSV 
    | 显示表格

    3.2   数据集与评价指标

    实验数据来自目标跟踪标准数据集OTB−100中的30个视频序列和自建的10个煤矿井下数据集，所选择的煤矿井下视频序列均具备摄像头位置固定、目标尺度变化或形变较大的特点，采集条件为煤矿井下正常工作场景，跟踪目标为煤矿井下作业人员，标定工具为LabelImg。

    采用精度和成功率作为评价指标来综合评价目标跟踪算法的性能。精度为真实目标与预测目标中心位置误差小于设定阈值的帧数与视频序列总帧数的比值。成功率为真实目标和预测目标的重叠率大于设定阈值的帧数与视频序列总帧数的比值。

    目标跟踪算法实验参数设置：学习率为0.125，高斯核函数的标准差为0.5，正则化参数为0.000 1，模板更新率为0.01。

    3.3   基于深度估计的尺度自适应目标跟踪算法实验

    3.3.1   深度−尺度估计模型实验

    使用自建的煤矿井下数据集训练深度−尺度估计模型，该数据集中视频序列目标在移动过程中存在尺度变化。视频序列中部分帧的原始RGB图像和使用深度估计网络得到的深度图像如图6所示。

    图  6  煤矿井下视频序列部分帧的RGB图像和深度图像
    Figure  6.  Part of RGB images and depth images of a coal mine underground video sequence
    下载: 全尺寸图片 幻灯片

    深度−尺度估计模型实验结果如图7所示。蓝色散点表示序列每一帧目标的深度值和尺度值。为了提高模型可靠性，对蓝色散点进行平滑处理，结果为图中绿色散点。对绿色散点进行拟合，得到红色曲线，即深度−尺度估计模型。

    图  7  深度−尺度估计模型实验结果
    Figure  7.  Experimental results of depth-scale estimation model
    下载: 全尺寸图片 幻灯片
    3.3.2   尺度自适应目标跟踪实验

    为了验证基于深度估计的尺度自适应目标跟踪算法在尺度变化、形变等因素影响下的跟踪性能，将其与KCF算法、DSST算法、SAMF算法进行对比，从定性和定量2个方面对实验结果进行综合分析。

    1) 定性分析。采用4种目标跟踪算法对煤矿井下视频序列和OTB−100数据集中视频序列进行目标跟踪实验，部分结果如图8、图9所示。

    图  8  4种算法对煤矿井下数据集的目标跟踪结果
    Figure  8.  Target tracking results of four algorithms for coal mine underground data set
    下载: 全尺寸图片 幻灯片
    图  9  4种算法对OTB−100数据集的目标跟踪结果
    Figure  9.  Target tracking results of four algorithms for OTB-100 standard data set
    下载: 全尺寸图片 幻灯片

    由图8可看出，Video1序列中光照度低且目标尺度变化较大。第49帧时，各算法都能有效跟踪；第113帧至第193帧目标均发生尺度变化，此时KCF算法因采用固定模板，跟踪框内引入较多背景信息，DSST算法和SAMF算法虽然都加入了尺度调整，但是对目标跟踪不够精准；第285帧至第347帧目标尺度变化明显，此时KCF算法、DSST算法、SAMF算法都不能精准跟踪目标，本文算法能够随目标尺度变化自适应调整跟踪框，且使用融合后的HOG特征和CN特征提升了目标的特征表达能力，使算法在光照度特别低的煤矿井下环境中能准确跟踪目标。

    Video2序列中目标尺度和形变都较大。第65帧至第90帧目标出现不同程度的形变，本文算法能够稳定跟踪，其他算法均发生一定程度的跟踪漂移；第114帧至第159帧目标发生较大形变，此时KCF算法、DSST算法和SAMF算法无法持续准确跟踪，本文算法能够自适应调整跟踪框尺度及比例，跟踪准确率更高，在煤矿井下环境中目标同时出现较大尺度变化和形变时鲁棒性更好。

    Video3序列中同样存在目标尺度变化和形变的情况。第22帧至第80帧各算法都能跟踪到目标；第100帧时，由于目标与背景较为相似，KCF算法受到背景信息的干扰，开始出现跟踪漂移情况；第153帧至第215帧目标发生明显的尺度变化和形变，此时KCF算法丢失跟踪目标，DSST算法和SAMF算法对目标不能准确跟踪，而本文算法能够根据目标的变化进行自适应调整，具有良好的跟踪性能。

    为了验证本文算法的泛化性，对OTB−100数据集中的Human7和BlueCar2视频序列进行跟踪实验。从图9可看出，Human7序列中目标尺度变化较大。第32帧时，所有算法均能准确跟踪；第84帧时，目标发生较明显尺度变化，SAMF算法出现跟踪漂移；第128帧至第250帧KCF算法、DSST算法和SAMF算法均出现了跟踪丢失的现象，本文算法能够准确跟踪，对目标发生较大尺度变化的情况具有良好的适应性。

    BlurCar2序列中目标尺度变化较大并伴有快速运动的情况。第84帧时，各算法都能准确跟踪；第130帧至第585帧KCF算法不能自适应调整跟踪框，SAMF算法和DSST算法均无法与目标尺度匹配，跟踪框存在一定的偏差，而本文算法利用深度−尺度估计模型估计目标尺度，因此在目标发生较大尺度变化和形变时对跟踪目标的位置和尺度估计更加准确。

    2) 定量分析。采用一次性通过评估(One-Pass Evaluation，OPE)评价准则得到跟踪精度和成功率曲线，如图10、图11所示。可看出本文算法在煤矿井下数据集中的跟踪精度为0.984，成功率为0.875；在OTB−100数据集上的跟踪精度为0.764，成功率为0.616。相较于其他3种算法，本文算法无论是在OTB−100数据集还是煤矿井下数据集上，目标跟踪的精度和成功率均优于其他算法。

    图  10  目标跟踪算法在煤矿井下数据集上的精度和成功率
    Figure  10.  Tracking accuracy and success rate of four target tracking algorithms for coal mine underground data set
    下载: 全尺寸图片 幻灯片
    图  11  目标跟踪算法在OTB−100数据集上的精度和成功率
    Figure  11.  Tracking accuracy and success rate of four target tracking algorithms for OTB-100 data set
    下载: 全尺寸图片 幻灯片

    3.4   基于云边协同的目标跟踪算法部署实验

    分别采用传统云计算方式和云边协同方式对基于深度估计的尺度自适应目标跟踪算法进行部署，选择6个煤矿井下视频序列（数据信息见表3）作为测试集，对比算法的局部时延（包括传输时延和计算时延）和总时延。

    表  3  煤矿井下视频序列数据信息
    Table  3.  Video sequence data information of coal mine underground
    视频序列帧数主要影响因素
    Video1355尺度变化
    Video2170目标形变、背景杂乱
    Video3181光照不均、尺度变化
    Video4297光照极度不足、目标形变
    Video5215目标形变
    Video6286尺度变化
    下载: 导出CSV 
    | 显示表格
    3.4.1   局部时延对比

    将特征提取、深度估计和深度−尺度估计3个子模块部署在边缘服务器，采用式(9)−式(14)计算目标跟踪算法的传输时延和计算时延，并与传统的云计算方式进行对比，结果见表4，局部时延曲线如图12所示。

    表  4  目标跟踪算法在2种部署方式下的传输时延和计算时延计算结果
    Table  4.  Calculated transmission delay and calculation delay of the proposed target tracking algorithm under two deployment modes ms
    视频序列云边协同方式云计算方式
    传输时延计算时延传输时延计算时延
    Video122.4910.012 78209.559 60.004 61
    Video223.3610.013 41190.456 90.004 73
    Video321.4360.012 13205.454 90.004 47
    Video422.2670.011 98193.576 80.004 34
    Video521.8790.015 76200.177 40.004 91
    Video621.2530.013 05193.115 10.004 39
    Total132.6870.079 11 1 192.340 70.027 45
    　注：黑体数据为最优结果。
    下载: 导出CSV 
    | 显示表格
    图  12  目标跟踪算法在2种部署方式下的局部时延曲线
    Figure  12.  Local delay curves of the proposed target tracking algorithm under two deployment modes
    下载: 全尺寸图片 幻灯片

    由表4可知，由于云端服务器具有强大的计算能力，平均计算时延比边缘服务器少65.3%；云端服务器距离终端设备较远，数据传输时延明显偏高，边缘服务器距离终端设备较近，平均传输时延比云端服务器少88.87%。由图12可知，综合计算时延和传输时延，采用云边协同方式部署目标跟踪算法时，局部时延明显低于传统云计算方式，说明将3个子模块部署在边缘服务器能够显著降低数据传输时延，提高实时性能。

    3.4.2   总时延对比

    分别采用传统云计算方式和云边协同方式对基于深度估计的尺度自适应目标跟踪算法进行部署，计算算法的总时延。采用1组边缘服务器处理6个视频序列，总时延计算结果见表5，总时延曲线如图13所示。可看出采用云边协同方式部署目标跟踪算法时，算法总时延减少了32.55%，明显优于传统云计算方式。

    表  5  目标跟踪算法在2种部署方式下的总时延计算结果
    Table  5.  Calculated overall delay of the proposed target tracking algorithm under two deployment modes ms
    视频序列总时延
    云计算方式云边协同方式
    Video1209.567 6139.916 7
    Video2190.465 3140.214 6
    Video3205.462 5130.169 8
    Video4193.584 6134.247 2
    Video5200.186 1130.744 2
    Video6193.123 8128.929 4
    Total1 192.389 9804.221 9
    　注：黑体数据为最优结果。
    下载: 导出CSV 
    | 显示表格
    图  13  目标跟踪算法在2种部署方式下的总时延曲线
    Figure  13.  Overall delay curves of the proposed target tracking algorithm under two deployment mode
    下载: 全尺寸图片 幻灯片

    煤矿井下场景中监测点众多，视频数据量非常大，智能监控系统中通常设置多台边缘服务器，每台边缘服务器负责处理1组终端设备采集的视频，各边缘服务器并行工作，从而大幅提高目标跟踪算法的整体运行效率。设系统中共有e台边缘服务器，每台边缘服务器同时处理表3中的1组视频序列，分别计算e=1，2，…，6，传输信道数量M=12，18时，目标跟踪算法处理所有视频序列的局部时延和总时延，并与传统的云计算方式对比，计算结果见表6，总时延曲线如图14所示。可看出采用传统云计算方式时，因所有视频均需上传至云端服务器排队处理，所以目标跟踪算法总时延随视频增加而线性增大；采用云边协同方式部署时，算法中部分模块可在各边缘服务器并行运算，将结果上传至云端服务器后再排队处理，尽管算法运行过程中数据的传输时延受终端设备到边缘服务器、边缘服务器到云端服务器传输带宽的约束，计算时延受云端服务器计算能力的约束，但由于计算量较大的任务已由边缘服务器完成，云端服务器整体压力明显减小，因此总时延明显低于传统云计算方式，且随着边缘服务器数量和传输带宽增加，传输速度优势更明显。

    表  6  不同边缘服务器数量下目标跟踪算法时延
    Table  6.  Delay of the proposed target tracking algorithm under different groups of edge servers
    边缘服务器
    数量/台    		视频序列
    数量/个    		传统云计算
    总时延/ms    		M=12时云边协同时延/msM=18时云边协同时延/ms
    边缘端云端总时延边缘端云端总时延
    传输时延计算时延传输时延计算时延传输时延计算时延传输时延计算时延
    161192.3899132.6870.0791671.4290.0263804.2219132.6870.0791671.4290.0263804.2219
    2122384.7798132.6870.0791671.4290.0526804.2481132.6870.0791671.4290.0526804.2481
    3183577.1697265.3740.07911342.8590.07891608.391132.6870.0791671.4290.0789804.2744
    4244769.5596265.3710.07911342.8590.10521608.417265.3740.07911342.8590.10521608.417
    5305961.9495398.0610.07912014.2880.13152412.560265.3740.07911342.8590.13151608.443
    6367154.3394398.0610.07912014.2880.15782412.586265.3740.07911342.8590.15781608.470
    　注：黑体数据为最优结果。
    下载: 导出CSV 
    | 显示表格
    图  14  不同边缘服务器数量下目标跟踪算法总时延曲线
    Figure  14.  Overall delay curves of the proposed target tracking algorithm under different groups of edge servers
    下载: 全尺寸图片 幻灯片

    4.   结论

    1） 将基于深度估计的尺度自适应目标跟踪算法应用于煤矿井下环境，利用深度−尺度估计模型解决了目标均等尺度变化、非均等尺度变化和形变的问题。

    2） 设计了基于云边协同的智能监控系统架构，对目标跟踪算法进行细粒度划分，利用云边协同方式将目标跟踪算法各子模块合理部署至云端服务器或边缘服务器，实现了目标跟踪任务在云端服务器和边缘服务器的协同优化，有效降低了目标跟踪算法总时延，提升了煤矿井下目标跟踪的实时性能。

    3） 通过实验证明了基于深度估计的尺度自适应目标跟踪算法用于煤矿井下具有良好的跟踪精度和成功率，且采用云边协同的目标跟踪算法部署策略有效降低了算法的局部时延和总时延，显著提高了煤矿井下监控系统的目标跟踪速度。

    4） 基于云边协同的智能监控系统架构和目标跟踪算法部署策略充分发挥了边缘计算和云计算协同的优势，为煤矿井下智能监控提供了一种新的解决方案，其设计思路也可应用于其他算法。

  • 图  1   深度−尺度估计模型构建过程

    Figure  1.   Construction process of depth-scale estimation model

    下载: 全尺寸图片 幻灯片

    图  2   基于深度估计的尺度自适应目标跟踪算法

    Figure  2.   Scale-adaptive target tracking algorithm based on depth estimation

    下载: 全尺寸图片 幻灯片

    图  3   目标跟踪算法5个子模块的运行时间

    Figure  3.   Running time of five sub-modules of the target tracking algorithm

    下载: 全尺寸图片 幻灯片

    图  4   基于云边协同的智能监控系统架构

    Figure  4.   Architecture of cloud-edge collaborative intelligent monitoring system

    下载: 全尺寸图片 幻灯片

    图  5   云边协同任务卸载架构

    Figure  5.   Architecture of cloud-side collaborative task unloading

    下载: 全尺寸图片 幻灯片

    图  6   煤矿井下视频序列部分帧的RGB图像和深度图像

    Figure  6.   Part of RGB images and depth images of a coal mine underground video sequence

    下载: 全尺寸图片 幻灯片

    图  7   深度−尺度估计模型实验结果

    Figure  7.   Experimental results of depth-scale estimation model

    下载: 全尺寸图片 幻灯片

    图  8   4种算法对煤矿井下数据集的目标跟踪结果

    Figure  8.   Target tracking results of four algorithms for coal mine underground data set

    下载: 全尺寸图片 幻灯片

    图  9   4种算法对OTB−100数据集的目标跟踪结果

    Figure  9.   Target tracking results of four algorithms for OTB-100 standard data set

    下载: 全尺寸图片 幻灯片

    图  10   目标跟踪算法在煤矿井下数据集上的精度和成功率

    Figure  10.   Tracking accuracy and success rate of four target tracking algorithms for coal mine underground data set

    下载: 全尺寸图片 幻灯片

    图  11   目标跟踪算法在OTB−100数据集上的精度和成功率

    Figure  11.   Tracking accuracy and success rate of four target tracking algorithms for OTB-100 data set

    下载: 全尺寸图片 幻灯片

    图  12   目标跟踪算法在2种部署方式下的局部时延曲线

    Figure  12.   Local delay curves of the proposed target tracking algorithm under two deployment modes

    下载: 全尺寸图片 幻灯片

    图  13   目标跟踪算法在2种部署方式下的总时延曲线

    Figure  13.   Overall delay curves of the proposed target tracking algorithm under two deployment mode

    下载: 全尺寸图片 幻灯片

    图  14   不同边缘服务器数量下目标跟踪算法总时延曲线

    Figure  14.   Overall delay curves of the proposed target tracking algorithm under different groups of edge servers

    下载: 全尺寸图片 幻灯片

    表  1   煤矿井下尺度自适应目标跟踪实验环境配置

    Table  1   Experimental environment configuration of coal mine underground scale-adaptive target tracking method

    实验环境配置
    边缘服务器CPUAMD Ryzen 5 5600H with Radeon Graphics 3.30 GHz
    GPUGeForce RTX 3050
    系统Windows10
    云端服务器CPUIntel Xeon E5−2680 v2
    GPUNVIDIA GeForce GTX TITAN Z
    系统centos7
    编程语言Matlab
    下载: 导出CSV

    表  2   任务卸载相关参数配置

    Table  2   Parameters configuration related to task unloading

    设备参数值
    终端设备$ {B}_{i,j} $/MHz100
    $ {P}_{i,j} $/W0.1
    ${D}_{i,j} $[0.1,1.0]
    边缘服务器$ {B}_{j,{\rm{c}}} $/MHz200
    $ {P}_{j,{\rm{c}}} $/W0.5
    $ {y}_{j} $/GHz10
    $ {C}_{j} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $)200
    $ D_{j,{\rm{c}}} $[0.1,1.0]
    云端服务器$ {w}_{{\rm{c}}} $/GHz100
    $ {C}_{{\rm{c}}} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $)50
    $ {\sigma }^{2} $/dBm100
    其他$ {b}_{{\rm{v}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,100]
    $ {b}_{{\rm{f}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,5]
    $ {b}_{{\rm{m}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)[1,5]
    下载: 导出CSV

    表  3   煤矿井下视频序列数据信息

    Table  3   Video sequence data information of coal mine underground

    视频序列帧数主要影响因素
    Video1355尺度变化
    Video2170目标形变、背景杂乱
    Video3181光照不均、尺度变化
    Video4297光照极度不足、目标形变
    Video5215目标形变
    Video6286尺度变化
    下载: 导出CSV

    表  4   目标跟踪算法在2种部署方式下的传输时延和计算时延计算结果

    Table  4   Calculated transmission delay and calculation delay of the proposed target tracking algorithm under two deployment modes ms

    视频序列云边协同方式云计算方式
    传输时延计算时延传输时延计算时延
    Video122.4910.012 78209.559 60.004 61
    Video223.3610.013 41190.456 90.004 73
    Video321.4360.012 13205.454 90.004 47
    Video422.2670.011 98193.576 80.004 34
    Video521.8790.015 76200.177 40.004 91
    Video621.2530.013 05193.115 10.004 39
    Total132.6870.079 11 1 192.340 70.027 45
    　注：黑体数据为最优结果。
    下载: 导出CSV

    表  5   目标跟踪算法在2种部署方式下的总时延计算结果

    Table  5   Calculated overall delay of the proposed target tracking algorithm under two deployment modes ms

    视频序列总时延
    云计算方式云边协同方式
    Video1209.567 6139.916 7
    Video2190.465 3140.214 6
    Video3205.462 5130.169 8
    Video4193.584 6134.247 2
    Video5200.186 1130.744 2
    Video6193.123 8128.929 4
    Total1 192.389 9804.221 9
    　注：黑体数据为最优结果。
    下载: 导出CSV

    表  6   不同边缘服务器数量下目标跟踪算法时延

    Table  6   Delay of the proposed target tracking algorithm under different groups of edge servers

    边缘服务器
    数量/台    		视频序列
    数量/个    		传统云计算
    总时延/ms    		M=12时云边协同时延/msM=18时云边协同时延/ms
    边缘端云端总时延边缘端云端总时延
    传输时延计算时延传输时延计算时延传输时延计算时延传输时延计算时延
    161192.3899132.6870.0791671.4290.0263804.2219132.6870.0791671.4290.0263804.2219
    2122384.7798132.6870.0791671.4290.0526804.2481132.6870.0791671.4290.0526804.2481
    3183577.1697265.3740.07911342.8590.07891608.391132.6870.0791671.4290.0789804.2744
    4244769.5596265.3710.07911342.8590.10521608.417265.3740.07911342.8590.10521608.417
    5305961.9495398.0610.07912014.2880.13152412.560265.3740.07911342.8590.13151608.443
    6367154.3394398.0610.07912014.2880.15782412.586265.3740.07911342.8590.15781608.470
    　注：黑体数据为最优结果。
    下载: 导出CSV
    • 参考文献(28)
  • [1] 王国法,赵国瑞,胡亚辉. 5G技术在煤矿智能化中的应用展望[J]. 煤炭学报,2020,45(1):16-23.

    WANG Guofa,ZHAO Guorui,HU Yahui. Application prospect of 5G technology in coal mine intelligence[J]. Journal of China Coal Society,2020,45(1):16-23.
    [2] 丁恩杰,俞啸,夏冰,等. 矿山信息化发展及以数字孪生为核心的智慧矿山关键技术[J]. 煤炭学报,2022,47(1):564-578.

    DING Enjie,YU Xiao,XIA Bing,et al. Development of mine informatization and key technologies of intelligent mines[J]. Journal of China Coal Society,2022,47(1):564-578.
    [3] 陈龙,王晓,杨健健,等. 平行矿山:从数字孪生到矿山智能[J]. 自动化学报,2021,47(7):1633-1645.

    CHEN Long,WANG Xiao,YANG Jianjian,et al. Parallel mining operating systems:from digital twins to mining intelligence[J]. Acta Automatica Sinica,2021,47(7):1633-1645.
    [4] 孙彦景,霍羽,陈岩,等. 矿山动态协同作业场景无线通信关键技术[J]. 煤炭学报,2021,46(1):321-332.

    SUN Yanjing,HUO Yu,CHEN Yan,et al. Key technology of service attribute driven wireless communication for dynamic cooperative operations in mining scenarios[J]. Journal of China Coal Society,2021,46(1):321-332.
    [5] 王学文,刘曙光,王雪松,等. AR/VR融合驱动的综采工作面智能监控关键技术研究与试验[J]. 煤炭学报,2022,47(2):969-985.

    WANG Xuewen,LIU Shuguang,WANG Xuesong,et al. Research and test on key technologies of intelligent monitoring and control driven by AR/VR for fully mechanized coal-mining face[J]. Journal of China Coal Society,2022,47(2):969-985.
    [6]

    LIU S,LIU D,SRIVASTAVA G,et al. Overview and methods of correlation filter algorithms in object tracking[J]. Complex & Intelligent Systems,2021,7(4):1895-1917.
    [7] 张旭辉,杨文娟,薛旭升,等. 煤矿远程智能掘进面临的挑战与研究进展[J]. 煤炭学报,2022,47(1):579-597.

    ZHANG Xuhui,YANG Wenjuan,XUE Xusheng,et al. Challenges and developing of the intelligent remote controlon roadheaders in coal mine[J]. Journal of China Coal Society,2022,47(1):579-597.
    [8] 张帆,孙晓辉,崔东林. 基于ORB特征的矿井移动目标双目视觉跟踪与定位[J]. 煤炭学报,2018,43(增刊2):654-662.

    ZHANG Fan,SUN Xiaohui,CUI Donglin. Method of tracking and positioning for mobile target based on ORB features and binocular vision in mine[J]. Journal of China Coal Society,2018,43(S2):654-662.
    [9] 刘浩,刘海滨,孙宇,等. 煤矿井下员工不安全行为智能识别系统[J]. 煤炭学报,2021,46(增刊2):1159-1169.

    LIU Hao,LIU Haibin,SUN Yu,et al. Intelligent recognition system of unsafe behavior of underground coal miners[J]. Journal of China Coal Society,2021,46(S2):1159-1169.
    [10]

    BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, 2010: 2544-2550.
    [11]

    HENRIQUES J F, CASEIRO R, MARTINES P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]. European Conference on Computer Vision, Berlin, 2012: 702-715.
    [12]

    HENRIQUES J F,CASEIRO R,MARTINS P,et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,37(3):583-596.
    [13] 覃剑,石昌伟,张媛,等. 边缘视频处理的细粒度划分与重组部署算法[J]. 电子学报,2021,49(11):2152-2159.

    QIN Jian,SHI Changwei,ZHANG Yuan,et al. Fine-grained partitioning and reorganization deployment strategy of edge video processing[J]. Acta Electronica Sinica,2021,49(11):2152-2159.
    [14] 卢新明,阚淑婷. 煤炭精准开采地质保障与透明地质云计算技术[J]. 煤炭学报,2019,44(8):2296-2305.

    LU Xinming,KAN Shuting. Geological guarantee and transparent geological cloud computing technology of precision coal mining[J]. Journal of China Coal Society,2019,44(8):2296-2305.
    [15] 施巍松,张星洲,王一帆,等. 边缘计算:现状与展望[J]. 计算机研究与发展,2019,56(1):69-89. DOI: 10.7544/issn1000-1239.2019.20180760

    SHI Weisong,ZHANG Xingzhou,WANG Yifan,et al. Edge computing:state-of-the-art and future directions[J]. Journal of Computer Research and Development,2019,56(1):69-89. DOI: 10.7544/issn1000-1239.2019.20180760
    [16] 王国法,杜毅博,任怀伟,等. 智能化煤矿顶层设计研究与实践[J]. 煤炭学报,2020,45(6):1909-1924.

    WANG Guofa,DU Yibo,REN Huaiwei,et al. Top level design and practice of smart coal mines[J]. Journal of China Coal Society,2020,45(6):1909-1924.
    [17] 陈思光,陈佳民,赵传信. 基于深度强化学习的云边协同计算迁移研究[J]. 电子学报,2021,49(1):157-166.

    CHEN Siguang,CHEN Jiamin,ZHAO Chuanxin. Deep reinforcement learning based cloud-edge collaborative computation offloading mechanism[J]. Acta Electronica Sinica,2021,49(1):157-166.
    [18]

    DANELLJAN M, HAGER G, KHAN F, et al. Accurate scale estimation for robust visual tracking[C]. British Machine Vision Conference, Nottingham, 2014: 1-11.
    [19]

    LI Yang, ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[C]. European Conference on Computer Vision Workshops, Zurich, 2014: 254-265.
    [20] 孙继平,贾倪. 矿井视频图像中人员目标匹配与跟踪方法[J]. 中国矿业大学学报,2015,44(3):540-548.

    SUN Jiping,JIA Ni. Human target matching and tracking method in coal mine video[J]. Journal of China University of Mining & Technology,2015,44(3):540-548.
    [21] 程健,陈亮,王凯,等. 一种多特征融合的复杂场景动态目标跟踪算法[J]. 中国矿业大学学报,2021,50(5):1002-1010.

    CHENG Jian,CHEN Liang,WANG Kai,et al. Multi-feature fusion dynamic target tracking algorithm for complex scenes[J]. Journal of China University of Mining & Technology,2021,50(5):1002-1010.
    [22] 牟琦,张寒,何志强,等. 基于深度估计和特征融合的尺度自适应目标跟踪算法[J]. 图学学报,2021,42(4):563-571.

    MU Qi,ZHANG Han,HE Zhiqiang,et al. Scale adaptive target tracking algorithm based on depth estimation and feature fusion[J]. Journal of Graphics,2021,42(4):563-571.
    [23]

    GOARD C, AODHA O M, BROSTOW G J. Unsupervised monocular depth estimation with left-right consistency[C]. Computer Vision and Pattern Recognition, Hawaii, 2017: 6602-6611.
    [24]

    HABER E E,NGUYEN T M,ASSI C. Joint optimization of computational cost and devices energy for task offloading in multi-tier edge-clouds[J]. IEEE Transactions on Communications,2019,67(5):3407-3421. DOI: 10.1109/TCOMM.2019.2895040
    [25]

    CHEN Siguang,ZHENG Yimin,LU Weifeng,et al. Energy optimal dynamic computation offloading for industrial IoT in fog computing[J]. IEEE Transactions on Green Communications and Networking,2019,4(2):566-576.
    [26] 张展,张宪琦,左德承,等. 面向边缘计算的目标追踪应用部署策略研究[J]. 软件学报,2020,31(9):2691-2708.

    ZHANG Zhan,ZHANG Xianqi,ZUO Decheng,et al. Research on target tracking application deployment strategy for edge computing[J]. Journal of Software,2020,31(9):2691-2708.
    [27] 姜德义,魏立科,王翀,等. 智慧矿山边缘云协同计算技术架构与基础保障关键技术探讨[J]. 煤炭学报,2020,45(1):484-492.

    JIANG Deyi,WEI Like,WANG Chong,et al. Discussion on the technology architecture and key basic support technology for intelligent mine edge-cloud collaborative computing[J]. Journal of China Coal Society,2020,45(1):484-492.
    [28] 张文柱,余静华. 移动边缘计算中基于云边端协同的任务卸载策略[J]. 计算机研究与发展,2023,60(2):371-385.

    ZHANG Wenzhu,YU Jinghua. Task offloading strategy in mobile edge computing based on cloud-edge-end cooperation[J]. Journal of Computer Research and Development,2023,60(2):371-385.
    • 相关文章
    • 施引文献(8)

  • 期刊类型引用(8)

    1. 杨平. 基于机器视觉的煤矿工人违规行为自动识别方法. 自动化应用. 2025(02): 10-12 . 百度学术
    2. 谷彬，刘清. 煤矿综采工作面监控视频图像识别系统. 煤矿机械. 2025(03): 198-201 . 百度学术
    3. 路洋，董立红，叶鸥. 基于自适应链接优化的井下行人抗遮挡跟踪方法研究. 工矿自动化. 2025(02): 65-75+137 . 本站查看
    4. 高志誉. 一种基于GIS平台的矿山智能管控平台构建与应用. 陕西煤炭. 2024(06): 138-143 . 百度学术
    5. 马孝威，李标. 基于云边协同的带式输送机故障诊断技术. 工矿自动化. 2024(S1): 119-121+150 . 本站查看
    6. 程德强，寇旗旗，江鹤，徐飞翔，宋天舒，王晓艺，钱建生. 全矿井智能视频分析关键技术综述. 工矿自动化. 2023(11): 1-21 . 本站查看
    7. 黄翔，刘晓静，吴文鹏，陈英达，林克全，梁国鹏，梅超宇. 基于云边协同的数字电网通信信息网络安全策略研究. 电力大数据. 2023(10): 42-49 . 百度学术
    8. 马志刚，高照. 云边协同在矿井视频监控系统设计中的应用. 无线互联科技. 2023(19): 79-81 . 百度学术

    其他类型引用(0)

    • 资源附件(0)
图(14)  /  表(6)
计量
  • 文章访问数:  225
  • HTML全文浏览量:  61
  • PDF下载量:  35
  • 被引次数: 8
出版历程
  • 收稿日期:  2022-10-30
  • 修回日期:  2023-04-07
  • 网络出版日期:  2023-04-26
  • 刊出日期:  2023-04-24

目录

摘要
HTML全文

  • 0.   引言

  • 1.   基于深度估计的尺度自适应目标跟踪算法

  • 1.1   算法思想

  • 1.2   深度−尺度估计模型

  • 1.3   尺度自适应目标跟踪算法

  • 2.   基于云边协同的目标跟踪算法部署策略

  • 2.1   智能监控系统架构及目标跟踪算法部署

  • 2.2   任务卸载

  • 2.2.1   边缘服务器时延
  • 2.2.2   云端服务器时延

  • 3.   实验及结果分析

  • 3.1   实验环境及配置

  • 3.2   数据集与评价指标

  • 3.3   基于深度估计的尺度自适应目标跟踪算法实验

  • 3.3.1   深度−尺度估计模型实验
  • 3.3.2   尺度自适应目标跟踪实验

  • 3.4   基于云边协同的目标跟踪算法部署实验

  • 3.4.1   局部时延对比
  • 3.4.2   总时延对比

  • 4.   结论

参考文献(28)
相关文章
施引文献
资源附件(0)

/

返回文章
返回

苏ICP备 05016349号-2

本系统由 北京仁和汇智信息技术有限公司 开发  访问量：1151732    百度统计