0.   引言

视频监控是保障煤矿井下安全作业的重要手段^[1]。随着智慧矿山^[2]建设进程的加快，煤矿井下智能监控^[3-5]能够在无人工干预的情况下，利用计算机视觉等技术实现对监控视频图像的自主处理、分析和理解。目标跟踪是指在视频序列的初始帧中指定感兴趣的目标，在后续视频中自动对该目标的位置进行估计^[6]。在煤矿井下智能监控系统中，借助目标跟踪技术对井下人员、车辆、运输设备等运动目标进行实时自动跟踪，是进一步分析判断、识别异常等高级视觉任务的基础，有利于及时、准确地发现安全隐患，为煤矿企业的安全管理、生产调度、灾后救援等提供技术支持和保证，对实现煤矿井下智能监控具有重要意义^[7-9]。

近年来，基于相关滤波的目标跟踪算法^[10-11]因其较高的效率和较强的鲁棒性逐渐成为目标跟踪领域的主流方法。其核心思想是设计一个滤波器模板，并利用相关运算求解目标响应峰值来确定目标中心位置，实现目标跟踪。核相关滤波(Kernelized Correlation Filter，KCF)^[12]算法利用傅里叶变换将滤波器运算从时域变换到频域，采用多通道方向梯度直方(Histogram of Oriented Gradient，HOG)特征代替灰度特征，大幅提高了目标跟踪速度和精度，在环境简单且目标尺度变化不明显时跟踪效果良好。

煤矿井下摄像机一般沿巷道安装，人员、车辆等运动方向往往与摄像机成像平面呈较大角度，因此，监控视频中的运动目标会出现较大的尺度变化，而KCF算法由于采用固定的跟踪框，无法根据目标的变化动态调整跟踪框尺寸；煤矿井下人员可能出现弯腰、抬手等较大形变的肢体动作，跟踪框内会存在大量的非目标区域，导致滤波器在后续跟踪中学习到错误特征，无法正确跟踪目标；另外，目标跟踪是一个时延敏感性任务，对算法实时性能要求较高^[13]，而现有煤矿井下监控系统多采用传统的集中式数据处理方式，将所有终端数据全部传输到云端进行处理^[14-15]。随着煤矿井下监控设备增多，海量的数据处理会增加云端服务器的计算压力^[16]，且大量数据传输易造成网络拥堵^{[4, 17]}，增加传输时延，难以满足实时性要求。

针对目标尺度变化问题，M. Danelljan等^[18]提出了一种判别型尺度空间跟踪(Discriminative Scale Space Tracking，DSST)算法，通过增加一个尺度滤波器对尺度进行估计，实现对目标的尺度自适应跟踪。Li Yang等^[19]提出了一种基于多特征融合的尺度自适应(Scale Adaptive Multiple Feature，SAMF)算法，采用7个不同的尺度因子对跟踪区域进行多尺度采样，得到预测目标的最优尺度，进一步提升了跟踪性能，但无法处理目标形变的情况。孙继平等^[20]提出了一种基于压缩感知的实时多尺度跟踪方法，利用尺度不变压缩特征(Scale Invariant Compressed Features，SICF)建立判别式外观模型。当目标在各方向上发生均等尺度变化时，上述方法均能够取得较好的跟踪效果。但当煤矿井下人员出现较大形变时，会存在大量非目标区域的背景噪声，易导致上述方法跟踪失败。

针对煤矿井下目标跟踪中的形变问题，程健等^[21]在跟踪学习检测(Track Learning Detection，TLD)框架基础上，提出一种融合多特征的复杂场景动态目标长时间视觉跟踪算法，使用融合多特征的MeanShift算法替代TLD框架中的光流法，对目标形变有较强的鲁棒性，但由于加入了目标检测模块，导致计算复杂度较大。牟琦等^[22]提出了一种基于深度估计的尺度自适应目标跟踪算法，通过构建深度−尺度估计模型，利用目标深度信息估计目标尺度，对目标尺度变化及形变具有很好的适应性，但由于采用左右一致性深度估计网络^[23]估计目标深度，导致算法实时性能不高。

针对煤矿井下采用云端集中处理目标跟踪算法导致跟踪实时性能较差的问题，云边协同技术^[24-26]可提供解决方案。该技术将原本在云端处理的部分任务下发到边缘端执行，不仅能缓解云端的计算压力，还能减小带宽消耗。姜德义等^[27]设计了一种基于边缘云协同计算架构的智慧矿山技术架构体系，将云计算中处理实时数据的服务卸载至边缘端。陈思光等^[17]提出了异步云边协同的深度强化学习算法，可满足大数据场景对高效计算服务的需求。张文柱等^[28]提出了基于Docker的云−边−端协同任务卸载框架，解决了多接入移动边缘计算(Moving Edge Calculation，MEC)协同卸载、计算资源分配问题。

基于以上研究启发，本文提出一种基于云边协同的煤矿井下尺度自适应目标跟踪方法：利用目标深度估计尺度，实现尺度自适应目标跟踪；设计基于云边协同的智能监控系统架构和目标跟踪算法部署策略，以减轻云端的计算压力和网络传输压力，提高煤矿井下跟踪效率。实验结果表明，与经典的目标跟踪算法相比，本文方法在煤矿井下目标出现较大尺度变化和形变时，具有更高的跟踪精度和成功率，且跟踪速度得到显著提升。

1.   基于深度估计的尺度自适应目标跟踪算法

1.1   算法思想

煤矿井下运动目标通常同时存在较大尺度变化及形变，且煤矿井下光照条件非常有限，导致跟踪准确率和成功率不高。由于运动目标的深度和尺度信息之间存在较强的关联性，当目标与摄像机之间的距离发生变化时，目标尺度值会随深度值增大而减小。基于以上原理，对KCF算法^[12]进行改进，提出了基于深度估计的尺度自适应目标跟踪算法^[22]。

煤矿井下各监控点摄像机安装高度、角度类似，且安装位置固定，因此，各视频序列中运动目标的深度和尺度信息之间的对应关系近似。可利用煤矿井下监控视频序列作为训练集，构建深度−尺度估计模型，再使用该模型从实时监控视频中估计目标尺度，从而实现尺度自适应目标跟踪。

1.2   深度−尺度估计模型

使用煤矿井下视频序列所有帧的目标面积和深度值作为训练数据，构建深度−尺度估计模型，如图1所示。

图  1  深度−尺度估计模型构建过程

Figure  1.  Construction process of depth-scale estimation model

下载: 全尺寸图片 幻灯片

1) 深度估计。通过左右一致性单目深度估计网络^[23]获取第t帧图像的深度值$ {d}_{t} $。

2) 尺度计算。考虑到不同目标的跟踪框长宽比例不同，且在目标运动过程中可能会产生形变，采用目标面积表示目标尺度。用训练集中第t帧目标面积$ a $_t与第1帧目标面积$ {a}_{1} $的比值作为该帧目标尺度值$ {s}_{t} $，即

3) 深度−尺度估计模型构建。由于模型中的尺度值是用跟踪框的面积表示，且深度值和尺度值呈线性关系，所以采用二次多项式函数构建深度−尺度估计模型。

式中：$ s\left({d}_{t}\right) $为第t帧目标尺度估计值；k₁，k₂分别为二次项和一次项系数；k₀为常数项。

4) 深度−尺度估计模型训练。采用最小均方误差作为损失函数训练模型，即

式中N为视频序列帧数。

1.3   尺度自适应目标跟踪算法

基于深度估计的尺度自适应目标跟踪算法如图2所示。

图  2  基于深度估计的尺度自适应目标跟踪算法

Figure  2.  Scale-adaptive target tracking algorithm based on depth estimation

下载: 全尺寸图片 幻灯片

1) 预处理。读取煤矿井下视频的第1帧图像，并在第1帧目标周围循环采样得到r个训练样本，对每个训练样本提取HOG特征和颜色(Color Name，CN)特征并融合，得到融合特征$ {{\boldsymbol{F}}}_{r} $，以每个训练样本的目标中心生成相关响应图$ {{\boldsymbol{G}}}_{r} $，进而计算每个样本的滤波模板${\boldsymbol{H}}_r $。

2) 训练相关滤波模板。使用最小化均方误差(式(5))作为损失函数，训练得到最优解作为第1帧的滤波模板$ {{\boldsymbol{H}}}_{1}^{*} $。

3) 读取下一帧，继续在目标区域循环采样并提取融合特征$ {{\boldsymbol{F}}}_{r} $，根据式(6)计算每一个样本的相关响应图$ {{\boldsymbol{G}}}_{r} $，其中响应值最大的位置即为当前图像帧中的目标位置。

式中$ {{\boldsymbol{H}}}_{t-1}^{*} $为上一帧目标的相关滤波模板。

4) 利用深度估计网络得到当前帧的目标深度值，通过深度−尺度估计模型估计目标尺度值，调整跟踪框大小。

5) 判断视频序列是否为最后1帧，若是则结束跟踪，否则根据式(7)将上一帧的滤波模板与当前帧的滤波模板进行加权求和，得到更新后的滤波模板，并重复执行步骤3)—步骤5)，直至跟踪结束。

式中：η为学习率，通常取0.125；$ {{\boldsymbol{G}}}_{t}^* $为第t帧的相关响应图；$ {{\boldsymbol{F}}}_{t}^* $为第t帧的融合特征。

基于深度估计的尺度自适应目标跟踪算法通过深度估计网络获取图像深度信息，无需安装深度摄像头，且无需更新煤矿井下现有硬件设备，不受场景和硬件设备限制。但使用深度估计网络会增大云端计算压力，降低算法在煤矿井下环境的执行效率，因此，深度估计网络成为影响算法执行效率的主要瓶颈。

对基于深度估计的尺度自适应目标跟踪算法进行细粒度划分，根据功能划分为特征提取、响应图计算、深度估计、深度−尺度估计及模板更新5个相对独立的子模块，各子模块的运行时间如图3所示。

图  3  目标跟踪算法5个子模块的运行时间

Figure  3.  Running time of five sub-modules of the target tracking algorithm

下载: 全尺寸图片 幻灯片

从图3可看出，采用深度估计网络得到深度图时因计算复杂度高而用时最长，若直接在云端处理会增大云端计算压力。另外，煤矿井下终端设备将获取的原始视频数据直接上传至云端进行处理，数据传输时延非常大。基于此，本文设计了一种基于云边协同的目标跟踪算法部署策略。

2.   基于云边协同的目标跟踪算法部署策略

2.1   智能监控系统架构及目标跟踪算法部署

本文设计了一种基于云边协同的智能监控系统架构，如图4所示。该系统分为终端设备层、边缘服务层和云端服务层。根据所需计算资源不同，将基于深度估计的尺度自适应目标跟踪算法中的特征提取、深度估计和深度−尺度估计3个子模块部署到边缘服务层，响应图计算和模板更新2个子模块部署到云端服务层。

图  4  基于云边协同的智能监控系统架构

Figure  4.  Architecture of cloud-edge collaborative intelligent monitoring system

下载: 全尺寸图片 幻灯片

终端设备层位于系统架构的最底层，由煤矿井下多个监控摄像头组成，主要负责煤矿井下视频数据采集，并将获取的视频数据上传至边缘服务层。该层只考虑摄像头的设备感知能力，不考虑其计算能力。

边缘服务层由具有一般计算能力和存储能力的边缘服务器组成，其广泛分布在巷道内。将特征提取、深度估计和深度−尺度估计3个子模块部署于该层，在接收到终端设备层的视频数据后，利用边缘计算就近处理的优势，高速、有效地进行任务处理，将得到的融合特征数据和尺度数据上传至云端服务层，从而减轻云端设备计算压力。

云端服务层由高性能的集群服务器组成，具有强大的计算能力，且能够协同管理边缘服务层之间的计算资源。该层主要任务是利用边缘服务层上传的融合特征计算响应图，得到当前帧的目标位置；根据尺度数据确定目标尺寸，结合目标位置和目标尺寸确定目标最终位置；更新相关滤波模板参数，并继续进行下一帧跟踪。

系统的云−边−端三层共同协作完成目标跟踪任务，实现计算资源的协同优化，从而有效解决煤矿井下海量数据处理导致云端计算压力较大和数据传输时延较高的问题，进一步提升算法的实时性能。

2.2   任务卸载

任务卸载技术将算法的计算任务卸载至边缘服务器或云端服务器，从而统筹系统资源，加快处理速度。云边协同任务卸载架构如图5所示。设有n台终端设备，边缘服务层有e台边缘服务器为终端设备提供服务。

图  5  云边协同任务卸载架构

Figure  5.  Architecture of cloud-side collaborative task unloading

下载: 全尺寸图片 幻灯片

由图5可知，目标跟踪算法部署策略在基于云边协同的智能监控系统中执行任务主要存在2个传输时延和2个计算时延，算法总时延为

式中：$ {T}_{{\rm{t}}1} $为终端设备将视频序列上传至边缘服务器的视频传输时延；$ {T}_{{\rm{t}}2} $为边缘服务器将子模块处理得到的特征值和尺度值上传至云端服务器的数据传输时延；$ {T}_{{\rm{c}}1} $为边缘服务器完成特征提取、深度估计和深度−尺度估计任务的计算时延；$ {T}_{{\rm{c}}2} $为云端服务器完成响应图计算和模板更新任务的计算时延。

2.2.1   边缘服务器时延

终端设备将煤矿井下视频数据上传至边缘服务器进行处理，根据Shannon公式，终端设备i与边缘服务器j之间的传输速率为

式中：$ {B}_{i,j} $为终端设备i与边缘服务器j之间的信道带宽；$ {P}_{i,j} $为终端设备i上传数据至边缘服务器j的传输功率；$ {D}_{i,j} $为终端设备i到边缘服务器j的信道增益；$ {\sigma }^{2} $为传输信道的噪声功率。

从终端设备i到边缘服务器j的传输时延为

式中$ {b}_{{\rm{v}}} $为原始视频数据量。

边缘服务器接收终端设备上传的视频序列并执行特征提取、深度估计和深度−尺度估计任务。设边缘服务器j将计算资源$ {y}_{j} $平均分配给n台终端设备，则每台终端设备的计算资源为$ {y}_{j} $/n，边缘服务器j的计算时延为

式中$ {C}_{j} $为边缘服务器j完成3个子模块任务所需的CPU周期数，即边缘服务器j的计算能力。

2.2.2   云端服务器时延

边缘服务器完成计算任务后，将融合特征和尺度值上传至云端服务器，则从边缘服务器j到云端服务器之间的传输速率为

式中：$ {B}_{j,{\rm{c}}} $为边缘服务器j与云端服务器间的信道带宽；$ {P}_{j,{\rm{c}}} $为边缘服务器j上传数据至云端服务器的传输功率；$ {D}_{j,{\rm{c}}} $为边缘服务器j到云端服务器的信道增益。

从边缘服务器j到云端服务器的数据传输时延为

式中：$ {b}_{{\rm{f}}} $为融合特征数据量；$ {b}_{{\rm{m}}} $为尺度值数据量。

响应图计算、模板更新任务在云端服务器执行。设云端服务器的计算能力为$ {w}_{{\rm{c}}} $，则在云端服务器上的任务计算时延为

式中$ {C}_{{\rm{c}}} $为云端服务器完成任务所需的CPU周期数。

3.   实验及结果分析

3.1   实验环境及配置

基于云边协同的煤矿井下尺度自适应目标跟踪实验环境配置见表1。

表  1  煤矿井下尺度自适应目标跟踪实验环境配置

Table  1.  Experimental environment configuration of coal mine underground scale-adaptive target tracking method

实验环境		配置
边缘服务器	CPU	AMD Ryzen 5 5600H with Radeon Graphics 3.30 GHz
	GPU	GeForce RTX 3050
	系统	Windows10
云端服务器	CPU	Intel Xeon E5−2680 v2
	GPU	NVIDIA GeForce GTX TITAN Z
	系统	centos7
编程语言		Matlab

下载: 导出CSV 

| 显示表格

任务卸载相关参数配置见表2，设定每台边缘服务器的性能指标相同。

表  2  任务卸载相关参数配置

Table  2.  Parameters configuration related to task unloading

设备	参数	值
终端设备	$ {B}_{i,j} $/MHz	100
	$ {P}_{i,j} $/W	0.1
	${D}_{i,j} $	[0.1,1.0]
边缘服务器	$ {B}_{j,{\rm{c}}} $/MHz	200
	$ {P}_{j,{\rm{c}}} $/W	0.5
	$ {y}_{j} $/GHz	10
	$ {C}_{j} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $)	200
	$ D_{j,{\rm{c}}} $	[0.1,1.0]
云端服务器	$ {w}_{{\rm{c}}} $/GHz	100
	$ {C}_{{\rm{c}}} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $)	50
	$ {\sigma }^{2} $/dBm	100
其他	$ {b}_{{\rm{v}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)	[1,100]
	$ {b}_{{\rm{f}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)	[1,5]
	$ {b}_{{\rm{m}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $)	[1,5]

下载: 导出CSV 

| 显示表格

3.2   数据集与评价指标

实验数据来自目标跟踪标准数据集OTB−100中的30个视频序列和自建的10个煤矿井下数据集，所选择的煤矿井下视频序列均具备摄像头位置固定、目标尺度变化或形变较大的特点，采集条件为煤矿井下正常工作场景，跟踪目标为煤矿井下作业人员，标定工具为LabelImg。

采用精度和成功率作为评价指标来综合评价目标跟踪算法的性能。精度为真实目标与预测目标中心位置误差小于设定阈值的帧数与视频序列总帧数的比值。成功率为真实目标和预测目标的重叠率大于设定阈值的帧数与视频序列总帧数的比值。

目标跟踪算法实验参数设置：学习率为0.125，高斯核函数的标准差为0.5，正则化参数为0.000 1，模板更新率为0.01。

3.3   基于深度估计的尺度自适应目标跟踪算法实验

3.3.1   深度−尺度估计模型实验

使用自建的煤矿井下数据集训练深度−尺度估计模型，该数据集中视频序列目标在移动过程中存在尺度变化。视频序列中部分帧的原始RGB图像和使用深度估计网络得到的深度图像如图6所示。

图  6  煤矿井下视频序列部分帧的RGB图像和深度图像

Figure  6.  Part of RGB images and depth images of a coal mine underground video sequence

下载: 全尺寸图片 幻灯片

深度−尺度估计模型实验结果如图7所示。蓝色散点表示序列每一帧目标的深度值和尺度值。为了提高模型可靠性，对蓝色散点进行平滑处理，结果为图中绿色散点。对绿色散点进行拟合，得到红色曲线，即深度−尺度估计模型。

图  7  深度−尺度估计模型实验结果

Figure  7.  Experimental results of depth-scale estimation model

下载: 全尺寸图片 幻灯片

3.3.2   尺度自适应目标跟踪实验

为了验证基于深度估计的尺度自适应目标跟踪算法在尺度变化、形变等因素影响下的跟踪性能，将其与KCF算法、DSST算法、SAMF算法进行对比，从定性和定量2个方面对实验结果进行综合分析。

1) 定性分析。采用4种目标跟踪算法对煤矿井下视频序列和OTB−100数据集中视频序列进行目标跟踪实验，部分结果如图8、图9所示。

图  8  4种算法对煤矿井下数据集的目标跟踪结果

Figure  8.  Target tracking results of four algorithms for coal mine underground data set

下载: 全尺寸图片 幻灯片

图  9  4种算法对OTB−100数据集的目标跟踪结果

Figure  9.  Target tracking results of four algorithms for OTB-100 standard data set

下载: 全尺寸图片 幻灯片

由图8可看出，Video1序列中光照度低且目标尺度变化较大。第49帧时，各算法都能有效跟踪；第113帧至第193帧目标均发生尺度变化，此时KCF算法因采用固定模板，跟踪框内引入较多背景信息，DSST算法和SAMF算法虽然都加入了尺度调整，但是对目标跟踪不够精准；第285帧至第347帧目标尺度变化明显，此时KCF算法、DSST算法、SAMF算法都不能精准跟踪目标，本文算法能够随目标尺度变化自适应调整跟踪框，且使用融合后的HOG特征和CN特征提升了目标的特征表达能力，使算法在光照度特别低的煤矿井下环境中能准确跟踪目标。

Video2序列中目标尺度和形变都较大。第65帧至第90帧目标出现不同程度的形变，本文算法能够稳定跟踪，其他算法均发生一定程度的跟踪漂移；第114帧至第159帧目标发生较大形变，此时KCF算法、DSST算法和SAMF算法无法持续准确跟踪，本文算法能够自适应调整跟踪框尺度及比例，跟踪准确率更高，在煤矿井下环境中目标同时出现较大尺度变化和形变时鲁棒性更好。

Video3序列中同样存在目标尺度变化和形变的情况。第22帧至第80帧各算法都能跟踪到目标；第100帧时，由于目标与背景较为相似，KCF算法受到背景信息的干扰，开始出现跟踪漂移情况；第153帧至第215帧目标发生明显的尺度变化和形变，此时KCF算法丢失跟踪目标，DSST算法和SAMF算法对目标不能准确跟踪，而本文算法能够根据目标的变化进行自适应调整，具有良好的跟踪性能。

为了验证本文算法的泛化性，对OTB−100数据集中的Human7和BlueCar2视频序列进行跟踪实验。从图9可看出，Human7序列中目标尺度变化较大。第32帧时，所有算法均能准确跟踪；第84帧时，目标发生较明显尺度变化，SAMF算法出现跟踪漂移；第128帧至第250帧KCF算法、DSST算法和SAMF算法均出现了跟踪丢失的现象，本文算法能够准确跟踪，对目标发生较大尺度变化的情况具有良好的适应性。

BlurCar2序列中目标尺度变化较大并伴有快速运动的情况。第84帧时，各算法都能准确跟踪；第130帧至第585帧KCF算法不能自适应调整跟踪框，SAMF算法和DSST算法均无法与目标尺度匹配，跟踪框存在一定的偏差，而本文算法利用深度−尺度估计模型估计目标尺度，因此在目标发生较大尺度变化和形变时对跟踪目标的位置和尺度估计更加准确。

2) 定量分析。采用一次性通过评估(One-Pass Evaluation，OPE)评价准则得到跟踪精度和成功率曲线，如图10、图11所示。可看出本文算法在煤矿井下数据集中的跟踪精度为0.984，成功率为0.875；在OTB−100数据集上的跟踪精度为0.764，成功率为0.616。相较于其他3种算法，本文算法无论是在OTB−100数据集还是煤矿井下数据集上，目标跟踪的精度和成功率均优于其他算法。

图  10  目标跟踪算法在煤矿井下数据集上的精度和成功率

Figure  10.  Tracking accuracy and success rate of four target tracking algorithms for coal mine underground data set

下载: 全尺寸图片 幻灯片

图  11  目标跟踪算法在OTB−100数据集上的精度和成功率

Figure  11.  Tracking accuracy and success rate of four target tracking algorithms for OTB-100 data set

下载: 全尺寸图片 幻灯片

3.4   基于云边协同的目标跟踪算法部署实验

分别采用传统云计算方式和云边协同方式对基于深度估计的尺度自适应目标跟踪算法进行部署，选择6个煤矿井下视频序列（数据信息见表3）作为测试集，对比算法的局部时延（包括传输时延和计算时延）和总时延。

表  3  煤矿井下视频序列数据信息

Table  3.  Video sequence data information of coal mine underground

视频序列	帧数	主要影响因素
Video1	355	尺度变化
Video2	170	目标形变、背景杂乱
Video3	181	光照不均、尺度变化
Video4	297	光照极度不足、目标形变
Video5	215	目标形变
Video6	286	尺度变化

下载: 导出CSV 

| 显示表格

3.4.1   局部时延对比

将特征提取、深度估计和深度−尺度估计3个子模块部署在边缘服务器，采用式(9)−式(14)计算目标跟踪算法的传输时延和计算时延，并与传统的云计算方式进行对比，结果见表4，局部时延曲线如图12所示。

表  4  目标跟踪算法在2种部署方式下的传输时延和计算时延计算结果

Table  4.  Calculated transmission delay and calculation delay of the proposed target tracking algorithm under two deployment modes ms

视频序列	云边协同方式			云计算方式
	传输时延	计算时延		传输时延	计算时延
Video1	22.491	0.012 78		209.559 6	0.004 61
Video2	23.361	0.013 41		190.456 9	0.004 73
Video3	21.436	0.012 13		205.454 9	0.004 47
Video4	22.267	0.011 98		193.576 8	0.004 34
Video5	21.879	0.015 76		200.177 4	0.004 91
Video6	21.253	0.013 05		193.115 1	0.004 39
Total	132.687	0.079 11		1 192.340 7	0.027 45
注：黑体数据为最优结果。

下载: 导出CSV 

| 显示表格

图  12  目标跟踪算法在2种部署方式下的局部时延曲线

Figure  12.  Local delay curves of the proposed target tracking algorithm under two deployment modes

下载: 全尺寸图片 幻灯片

由表4可知，由于云端服务器具有强大的计算能力，平均计算时延比边缘服务器少65.3%；云端服务器距离终端设备较远，数据传输时延明显偏高，边缘服务器距离终端设备较近，平均传输时延比云端服务器少88.87%。由图12可知，综合计算时延和传输时延，采用云边协同方式部署目标跟踪算法时，局部时延明显低于传统云计算方式，说明将3个子模块部署在边缘服务器能够显著降低数据传输时延，提高实时性能。

3.4.2   总时延对比

分别采用传统云计算方式和云边协同方式对基于深度估计的尺度自适应目标跟踪算法进行部署，计算算法的总时延。采用1组边缘服务器处理6个视频序列，总时延计算结果见表5，总时延曲线如图13所示。可看出采用云边协同方式部署目标跟踪算法时，算法总时延减少了32.55%，明显优于传统云计算方式。

表  5  目标跟踪算法在2种部署方式下的总时延计算结果

Table  5.  Calculated overall delay of the proposed target tracking algorithm under two deployment modes ms

视频序列	总时延
	云计算方式	云边协同方式
Video1	209.567 6	139.916 7
Video2	190.465 3	140.214 6
Video3	205.462 5	130.169 8
Video4	193.584 6	134.247 2
Video5	200.186 1	130.744 2
Video6	193.123 8	128.929 4
Total	1 192.389 9	804.221 9
注：黑体数据为最优结果。

下载: 导出CSV 

| 显示表格

图  13  目标跟踪算法在2种部署方式下的总时延曲线

Figure  13.  Overall delay curves of the proposed target tracking algorithm under two deployment mode

下载: 全尺寸图片 幻灯片

煤矿井下场景中监测点众多，视频数据量非常大，智能监控系统中通常设置多台边缘服务器，每台边缘服务器负责处理1组终端设备采集的视频，各边缘服务器并行工作，从而大幅提高目标跟踪算法的整体运行效率。设系统中共有e台边缘服务器，每台边缘服务器同时处理表3中的1组视频序列，分别计算e=1，2，…，6，传输信道数量M=12，18时，目标跟踪算法处理所有视频序列的局部时延和总时延，并与传统的云计算方式对比，计算结果见表6，总时延曲线如图14所示。可看出采用传统云计算方式时，因所有视频均需上传至云端服务器排队处理，所以目标跟踪算法总时延随视频增加而线性增大；采用云边协同方式部署时，算法中部分模块可在各边缘服务器并行运算，将结果上传至云端服务器后再排队处理，尽管算法运行过程中数据的传输时延受终端设备到边缘服务器、边缘服务器到云端服务器传输带宽的约束，计算时延受云端服务器计算能力的约束，但由于计算量较大的任务已由边缘服务器完成，云端服务器整体压力明显减小，因此总时延明显低于传统云计算方式，且随着边缘服务器数量和传输带宽增加，传输速度优势更明显。

表  6  不同边缘服务器数量下目标跟踪算法时延

Table  6.  Delay of the proposed target tracking algorithm under different groups of edge servers

边缘服务器 数量/台	视频序列 数量/个	传统云计算 总时延/ms	M=12时云边协同时延/ms							M=18时云边协同时延/ms
			边缘端			云端		总时延		边缘端			云端		总时延
			传输时延	计算时延		传输时延	计算时延			传输时延	计算时延		传输时延	计算时延
1	6	1192.3899	132.687	0.0791		671.429	0.0263	804.2219		132.687	0.0791		671.429	0.0263	804.2219
2	12	2384.7798	132.687	0.0791		671.429	0.0526	804.2481		132.687	0.0791		671.429	0.0526	804.2481
3	18	3577.1697	265.374	0.0791		1342.859	0.0789	1608.391		132.687	0.0791		671.429	0.0789	804.2744
4	24	4769.5596	265.371	0.0791		1342.859	0.1052	1608.417		265.374	0.0791		1342.859	0.1052	1608.417
5	30	5961.9495	398.061	0.0791		2014.288	0.1315	2412.560		265.374	0.0791		1342.859	0.1315	1608.443
6	36	7154.3394	398.061	0.0791		2014.288	0.1578	2412.586		265.374	0.0791		1342.859	0.1578	1608.470
注：黑体数据为最优结果。

下载: 导出CSV 

| 显示表格

图  14  不同边缘服务器数量下目标跟踪算法总时延曲线

Figure  14.  Overall delay curves of the proposed target tracking algorithm under different groups of edge servers

下载: 全尺寸图片 幻灯片

4.   结论

1） 将基于深度估计的尺度自适应目标跟踪算法应用于煤矿井下环境，利用深度−尺度估计模型解决了目标均等尺度变化、非均等尺度变化和形变的问题。

2） 设计了基于云边协同的智能监控系统架构，对目标跟踪算法进行细粒度划分，利用云边协同方式将目标跟踪算法各子模块合理部署至云端服务器或边缘服务器，实现了目标跟踪任务在云端服务器和边缘服务器的协同优化，有效降低了目标跟踪算法总时延，提升了煤矿井下目标跟踪的实时性能。

3） 通过实验证明了基于深度估计的尺度自适应目标跟踪算法用于煤矿井下具有良好的跟踪精度和成功率，且采用云边协同的目标跟踪算法部署策略有效降低了算法的局部时延和总时延，显著提高了煤矿井下监控系统的目标跟踪速度。

4） 基于云边协同的智能监控系统架构和目标跟踪算法部署策略充分发挥了边缘计算和云计算协同的优势，为煤矿井下智能监控提供了一种新的解决方案，其设计思路也可应用于其他算法。