Steel wire rope defect magnetic flux leakage detection method based on improved complementary ensemble empirical mode decomposition
-
摘要: 钢丝绳小缺陷信号往往被淹没在股波噪声中，存在钢丝绳小缺陷检测困难、易漏检等问题。针对该问题，提出了一种基于改进完备集成经验模态分解（ICEEMD）的钢丝绳缺陷漏磁检测方法。为了避免钢丝绳表面润滑剂或尘埃对检测信号造成影响，采用电磁检测法。将ICEEMD、小波阈值滤波（WTF）、维纳滤波（WF）相结合，得到ICEEMD−WTF−WF多级降噪方法：通过ICEEMD分解钢丝绳漏磁信号，得到本征模态函数（IMF）分量；计算IMF分量的能量比、排列熵、互相关系数，取出IMF趋势分量和IMF股波噪声分量，并对股波噪声分量进行WTF，筛选有用的IMF分量重构信号；对重构后的信号进行WF，去除随机噪声。提取降噪后的缺陷特征值，输入BP神经网络并进行训练，识别钢丝绳缺陷漏磁信号。实验结果表明：ICEEMD−WTF−WF多级降噪方法对钢丝绳漏磁信号具有良好的降噪效果，信噪比、峭度指标优于WTF、移动平均滤波和WF；基于ICEEMD−WTF−WF的BP神经网络模型检测耗时短，对小缺陷的平均准判率达到98.13%，能较好地满足钢丝绳缺陷检测要求。Abstract: The signal of small defects in steel wire rope is often submerged in wave noise. Therefore, it is difficult to detect small defects in wire rope and easy to miss detection. In order to solve this problem, a steel wire rope defect magnetic flux leakage detection method based on improved complementary ensemble empirical mode decomposition (ICEEMD) is proposed. To avoid the influence of the lubricant or dust on the surface of the wire rope on the detection signal, the electromagnetic detection method is adopted. CEEMD-WTF-WF multi-stage noise reduction method is obtained by combining ICEEMD, wavelet threshold filtering (WTF) and Wiener filtering (WF). The intrinsic mode function (IMF) component is obtained by decomposing the magnetic flux leakage signal of steel wire rope through ICEEMD. The energy ratio, permutation entropy and cross-correlation coefficient of IMF components are calculated. The IMF trend component and IMF stock noise component are extracted. WTF is conducted on the stock noise component to filter the useful IMF component reconstruction signal. WF is applied to the reconstructed signal to remove random noise. The eigenvalues of the de-noised defects are extracted, input and trained by BP neural network. The magnetic flux leakage signals of the steel wire rope defects are identified. The experimental results show that ICEEMD-WTF-WF multi-stage noise reduction method has good noise reduction effect on the magnetic flux leakage signal of steel wire rope. The SNR and kurtosis indexes are better than those of WTF, moving average filter and WF. The BP neural network model based on ICEEMD-WTF-WF takes a short time to detect. The average accuracy rate of small defects reaches 98.13%, which can better meet the requirements of wire rope defect detection.
-
0. 引言
视频监控是保障煤矿井下安全作业的重要手段[1]。随着智慧矿山[2]建设进程的加快，煤矿井下智能监控[3-5]能够在无人工干预的情况下，利用计算机视觉等技术实现对监控视频图像的自主处理、分析和理解。目标跟踪是指在视频序列的初始帧中指定感兴趣的目标，在后续视频中自动对该目标的位置进行估计[6]。在煤矿井下智能监控系统中，借助目标跟踪技术对井下人员、车辆、运输设备等运动目标进行实时自动跟踪，是进一步分析判断、识别异常等高级视觉任务的基础，有利于及时、准确地发现安全隐患，为煤矿企业的安全管理、生产调度、灾后救援等提供技术支持和保证，对实现煤矿井下智能监控具有重要意义[7-9]。
近年来，基于相关滤波的目标跟踪算法[10-11]因其较高的效率和较强的鲁棒性逐渐成为目标跟踪领域的主流方法。其核心思想是设计一个滤波器模板，并利用相关运算求解目标响应峰值来确定目标中心位置，实现目标跟踪。核相关滤波(Kernelized Correlation Filter，KCF)[12]算法利用傅里叶变换将滤波器运算从时域变换到频域，采用多通道方向梯度直方(Histogram of Oriented Gradient，HOG)特征代替灰度特征，大幅提高了目标跟踪速度和精度，在环境简单且目标尺度变化不明显时跟踪效果良好。
煤矿井下摄像机一般沿巷道安装，人员、车辆等运动方向往往与摄像机成像平面呈较大角度，因此，监控视频中的运动目标会出现较大的尺度变化，而KCF算法由于采用固定的跟踪框，无法根据目标的变化动态调整跟踪框尺寸；煤矿井下人员可能出现弯腰、抬手等较大形变的肢体动作，跟踪框内会存在大量的非目标区域，导致滤波器在后续跟踪中学习到错误特征，无法正确跟踪目标；另外，目标跟踪是一个时延敏感性任务，对算法实时性能要求较高[13]，而现有煤矿井下监控系统多采用传统的集中式数据处理方式，将所有终端数据全部传输到云端进行处理[14-15]。随着煤矿井下监控设备增多，海量的数据处理会增加云端服务器的计算压力[16]，且大量数据传输易造成网络拥堵[4, 17]，增加传输时延，难以满足实时性要求。
针对目标尺度变化问题，M. Danelljan等[18]提出了一种判别型尺度空间跟踪(Discriminative Scale Space Tracking，DSST)算法，通过增加一个尺度滤波器对尺度进行估计，实现对目标的尺度自适应跟踪。Li Yang等[19]提出了一种基于多特征融合的尺度自适应(Scale Adaptive Multiple Feature，SAMF)算法，采用7个不同的尺度因子对跟踪区域进行多尺度采样，得到预测目标的最优尺度，进一步提升了跟踪性能，但无法处理目标形变的情况。孙继平等[20]提出了一种基于压缩感知的实时多尺度跟踪方法，利用尺度不变压缩特征(Scale Invariant Compressed Features，SICF)建立判别式外观模型。当目标在各方向上发生均等尺度变化时，上述方法均能够取得较好的跟踪效果。但当煤矿井下人员出现较大形变时，会存在大量非目标区域的背景噪声，易导致上述方法跟踪失败。
针对煤矿井下目标跟踪中的形变问题，程健等[21]在跟踪学习检测(Track Learning Detection，TLD)框架基础上，提出一种融合多特征的复杂场景动态目标长时间视觉跟踪算法，使用融合多特征的MeanShift算法替代TLD框架中的光流法，对目标形变有较强的鲁棒性，但由于加入了目标检测模块，导致计算复杂度较大。牟琦等[22]提出了一种基于深度估计的尺度自适应目标跟踪算法，通过构建深度−尺度估计模型，利用目标深度信息估计目标尺度，对目标尺度变化及形变具有很好的适应性，但由于采用左右一致性深度估计网络[23]估计目标深度，导致算法实时性能不高。
针对煤矿井下采用云端集中处理目标跟踪算法导致跟踪实时性能较差的问题，云边协同技术[24-26]可提供解决方案。该技术将原本在云端处理的部分任务下发到边缘端执行，不仅能缓解云端的计算压力，还能减小带宽消耗。姜德义等[27]设计了一种基于边缘云协同计算架构的智慧矿山技术架构体系，将云计算中处理实时数据的服务卸载至边缘端。陈思光等[17]提出了异步云边协同的深度强化学习算法，可满足大数据场景对高效计算服务的需求。张文柱等[28]提出了基于Docker的云−边−端协同任务卸载框架，解决了多接入移动边缘计算(Moving Edge Calculation，MEC)协同卸载、计算资源分配问题。
基于以上研究启发，本文提出一种基于云边协同的煤矿井下尺度自适应目标跟踪方法：利用目标深度估计尺度，实现尺度自适应目标跟踪；设计基于云边协同的智能监控系统架构和目标跟踪算法部署策略，以减轻云端的计算压力和网络传输压力，提高煤矿井下跟踪效率。实验结果表明，与经典的目标跟踪算法相比，本文方法在煤矿井下目标出现较大尺度变化和形变时，具有更高的跟踪精度和成功率，且跟踪速度得到显著提升。
1. 基于深度估计的尺度自适应目标跟踪算法
1.1 算法思想
煤矿井下运动目标通常同时存在较大尺度变化及形变，且煤矿井下光照条件非常有限，导致跟踪准确率和成功率不高。由于运动目标的深度和尺度信息之间存在较强的关联性，当目标与摄像机之间的距离发生变化时，目标尺度值会随深度值增大而减小。基于以上原理，对KCF算法[12]进行改进，提出了基于深度估计的尺度自适应目标跟踪算法[22]。
煤矿井下各监控点摄像机安装高度、角度类似，且安装位置固定，因此，各视频序列中运动目标的深度和尺度信息之间的对应关系近似。可利用煤矿井下监控视频序列作为训练集，构建深度−尺度估计模型，再使用该模型从实时监控视频中估计目标尺度，从而实现尺度自适应目标跟踪。
1.2 深度−尺度估计模型
使用煤矿井下视频序列所有帧的目标面积和深度值作为训练数据，构建深度−尺度估计模型，如图1所示。
1) 深度估计。通过左右一致性单目深度估计网络[23]获取第t帧图像的深度值
$ {d}_{t} $ 。2) 尺度计算。考虑到不同目标的跟踪框长宽比例不同，且在目标运动过程中可能会产生形变，采用目标面积表示目标尺度。用训练集中第t帧目标面积
$ a $ t与第1帧目标面积$ {a}_{1} $ 的比值作为该帧目标尺度值$ {s}_{t} $ ，即$$ {s_t} = \frac{{{a_t}}}{{{a_1}}} $$ (1) 3) 深度−尺度估计模型构建。由于模型中的尺度值是用跟踪框的面积表示，且深度值和尺度值呈线性关系，所以采用二次多项式函数构建深度−尺度估计模型。
$$ s({d_t}) = {k_1}{d_t}^{_2} + {k_2}{d_t} + {k_0}$$ (2) 式中：
$ s\left({d}_{t}\right) $ 为第t帧目标尺度估计值；k1，k2分别为二次项和一次项系数；k0为常数项。4) 深度−尺度估计模型训练。采用最小均方误差作为损失函数训练模型，即
$$ \min \sum\limits_{t = 1}^N {|{{s}}({d_t}) - {s_t}{|^2}} $$ (3) 式中N为视频序列帧数。
1.3 尺度自适应目标跟踪算法
基于深度估计的尺度自适应目标跟踪算法如图2所示。
![]()
图 2 基于深度估计的尺度自适应目标跟踪算法Figure 2. Scale-adaptive target tracking algorithm based on depth estimation1) 预处理。读取煤矿井下视频的第1帧图像，并在第1帧目标周围循环采样得到r个训练样本，对每个训练样本提取HOG特征和颜色(Color Name，CN)特征并融合，得到融合特征
$ {{\boldsymbol{F}}}_{r} $ ，以每个训练样本的目标中心生成相关响应图$ {{\boldsymbol{G}}}_{r} $ ，进而计算每个样本的滤波模板${\boldsymbol{H}}_r $ 。$$ {{\boldsymbol{H}}_{{r}}} = \frac{{{{\boldsymbol{G}}_r}}}{{{{\boldsymbol{F}}_r}}} $$ (4) 2) 训练相关滤波模板。使用最小化均方误差(式(5))作为损失函数，训练得到最优解作为第1帧的滤波模板
$ {{\boldsymbol{H}}}_{1}^{*} $ 。$$ \min \sum\limits_{r } {|{{\boldsymbol{F}}_r} \odot {\boldsymbol{H}}_1^* - {{\boldsymbol{G}}_{ r}}{|^2}} $$ (5) 3) 读取下一帧，继续在目标区域循环采样并提取融合特征
$ {{\boldsymbol{F}}}_{r} $ ，根据式(6)计算每一个样本的相关响应图$ {{\boldsymbol{G}}}_{r} $ ，其中响应值最大的位置即为当前图像帧中的目标位置。$$ {{\boldsymbol{G}}_{ r}} = {{\boldsymbol{F}}_{ r}} \odot {\boldsymbol{H}}_{t - 1}^* $$ (6) 式中
$ {{\boldsymbol{H}}}_{t-1}^{*} $ 为上一帧目标的相关滤波模板。4) 利用深度估计网络得到当前帧的目标深度值，通过深度−尺度估计模型估计目标尺度值，调整跟踪框大小。
5) 判断视频序列是否为最后1帧，若是则结束跟踪，否则根据式(7)将上一帧的滤波模板与当前帧的滤波模板进行加权求和，得到更新后的滤波模板，并重复执行步骤3)—步骤5)，直至跟踪结束。
$$ {{\boldsymbol{H}}_{{t}}^*} = \eta \frac{{{{\boldsymbol{G}}_t^*}}}{{{{\boldsymbol{F}}_{ t}^*}}} + (1 - \eta ){{\boldsymbol{H}}_{t-1}^*} $$ (7) 式中：η为学习率，通常取0.125；
$ {{\boldsymbol{G}}}_{t}^* $ 为第t帧的相关响应图；$ {{\boldsymbol{F}}}_{t}^* $ 为第t帧的融合特征。基于深度估计的尺度自适应目标跟踪算法通过深度估计网络获取图像深度信息，无需安装深度摄像头，且无需更新煤矿井下现有硬件设备，不受场景和硬件设备限制。但使用深度估计网络会增大云端计算压力，降低算法在煤矿井下环境的执行效率，因此，深度估计网络成为影响算法执行效率的主要瓶颈。
对基于深度估计的尺度自适应目标跟踪算法进行细粒度划分，根据功能划分为特征提取、响应图计算、深度估计、深度−尺度估计及模板更新5个相对独立的子模块，各子模块的运行时间如图3所示。
![]()
图 3 目标跟踪算法5个子模块的运行时间Figure 3. Running time of five sub-modules of the target tracking algorithm从图3可看出，采用深度估计网络得到深度图时因计算复杂度高而用时最长，若直接在云端处理会增大云端计算压力。另外，煤矿井下终端设备将获取的原始视频数据直接上传至云端进行处理，数据传输时延非常大。基于此，本文设计了一种基于云边协同的目标跟踪算法部署策略。
2. 基于云边协同的目标跟踪算法部署策略
2.1 智能监控系统架构及目标跟踪算法部署
本文设计了一种基于云边协同的智能监控系统架构，如图4所示。该系统分为终端设备层、边缘服务层和云端服务层。根据所需计算资源不同，将基于深度估计的尺度自适应目标跟踪算法中的特征提取、深度估计和深度−尺度估计3个子模块部署到边缘服务层，响应图计算和模板更新2个子模块部署到云端服务层。
![]()
图 4 基于云边协同的智能监控系统架构Figure 4. Architecture of cloud-edge collaborative intelligent monitoring system终端设备层位于系统架构的最底层，由煤矿井下多个监控摄像头组成，主要负责煤矿井下视频数据采集，并将获取的视频数据上传至边缘服务层。该层只考虑摄像头的设备感知能力，不考虑其计算能力。
边缘服务层由具有一般计算能力和存储能力的边缘服务器组成，其广泛分布在巷道内。将特征提取、深度估计和深度−尺度估计3个子模块部署于该层，在接收到终端设备层的视频数据后，利用边缘计算就近处理的优势，高速、有效地进行任务处理，将得到的融合特征数据和尺度数据上传至云端服务层，从而减轻云端设备计算压力。
云端服务层由高性能的集群服务器组成，具有强大的计算能力，且能够协同管理边缘服务层之间的计算资源。该层主要任务是利用边缘服务层上传的融合特征计算响应图，得到当前帧的目标位置；根据尺度数据确定目标尺寸，结合目标位置和目标尺寸确定目标最终位置；更新相关滤波模板参数，并继续进行下一帧跟踪。
系统的云−边−端三层共同协作完成目标跟踪任务，实现计算资源的协同优化，从而有效解决煤矿井下海量数据处理导致云端计算压力较大和数据传输时延较高的问题，进一步提升算法的实时性能。
2.2 任务卸载
任务卸载技术将算法的计算任务卸载至边缘服务器或云端服务器，从而统筹系统资源，加快处理速度。云边协同任务卸载架构如图5所示。设有n台终端设备，边缘服务层有e台边缘服务器为终端设备提供服务。
由图5可知，目标跟踪算法部署策略在基于云边协同的智能监控系统中执行任务主要存在2个传输时延和2个计算时延，算法总时延为
$$ T = {T_{{\rm{t}}1}} + {T_{{\rm{t}}2}} + {T_{{\rm{c}}1}} + {T_{{\rm{c}}2}} $$ (8) 式中：
$ {T}_{{\rm{t}}1} $ 为终端设备将视频序列上传至边缘服务器的视频传输时延；$ {T}_{{\rm{t}}2} $ 为边缘服务器将子模块处理得到的特征值和尺度值上传至云端服务器的数据传输时延；$ {T}_{{\rm{c}}1} $ 为边缘服务器完成特征提取、深度估计和深度−尺度估计任务的计算时延；$ {T}_{{\rm{c}}2} $ 为云端服务器完成响应图计算和模板更新任务的计算时延。2.2.1 边缘服务器时延
终端设备将煤矿井下视频数据上传至边缘服务器进行处理，根据Shannon公式，终端设备i与边缘服务器j之间的传输速率为
$$ {R_{i,j}} = {B_{i,j}} {\log _2}\left(1 + \frac{{{P_{i,j}} {D_{i,j}}^{}}}{{{\sigma ^2}}}\right) $$ (9) 式中：
$ {B}_{i,j} $ 为终端设备i与边缘服务器j之间的信道带宽；$ {P}_{i,j} $ 为终端设备i上传数据至边缘服务器j的传输功率；$ {D}_{i,j} $ 为终端设备i到边缘服务器j的信道增益；$ {\sigma }^{2} $ 为传输信道的噪声功率。从终端设备i到边缘服务器j的传输时延为
$$ T_{{\rm{t}}1(i,j)} = \frac{{{b_{\rm{v}}}}}{{{R_{i,j}}}} $$ (10) 式中
$ {b}_{{\rm{v}}} $ 为原始视频数据量。边缘服务器接收终端设备上传的视频序列并执行特征提取、深度估计和深度−尺度估计任务。设边缘服务器j将计算资源
$ {y}_{j} $ 平均分配给n台终端设备，则每台终端设备的计算资源为$ {y}_{j} $ /n，边缘服务器j的计算时延为$$ T_{{\rm{c}}{1j}} = \frac{{n{C_{j}}}}{{y_{j}}} $$ (11) 式中
$ {C}_{j} $ 为边缘服务器j完成3个子模块任务所需的CPU周期数，即边缘服务器j的计算能力。2.2.2 云端服务器时延
边缘服务器完成计算任务后，将融合特征和尺度值上传至云端服务器，则从边缘服务器j到云端服务器之间的传输速率为
$$ {R_{j,{\rm{c}}}} = {B_{j,{\rm{c}}}} {\log _2}\left(1 + \frac{{{P_{j,{\rm{c}}}} {D_{j,{\rm{c}}}}^{}}}{{{\sigma ^2}}}\right) $$ (12) 式中：
$ {B}_{j,{\rm{c}}} $ 为边缘服务器j与云端服务器间的信道带宽；$ {P}_{j,{\rm{c}}} $ 为边缘服务器j上传数据至云端服务器的传输功率；$ {D}_{j,{\rm{c}}} $ 为边缘服务器j到云端服务器的信道增益。从边缘服务器j到云端服务器的数据传输时延为
$$ T_{{\rm{t}}2(j,{\rm{c}})}^{} = \frac{{\max ({b_{\rm{f}}},{b_{\rm{m}}})}}{{{R_{j,{\rm{c}}}}}} $$ (13) 式中：
$ {b}_{{\rm{f}}} $ 为融合特征数据量；$ {b}_{{\rm{m}}} $ 为尺度值数据量。响应图计算、模板更新任务在云端服务器执行。设云端服务器的计算能力为
$ {w}_{{\rm{c}}} $ ，则在云端服务器上的任务计算时延为$$ T_{{\rm{c}}{2_{}}}^{} = \frac{{{C_{\rm{c}}}}}{{{w_{\rm{c}}}}} $$ (14) 式中
$ {C}_{{\rm{c}}} $ 为云端服务器完成任务所需的CPU周期数。3. 实验及结果分析
3.1 实验环境及配置
基于云边协同的煤矿井下尺度自适应目标跟踪实验环境配置见表1。
表 1 煤矿井下尺度自适应目标跟踪实验环境配置Table 1. Experimental environment configuration of coal mine underground scale-adaptive target tracking method实验环境 配置 边缘服务器 CPU AMD Ryzen 5 5600H with Radeon Graphics 3.30 GHz GPU GeForce RTX 3050 系统 Windows10 云端服务器 CPU Intel Xeon E5−2680 v2 GPU NVIDIA GeForce GTX TITAN Z 系统 centos7 编程语言 Matlab 任务卸载相关参数配置见表2，设定每台边缘服务器的性能指标相同。
表 2 任务卸载相关参数配置Table 2. Parameters configuration related to task unloading设备 参数 值 终端设备 $ {B}_{i,j} $/MHz 100 $ {P}_{i,j} $/W 0.1 ${D}_{i,j} $ [0.1,1.0] 边缘服务器 $ {B}_{j,{\rm{c}}} $/MHz 200 $ {P}_{j,{\rm{c}}} $/W 0.5 $ {y}_{j} $/GHz 10 $ {C}_{j} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $) 200 $ D_{j,{\rm{c}}} $ [0.1,1.0] 云端服务器 $ {w}_{{\rm{c}}} $/GHz 100 $ {C}_{{\rm{c}}} $/($ \mathrm{c}\mathrm{y}\mathrm{c}\mathrm{l}\mathrm{e}\mathrm{s}\cdot {\mathrm{b}\mathrm{i}\mathrm{t}}^{-1} $) 50 $ {\sigma }^{2} $/dBm 100 其他 $ {b}_{{\rm{v}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $) [1,100] $ {b}_{{\rm{f}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $) [1,5] $ {b}_{{\rm{m}}} $/($ \mathrm{M}\mathrm{i}\mathrm{b}\mathrm{i}\mathrm{t}\cdot {\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}^{-1} $) [1,5] 3.2 数据集与评价指标
实验数据来自目标跟踪标准数据集OTB−100中的30个视频序列和自建的10个煤矿井下数据集，所选择的煤矿井下视频序列均具备摄像头位置固定、目标尺度变化或形变较大的特点，采集条件为煤矿井下正常工作场景，跟踪目标为煤矿井下作业人员，标定工具为LabelImg。
采用精度和成功率作为评价指标来综合评价目标跟踪算法的性能。精度为真实目标与预测目标中心位置误差小于设定阈值的帧数与视频序列总帧数的比值。成功率为真实目标和预测目标的重叠率大于设定阈值的帧数与视频序列总帧数的比值。
目标跟踪算法实验参数设置：学习率为0.125，高斯核函数的标准差为0.5，正则化参数为0.000 1，模板更新率为0.01。
3.3 基于深度估计的尺度自适应目标跟踪算法实验
3.3.1 深度−尺度估计模型实验
使用自建的煤矿井下数据集训练深度−尺度估计模型，该数据集中视频序列目标在移动过程中存在尺度变化。视频序列中部分帧的原始RGB图像和使用深度估计网络得到的深度图像如图6所示。
![]()
图 6 煤矿井下视频序列部分帧的RGB图像和深度图像Figure 6. Part of RGB images and depth images of a coal mine underground video sequence深度−尺度估计模型实验结果如图7所示。蓝色散点表示序列每一帧目标的深度值和尺度值。为了提高模型可靠性，对蓝色散点进行平滑处理，结果为图中绿色散点。对绿色散点进行拟合，得到红色曲线，即深度−尺度估计模型。
3.3.2 尺度自适应目标跟踪实验
为了验证基于深度估计的尺度自适应目标跟踪算法在尺度变化、形变等因素影响下的跟踪性能，将其与KCF算法、DSST算法、SAMF算法进行对比，从定性和定量2个方面对实验结果进行综合分析。
1) 定性分析。采用4种目标跟踪算法对煤矿井下视频序列和OTB−100数据集中视频序列进行目标跟踪实验，部分结果如图8、图9所示。
![]()
图 8 4种算法对煤矿井下数据集的目标跟踪结果Figure 8. Target tracking results of four algorithms for coal mine underground data set![]()
图 9 4种算法对OTB−100数据集的目标跟踪结果Figure 9. Target tracking results of four algorithms for OTB-100 standard data set由图8可看出，Video1序列中光照度低且目标尺度变化较大。第49帧时，各算法都能有效跟踪；第113帧至第193帧目标均发生尺度变化，此时KCF算法因采用固定模板，跟踪框内引入较多背景信息，DSST算法和SAMF算法虽然都加入了尺度调整，但是对目标跟踪不够精准；第285帧至第347帧目标尺度变化明显，此时KCF算法、DSST算法、SAMF算法都不能精准跟踪目标，本文算法能够随目标尺度变化自适应调整跟踪框，且使用融合后的HOG特征和CN特征提升了目标的特征表达能力，使算法在光照度特别低的煤矿井下环境中能准确跟踪目标。
Video2序列中目标尺度和形变都较大。第65帧至第90帧目标出现不同程度的形变，本文算法能够稳定跟踪，其他算法均发生一定程度的跟踪漂移；第114帧至第159帧目标发生较大形变，此时KCF算法、DSST算法和SAMF算法无法持续准确跟踪，本文算法能够自适应调整跟踪框尺度及比例，跟踪准确率更高，在煤矿井下环境中目标同时出现较大尺度变化和形变时鲁棒性更好。
Video3序列中同样存在目标尺度变化和形变的情况。第22帧至第80帧各算法都能跟踪到目标；第100帧时，由于目标与背景较为相似，KCF算法受到背景信息的干扰，开始出现跟踪漂移情况；第153帧至第215帧目标发生明显的尺度变化和形变，此时KCF算法丢失跟踪目标，DSST算法和SAMF算法对目标不能准确跟踪，而本文算法能够根据目标的变化进行自适应调整，具有良好的跟踪性能。
为了验证本文算法的泛化性，对OTB−100数据集中的Human7和BlueCar2视频序列进行跟踪实验。从图9可看出，Human7序列中目标尺度变化较大。第32帧时，所有算法均能准确跟踪；第84帧时，目标发生较明显尺度变化，SAMF算法出现跟踪漂移；第128帧至第250帧KCF算法、DSST算法和SAMF算法均出现了跟踪丢失的现象，本文算法能够准确跟踪，对目标发生较大尺度变化的情况具有良好的适应性。
BlurCar2序列中目标尺度变化较大并伴有快速运动的情况。第84帧时，各算法都能准确跟踪；第130帧至第585帧KCF算法不能自适应调整跟踪框，SAMF算法和DSST算法均无法与目标尺度匹配，跟踪框存在一定的偏差，而本文算法利用深度−尺度估计模型估计目标尺度，因此在目标发生较大尺度变化和形变时对跟踪目标的位置和尺度估计更加准确。
2) 定量分析。采用一次性通过评估(One-Pass Evaluation，OPE)评价准则得到跟踪精度和成功率曲线，如图10、图11所示。可看出本文算法在煤矿井下数据集中的跟踪精度为0.984，成功率为0.875；在OTB−100数据集上的跟踪精度为0.764，成功率为0.616。相较于其他3种算法，本文算法无论是在OTB−100数据集还是煤矿井下数据集上，目标跟踪的精度和成功率均优于其他算法。
![]()
图 10 目标跟踪算法在煤矿井下数据集上的精度和成功率Figure 10. Tracking accuracy and success rate of four target tracking algorithms for coal mine underground data set![]()
图 11 目标跟踪算法在OTB−100数据集上的精度和成功率Figure 11. Tracking accuracy and success rate of four target tracking algorithms for OTB-100 data set3.4 基于云边协同的目标跟踪算法部署实验
分别采用传统云计算方式和云边协同方式对基于深度估计的尺度自适应目标跟踪算法进行部署，选择6个煤矿井下视频序列（数据信息见表3）作为测试集，对比算法的局部时延（包括传输时延和计算时延）和总时延。
表 3 煤矿井下视频序列数据信息Table 3. Video sequence data information of coal mine underground视频序列 帧数 主要影响因素 Video1 355 尺度变化 Video2 170 目标形变、背景杂乱 Video3 181 光照不均、尺度变化 Video4 297 光照极度不足、目标形变 Video5 215 目标形变 Video6 286 尺度变化 3.4.1 局部时延对比
将特征提取、深度估计和深度−尺度估计3个子模块部署在边缘服务器，采用式(9)−式(14)计算目标跟踪算法的传输时延和计算时延，并与传统的云计算方式进行对比，结果见表4，局部时延曲线如图12所示。
表 4 目标跟踪算法在2种部署方式下的传输时延和计算时延计算结果Table 4. Calculated transmission delay and calculation delay of the proposed target tracking algorithm under two deployment modesms 视频序列 云边协同方式 云计算方式 传输时延 计算时延 传输时延 计算时延 Video1 22.491 0.012 78 209.559 6 0.004 61 Video2 23.361 0.013 41 190.456 9 0.004 73 Video3 21.436 0.012 13 205.454 9 0.004 47 Video4 22.267 0.011 98 193.576 8 0.004 34 Video5 21.879 0.015 76 200.177 4 0.004 91 Video6 21.253 0.013 05 193.115 1 0.004 39 Total 132.687 0.079 11 1 192.340 7 0.027 45 注：黑体数据为最优结果。 ![]()
图 12 目标跟踪算法在2种部署方式下的局部时延曲线Figure 12. Local delay curves of the proposed target tracking algorithm under two deployment modes由表4可知，由于云端服务器具有强大的计算能力，平均计算时延比边缘服务器少65.3%；云端服务器距离终端设备较远，数据传输时延明显偏高，边缘服务器距离终端设备较近，平均传输时延比云端服务器少88.87%。由图12可知，综合计算时延和传输时延，采用云边协同方式部署目标跟踪算法时，局部时延明显低于传统云计算方式，说明将3个子模块部署在边缘服务器能够显著降低数据传输时延，提高实时性能。
3.4.2 总时延对比
分别采用传统云计算方式和云边协同方式对基于深度估计的尺度自适应目标跟踪算法进行部署，计算算法的总时延。采用1组边缘服务器处理6个视频序列，总时延计算结果见表5，总时延曲线如图13所示。可看出采用云边协同方式部署目标跟踪算法时，算法总时延减少了32.55%，明显优于传统云计算方式。
表 5 目标跟踪算法在2种部署方式下的总时延计算结果Table 5. Calculated overall delay of the proposed target tracking algorithm under two deployment modesms 视频序列 总时延 云计算方式 云边协同方式 Video1 209.567 6 139.916 7 Video2 190.465 3 140.214 6 Video3 205.462 5 130.169 8 Video4 193.584 6 134.247 2 Video5 200.186 1 130.744 2 Video6 193.123 8 128.929 4 Total 1 192.389 9 804.221 9 注：黑体数据为最优结果。 ![]()
图 13 目标跟踪算法在2种部署方式下的总时延曲线Figure 13. Overall delay curves of the proposed target tracking algorithm under two deployment mode煤矿井下场景中监测点众多，视频数据量非常大，智能监控系统中通常设置多台边缘服务器，每台边缘服务器负责处理1组终端设备采集的视频，各边缘服务器并行工作，从而大幅提高目标跟踪算法的整体运行效率。设系统中共有e台边缘服务器，每台边缘服务器同时处理表3中的1组视频序列，分别计算e=1，2，…，6，传输信道数量M=12，18时，目标跟踪算法处理所有视频序列的局部时延和总时延，并与传统的云计算方式对比，计算结果见表6，总时延曲线如图14所示。可看出采用传统云计算方式时，因所有视频均需上传至云端服务器排队处理，所以目标跟踪算法总时延随视频增加而线性增大；采用云边协同方式部署时，算法中部分模块可在各边缘服务器并行运算，将结果上传至云端服务器后再排队处理，尽管算法运行过程中数据的传输时延受终端设备到边缘服务器、边缘服务器到云端服务器传输带宽的约束，计算时延受云端服务器计算能力的约束，但由于计算量较大的任务已由边缘服务器完成，云端服务器整体压力明显减小，因此总时延明显低于传统云计算方式，且随着边缘服务器数量和传输带宽增加，传输速度优势更明显。
表 6 不同边缘服务器数量下目标跟踪算法时延Table 6. Delay of the proposed target tracking algorithm under different groups of edge servers边缘服务器
数量/台视频序列
数量/个传统云计算
总时延/msM=12时云边协同时延/ms M=18时云边协同时延/ms 边缘端 云端 总时延 边缘端 云端 总时延 传输时延 计算时延 传输时延 计算时延 传输时延 计算时延 传输时延 计算时延 1 6 1192.3899 132.687 0.0791 671.429 0.0263 804.2219 132.687 0.0791 671.429 0.0263 804.2219 2 12 2384.7798 132.687 0.0791 671.429 0.0526 804.2481 132.687 0.0791 671.429 0.0526 804.2481 3 18 3577.1697 265.374 0.0791 1342.859 0.0789 1608.391 132.687 0.0791 671.429 0.0789 804.2744 4 24 4769.5596 265.371 0.0791 1342.859 0.1052 1608.417 265.374 0.0791 1342.859 0.1052 1608.417 5 30 5961.9495 398.061 0.0791 2014.288 0.1315 2412.560 265.374 0.0791 1342.859 0.1315 1608.443 6 36 7154.3394 398.061 0.0791 2014.288 0.1578 2412.586 265.374 0.0791 1342.859 0.1578 1608.470 注：黑体数据为最优结果。 ![]()
图 14 不同边缘服务器数量下目标跟踪算法总时延曲线Figure 14. Overall delay curves of the proposed target tracking algorithm under different groups of edge servers4. 结论
1） 将基于深度估计的尺度自适应目标跟踪算法应用于煤矿井下环境，利用深度−尺度估计模型解决了目标均等尺度变化、非均等尺度变化和形变的问题。
2） 设计了基于云边协同的智能监控系统架构，对目标跟踪算法进行细粒度划分，利用云边协同方式将目标跟踪算法各子模块合理部署至云端服务器或边缘服务器，实现了目标跟踪任务在云端服务器和边缘服务器的协同优化，有效降低了目标跟踪算法总时延，提升了煤矿井下目标跟踪的实时性能。
3） 通过实验证明了基于深度估计的尺度自适应目标跟踪算法用于煤矿井下具有良好的跟踪精度和成功率，且采用云边协同的目标跟踪算法部署策略有效降低了算法的局部时延和总时延，显著提高了煤矿井下监控系统的目标跟踪速度。
4） 基于云边协同的智能监控系统架构和目标跟踪算法部署策略充分发挥了边缘计算和云计算协同的优势，为煤矿井下智能监控提供了一种新的解决方案，其设计思路也可应用于其他算法。
-
![]()
图 1 钢丝绳缺陷漏磁检测系统
Figure 1. Magnetic flux leakage detection system for steel wire rope defects
![]()
图 8 基于ICEEMD−WTF−WF和WTF的分类误差对比
Figure 8. Classification error comparison between ICEEMD−WTF−WF and WTF
![]()
图 9 基于WF和移动平均滤波的分类误差对比
Figure 9. Classification error comparison between WF and moving average filtering
表 1 各IMF分量的互相关系数、排列熵
Table 1 The cross-correlation coefficient and permutation entropy of each IMF component
IMF分量 互相关系数 排列熵 IMF分量 互相关系数 排列熵 IMF1 0.4947 0.9940 IMF5 0.0172 0.5932 IMF2 0.9313 0.9538 IMF6 0.0024 0.4048 IMF3 0.2773 0.8591 IMF7 0.0048 0.4181 IMF4 0.1058 0.6942 IMF8 0.0066 0 
下载: 导出CSV
表 2 各IMF分量所占的能量比
Table 2 Energy ratio of each IMF component
IMF分量 能量值 能量比/% IMF分量 能量值 能量比/% IMF1 1.75×107 5.82 IMF5 3.98×105 0.13 IMF2 2.58×108 85.86 IMF6 4.45×105 0.15 IMF3 1.95×107 6.49 IMF7 9.31×104 0.03 IMF4 4.34×106 1.44 IMF8 2.10×105 0.07
下载: 导出CSV
表 3 不同滤波方法对比
Table 3 Comparison of different filtering methods
滤波方法 信噪比 互相关系数 均方根误差 峭度 ICEEMD−WTF−WF 20.152 0.5263 508.74 84.240 WTF 19.507 0.3728 543.90 59.205 移动平均
滤波8.406 0.3065 292.99 5.184 WF 11.637 0.6771 271.28 20.063
下载: 导出CSV
表 4 训练样本数据（部分）
Table 4 Training sample data (part)
波峰值 波谷值 峰峰值 波宽 波形下
面积波形
能量0.4791 0.2293 0.3160 0.6000 0.4397 0.2847 1.0000 0.0194 1.0000 0.1667 1.0000 0.2482 0.8683 0.0000 0.9265 0.1667 0.9889 0.2468 0.6300 0.0209 0.7707 0.4667 0.6229 0.5045 0.5597 0.1426 0.6778 0.3333 0.5554 0.2376 0.7838 0.0107 0.8699 0.2000 0.9774 0.2976 0.5895 0.0844 0.7198 0.2667 0.6363 0.2288 0.2641 0.6434 0.2913 0.9333 0.2705 0.2767 0.5521 0.1183 0.4903 0.9000 0.5779 1.0000 0.5700 0.1566 0.6784 0.5333 0.6919 0.7089 0.4439 0.4651 0.4750 0.4667 0.4361 0.2014 0.5935 0.0554 0.7275 0.6000 0.7443 0.8808 0.5574 0.1102 0.6744 0.6333 0.6867 0.8025 0.5568 0.1111 0.6885 0.7000 0.6771 0.9242 0.6425 0.1992 0.7059 0.3000 0.6985 0.3022
下载: 导出CSV
表 5 基于4种滤波方法的小缺陷准判率对比
Table 5 Comparison of small defect accuracy rate based on four filtering methods
滤波方法 检测
时间/s特征
数据/组测试
数据/组检测正确
组数准判
率/%ICEEMD−WTF−WF 0.2230 258 150 147 98.00 WTF 0.2449 258 150 128 85.33 移动平均滤波 0.2174 258 150 132 88.00 WF 0.2363 258 150 109 72.67
下载: 导出CSV
表 6 多组实验数据实验结果对比
Table 6 Comparison of experimental results of multiple sets of experimental data
% 实验
序号准判率 ICEEMD−WTF−WF WTF 移动平均滤波 WF 第1组 97.33 84.67 66.67 62.00 第2组 98.67 88.67 68.00 61.33 第3组 100.00 88.67 79.33 64.67 第4组 96.67 84.00 74.00 62.00 第5组 98.00 85.33 88.00 72.67 平均值 98.13 82.27 75.20 64.53
下载: 导出CSV
-
[1] 谢进,任文清. 煤矿钢丝绳芯输送带检测系统[J]. 工矿自动化,2021,47(增刊1):69-71. XIE Jin,REN Wenqing. Coal mine steel cord conveyor belt detection system[J]. Industry and Mine Automation,2021,47(S1):69-71.
[2] 路正雄,郭卫,张传伟,等. 平行磁化NdFeB钢丝绳无损检测仪开发[J]. 西安科技大学学报,2021,41(1):139-144. DOI: 10.13800/j.cnki.xakjdxxb.2021.0118 LU Zhengxiong,GUO Wei,ZHANG Chuanwei,et al. Development of a new wire rope non-destructive tester using parallely magnetized NdFeB[J]. Journal of Xi'an University of Science and Technology,2021,41(1):139-144. DOI: 10.13800/j.cnki.xakjdxxb.2021.0118
[3] 田劼,宋姗. 改进粒子群优化小波阈值的矿用钢丝绳损伤信号处理方法研究[J]. 煤炭工程,2020,52(4):103-107. TIAN Jie,SONG Shan. Processing method for mine wire rope damage signal based on improved particle swarm optimization wavelet threshold[J]. Coal Engineering,2020,52(4):103-107.
[4] 王红尧,吴佳奇,李长恒,等. 矿用钢丝绳损伤检测信号处理方法研究[J]. 工矿自动化,2021,47(2):58-62. DOI: 10.13272/j.issn.1671-251x.17677 WANG Hongyao,WU Jiaqi,LI Changheng,et al. Research on signal processing method of mine wire rope damage detection[J]. Industry and Mine Automation,2021,47(2):58-62. DOI: 10.13272/j.issn.1671-251x.17677
[5] 田劼,王洋洋,郭红飞,等. 基于漏磁检测的钢丝绳探伤原理与方法研究[J]. 煤炭工程,2021,53(9):95-100. TIAN Jie,WANG Yangyang,GUO Hongfei,et al. Principle and method of mine steel wire rope flaw detection based on magnetic flux detection[J]. Coal Engineering,2021,53(9):95-100.
[6] 谢飞,张雪英,乔铁柱,等. 一种钢丝绳芯输送带早期故障检测方法[J]. 工矿自动化,2015,41(1):58-62. DOI: 10.13272/j.issn.1671-251x.2015.01.015 XIE Fei,ZHANG Xueying,QIAO Tiezhu,et al. An early fault detection method of steel cord conveyor belt[J]. Industry and Mine Automation,2015,41(1):58-62. DOI: 10.13272/j.issn.1671-251x.2015.01.015
[7] 李腾宇,寇子明,吴娟,等. 超千米深井提升机可视化监测系统应用[J]. 煤炭学报,2020,45(增刊2):1069-1078. DOI: 10.13225/j.cnki.jccs.zn20.0324 LI Tengyu,KOU Ziming,WU Juan,et al. Monitoring system of the hoist in the over kilometer deep shaft[J]. Journal of China Coal Society,2020,45(S2):1069-1078. DOI: 10.13225/j.cnki.jccs.zn20.0324
[8] 傅其凤,李松,路贵兰. 改进阈值去噪方法在电梯钢丝绳断丝检测中的应用[J]. 机床与液压,2019,47(15):194-196,138. DOI: 10.3969/j.issn.1001-3881.2019.15.041 FU Qifeng,LI Song,LU Guilan. Application of improved threshold denoising method in broken steel wire inspection[J]. Machine Tool & Hydraulics,2019,47(15):194-196,138. DOI: 10.3969/j.issn.1001-3881.2019.15.041
[9] 黄天然,谭建平,薛少华,等. EMD与排列熵在提升机跳绳故障诊断中的应用[J]. 传感器与微系统,2020,39(7):150-153,160. DOI: 10.13873/J.1000-9787(2020)07-0150-04 HUANG Tianran,TAN Jianping,XUE Shaohua,et al. Application of EMD and permutation entropy in fault diagnosis of hoist wire jumping rope[J]. Transducer and Microsystem Technologies,2020,39(7):150-153,160. DOI: 10.13873/J.1000-9787(2020)07-0150-04
[10] 杨智广,费鸿禄,胡刚. 隧道掘进爆破振动对围岩影响的HHT分析[J]. 中国安全生产科学技术,2019,15(9):121-127. YANG Zhiguang,FEI Honglu,HU Gang. HHT analysis on influence of blasting vibration during tunnel excavation on surrounding rock[J]. Journal of Safety Science and Technology,2019,15(9):121-127.
[11] COLOMINAS M A,SCHLOTTHAUER G,TORRES M E. Improved complete ensemble EMD:a suitable tool for biomedical signal processing[J]. Biomedical Signal Processing and Control,2014,14:19-29. DOI: 10.1016/j.bspc.2014.06.009
[12] 张丹威,王晓东,黄国勇. 相关系数SVD增强随机共振的单向阀故障诊断[J]. 电子学报,2018,46(11):2696-2704. DOI: 10.3969/j.issn.0372-2112.2018.11.017 ZHANG Danwei,WANG Xiaodong,HUANG Guoyong. Check valve fault diagnosis with correlation coefficient SVD enhanced stochastic resonance[J]. Acta Electronica Sinica,2018,46(11):2696-2704. DOI: 10.3969/j.issn.0372-2112.2018.11.017
[13] 宋洋,杨杰,宋锦焘,等. 基于CEEMDAN−PE−LSTM的混凝土坝变形预测[J]. 水利水运工程学报,2021(3):41-49. DOI: 10.12170/20200520003 SONG Yang,YANG Jie,SONG Jintao,et al. Concrete dam deformation prediction based on CEEMDAN−PE−LSTM model[J]. Hydro-Science and Engineering,2021(3):41-49. DOI: 10.12170/20200520003
[14] 张国安,何平,余焕伟,等. 基于广义延拓的电梯振动信号优化处理与分析[J]. 中国特种设备安全,2018,34(10):4-8,11. DOI: 10.3969/j.issn.1673-257X.2018.10.002 ZHANG Guo'an,HE Ping,YU Huanwei,et al. Optimization and analysis of elevator vibration signal based on generalized extension method[J]. China Special Equipment Safety,2018,34(10):4-8,11. DOI: 10.3969/j.issn.1673-257X.2018.10.002
-
期刊类型引用(8)
1. 杨平. 基于机器视觉的煤矿工人违规行为自动识别方法. 自动化应用. 2025(02): 10-12 . 
百度学术
2. 谷彬，刘清. 煤矿综采工作面监控视频图像识别系统. 煤矿机械. 2025(03): 198-201 . 百度学术
3. 路洋，董立红，叶鸥. 基于自适应链接优化的井下行人抗遮挡跟踪方法研究. 工矿自动化. 2025(02): 65-75+137 . 本站查看
4. 高志誉. 一种基于GIS平台的矿山智能管控平台构建与应用. 陕西煤炭. 2024(06): 138-143 . 百度学术
5. 马孝威，李标. 基于云边协同的带式输送机故障诊断技术. 工矿自动化. 2024(S1): 119-121+150 . 本站查看
6. 程德强，寇旗旗，江鹤，徐飞翔，宋天舒，王晓艺，钱建生. 全矿井智能视频分析关键技术综述. 工矿自动化. 2023(11): 1-21 . 本站查看
7. 黄翔，刘晓静，吴文鹏，陈英达，林克全，梁国鹏，梅超宇. 基于云边协同的数字电网通信信息网络安全策略研究. 电力大数据. 2023(10): 42-49 . 百度学术
8. 马志刚，高照. 云边协同在矿井视频监控系统设计中的应用. 无线互联科技. 2023(19): 79-81 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 158
- HTML全文浏览量: 87
- PDF下载量: 18
- 被引次数: 8
