0.   引言

通过矿井监视监控、通信技术，可提升煤矿生产的安全性^[1-3]。运用视频处理、感知和跟踪技术^[4-5]，研究适用于煤矿井下基于机器视觉的人员识别与跟踪方法，可实现基于视觉的人员定位、井下实时工况显示，为井下工作人员的安全提供保障。

视频目标跟踪技术已在日常生产和生活中得到应用，目前比较公认的方法主要包括判别式法和生成式法。判别式法的代表算法包括相关滤波^[6-7]和深度学习算法；生成式法的代表算法包括稀疏表示算法^[8-9]、粒子滤波算法^[10]和卡尔曼滤波算法^[11] 等。由于煤矿监控环境的特殊性，现有地面监控技术直接应用于井下人员跟踪并不能达到预期效果，主要原因如下：① 煤矿巷道较长，目标尺度变化大，且矿井照明的巷道灯是间隔排列的，目标总是处在光照不均的环境中，目标特征变化大；② 矿工穿着统一的服装，在矿工相互穿梭遮挡过程中，容易丢失跟踪目标；③ 矿工头部的安全帽矿灯容易直射镜头，会产生较大光晕，致使视频画面过曝光^[12]。为解决以上问题，国内外科研工作者作了大量研究。贾澎涛等^[13]基于小波变换和背景差分法对监控视频进行去噪处理，提升了人员定位初始阶段的目标识别率，但当多目标同时出现时会出现识别失败或漏识别的情况。陈伟等^[14]采用色度和亮度分离的颜色模型快速判断目标信息，在井下人员工作区域亮度变化剧烈时，能持续对人员进行识别与跟踪，但在光照环境较差的情况下易出现识别错误与定位偏差。刘海仓^[8]利用图像局部特征与全局特征提出了元素与结构联合特征稀疏表示的图像目标检测方法，提升了较远距离时对小目标的识别能力，但对人员信息的持续跟踪能力较差。白中浩等^[9]提出了多模型融合和重新检测的高精度鲁棒目标跟踪算法，提升了目标所处环境变化时对目标的持续跟踪能力，但多目标同时出现时，易出现漏识别与人员信息识别错误的情况。针对井下这一光照条件变化较大、人员信息密集的环境，缺少能同时满足目标识别快、目标识别准确、持续跟踪能力强的算法。

针对上述问题，本文提出了一种基于改进核相关滤波（Kernel Correlation Filter，KCF）算法^[15]的多目标人员检测与动态跟踪方法，对于井下人员密集、井下光照条件不佳、井下工作人员位于巷道深处等多种复杂工况，优化目标检测部分，以提升多目标检测精度和对复杂环境的抗干扰能力，调整置信度阈值、核函数系数等参数，以提升检测算法对井下光照条件的适应能力，通过不断调整迭代模型参数，找到适应井下环境的最优参数，以实现矿井人员多目标检测和跟踪，在保障实时性的前提下有效提高井下目标跟踪的准确性，减小目标丢失概率。

1.   改进KCF算法

1.1   KCF原理

KCF采用岭回归方法，是一种放弃无偏性的最小二乘法，通过损失一部分精度和信息换取更可靠的回归系数。对目标区域进行循环采样并获取样本集，通过训练寻找最合适的目标函数，使回归目标与样本的平均误差最小化，建立目标函数，然后通过最小二乘法求解，损失函数为

式中：n为选取的样本个数；m为样本总个数； $ B{\left(f\left({h}_{n}\right)-{x}_{n}\right)}^{2} $为回归目标与样本的平均误差，$ f\left({h}_{n}\right) $ 为目标函数，$ {h}_{n} $为回归目标值， $ {x}_{n} $为选取的第n个样本值；$ \lambda $为正则化强度系数；$ \omega $为最优解。

一般来说目标和背景的分类问题都是非线性的，引入高维求解方法和核函数的概念，在高维空间中$\omega $的求解可转换为线性问题，通过在二维空间中引入一个核函数$ k(x,x') $，其中$ x $为选取的样本值，$ x' $为二维空间中对应的样本值，将核函数代入式（1）后，再利用傅里叶矩阵的对角化性质变换，得到频域中的损失比例系数$ \hat \alpha $，根据核相关函数的概念，将输入样本与滤波器匹配后再引入回归系数，得到复频域中待测样本的回归值：

式中：$ {\hat{a}}^{x{\textit{z}}} $为样本与候选样本对应构成的元素；$ {\textit{z}} $为候选样本。

对$ \hat{f}\left({\textit{z}}\right) $进行傅里叶反变换，得到频域中待测样本所有的回归值$ f\left({\textit{z}}\right) $，样本中响应最大的位置就是这一帧算法预测的目标位置，得到预测目标位置后，就可快速对比预测框与目标框，实现目标检测速度提升。

1.2   改进KCF算法

在井下复杂工况中，传统KCF算法对目标尺度更新不及时，当目标尺寸发生变化时，预测框不能有效覆盖目标区域，在迭代过程中，学习率调整速率慢且样本质量下降导致更新策略不稳定，不能对目标的变化及时做出反应，容易跟丢目标。 鉴此，本文对KCF算法进行改进，算法框架如图1所示。

图  1  改进KCF算法框架

Figure  1.  Framework of improved kernel correlation filter algorithm

下载: 全尺寸图片 幻灯片

首先，读取待跟踪视频序列，使用经过井下数据集训练后的SSD算法检测图像中的目标，若没有发现目标则继续读取下一帧。其次，将检测到的目标放入跟踪器中，对图像进行预处理，通过比较将所有检测框按照设定的阈值进行打分，并根据分值从高到低依次排列，高分的检测结果直接输出，低分的检测结果用于滤除不良信息，以提升检测速度。然后，通过KCF跟踪预测目标M帧后清空跟踪器，再重新进行目标检测，经过检测算法和跟踪算法的叠加，保证对目标的跟踪。最后，将输出结果上传至上位机，在上位机终端显示并存储数据。

煤矿巷道存在光照不足、目标尺度变化剧烈、目标容易被遮挡和矿灯干扰等多种复杂工况，易导致目标信息短暂消失和识别错误等情况，为解决这一问题，本文在KCF算法中引入图像预处理，对目标图像进行特征提取，并对提取后的特征进行加权，将强相关的特征直接用于目标检测，以实现由于人员转身、建筑物遮挡等导致目标消失时对目标的持续检测能力，当目标重新出现后，保持对目标信息的持续跟踪和读取，实现目标的持续跟踪。

2.   井下SSD目标检测算法

2.1   SSD目标检测模型

SSD是一种基于回归和分类的新型目标检测算法^[16]，主要功能是检测图像内的物体并对其进行分类，其特点是利用多种尺寸的特征图检测目标，以提高目标检测的正确率。SSD网络结构如图2所示。SSD的主干特征提取网络是VGG16，在VGG网络中最后2个全连接层中加入4个卷积小组，以进一步提取特征，抽取SSD整个网络中的6层特征图作为有效特征层进行回归和分类预测，从整体上看，这些特征层尺寸不断减小，特征不断浓缩，浅层特征图因所含信息量大，常用于检测较小目标，深层特征图由于经过压缩，主要用来检测大物体。

图  2  SSD网络结构

Figure  2.  SSD structure

下载: 全尺寸图片 幻灯片

为提升目标尺度变化时的检测准确率，对SSD模型参数进行调整，调整流程如图3所示。配置模型参数prior boxes的尺寸和比例，通过增加小尺寸和高比例的prior boxes，增加对小目标的敏感性。使用set Preferable Target（）模块将计算目标设置为CPU，以提高小目标的检测性能。使用set Confidence Threshold（）模块设置置信度阈值为0.5，并过滤低置信度的检测结果。

图  3  SSD模型参数调整流程

Figure  3.  The SSD model parameter adjustment process

下载: 全尺寸图片 幻灯片

为避免井下复杂环境中由于光照不均引起检测失败，在改进的KCF算法中引入SSD检测算法，以提升算法对多目标人员的检测能力，SSD引入方法步骤如下：首先，加载SSD模型，并指定模型的配置文件和权重文件。其次，初始化KCF跟踪器，并选择初始目标进行跟踪。然后，从视频中读取帧，并使用改进KCF进行目标跟踪。如果跟踪成功，就在图像上绘制跟踪结果。最后，将当前帧传递给SSD模型进行目标检测和识别。根据置信度阈值和类别筛选每个检测到的目标，实现目标检测并显示结果。

2.2   SSD算法先验框优化

SSD算法中每个有效特征层上都会生成一定数量宽高比不同的先验框，但这些先验框不适合井下环境中的目标检测。根据特征层深度的不同所对应特征强弱也不同的特性，将有效特征层划分为对应数量的网格，在每个网格的中心处建立先验框，随卷积的深度不断加深，预选框的总量不断减少，卷积程度较深的特征图用于预测大物体，卷积程度较浅的特征图用于预测小目标。通过引入不同卷积深度的特征层，提升井下复杂工况下的信息处理速度，滤除大部分无效信息，以减少对有效信息识别的干扰。

2.3   检测算法损失函数

SSD算法的损失函数L包括预测框的位置回归损失函数$ {L_{{\mathrm{loc}}}} $和类别置信度的分类损失函数$ {L_{{\text{conf}}}} $。

式中：$ {f}_{i,j}^{p} $为样本对应分类值，表示第i个搜索结果与第j个标注框已超过设定的交并比（Intersection over Union，IoU）阈值，并将其分类为p；c为预测的置信度概率；l为根据先验框位置设定的预测框位置；g为人工标注的真实位置；$ \alpha $为调节损失函数的比例；N为所有先验框中正样本的个数。

3.   实验过程

3.1   矿井多目标人员检测数据集

为了研究和验证本文提出的基于改进KCF的多目标人员检测与动态跟踪方法的性能，采集国家能源集团神东煤炭集团有限责任公司大柳塔煤矿井下数据。在深度学习算法中，数据集的大小和适配度会直接影响训练后算法的效果，而获取足够数量且适配度较高的数据集比较困难，为了应对井下多种环境，达到更好的实验效果，使用数据扩增的方法扩增煤矿井下的图像和视频，并对图像进行人工标注，构建矿井多目标人员检测数据集MMPDDS（Mine Multi-Personnel Detection Data Set）。

3.2   实验环境

为了验证本文方法的性能，对改进KCF算法和相关算法进行仿真实验验证。基于Win10 64位操作系统下开发，深度学习框架选择Pytorch_1.7.0，并使用计算框架CUDA_11.0和深度学习加速库CUDNN_7.4.1.5，使用PyCharm平台进行编程，安装图像处理专用库OpenCV−4.6.0.66，训练模型所用电脑CPU为英特尔酷睿i7−12700H CPU @ 2.30 GHz，16 GiB内存，显卡为GTX 2060。

在实验训练过程中，采用数据增强技术来增加训练数据的多样性，调用图像处理库OpenCV对图像进行随机缩放、裁剪和旋转处理，部分数据扩增结果如图4所示。

图  4  部分数据扩增结果

Figure  4.  Results of amplification of some data

下载: 全尺寸图片 幻灯片

3.3   目标位置预测与检测

检测过程中，在重叠的检测框中选择得分最高的检测框，并抑制其他重叠的框，以消除冗余的检测结果。非极大值抑制（Non Maximum Suppression，NMS）算法通常根据重叠区域的IoU来评估框的重叠程度，并根据设定的阈值来进行抑制，本文使用OpenCV的cv2.dnn.NMSBoxes（）函数实现NMS，根据实际需求调整阈值参数score_threshold和nms_threshold，以控制抑制的严格程度，具体实现步骤：① 根据得分对所有检测框进行排序，得分最高的排在前面；② 选择得分最高的检测框，并将其作为最终的检测结果；③ 计算其他检测框（除得分最高的检测框）与最终检测结果的IoU值；④ 如果某个检测框的IoU值大于设定的阈值，则将该检测框抑制，否则保留该检测框；⑤ 重复步骤②−步骤④，直到所有检测框都被处理。

通过加权平均法来融合检测和跟踪结果，计算融合后的目标位置，并将融合后的目标位置作为最终的检测结果。

式中：$ {b_{t1}} $为t₁时刻的检测结果；$ {c_{t1}} $为t₁时刻的跟踪结果；$ {b_{t2}} $为t₂时刻的检测结果；$ {c_{t2}} $为t₂时刻的跟踪结果；$ \left( {{b_1},{c_1},{b_2},c{}_2} \right) $为SSD模型检测到的目标位置；$ \left( {{b_{{\mathrm{q}}1}},{c_{{\mathrm{q}}1}},{b_{{\mathrm{q}}2}},c{}_{{\mathrm{q}}2}} \right) $为KCF跟踪到的目标位置。

4.   实验结果及分析

4.1   SSD目标检测算法训练曲线

SSD损失训练变化如图5所示。可看出前5次训练损失值下降较为明显，迭代次数增加至30次后，损失值变化幅度减小并趋于稳定，通过计算可知改进KFC算法最后的损失值稳定在1.675附近，在目标检测算法损失函数的允许值内，且迭代次数较少。

图  5  SSD损失训练变化

Figure  5.  SSD loss training changes

下载: 全尺寸图片 幻灯片

4.2   SSD目标检测算法精度

采用识别精度作为衡量目标检测性能的指标，识别精度达到50%即可认为该目标被成功识别。使用MMPDDS中的测试集进行算法比较，分析得到SSD目标检测算法训练前后的识别精度和检测速度，对比结果见表1。可看出经过训练后SSD算法的识别精度较训练前训练前后提高了52.7%。

表  1  训练前后算法性能对比

Table  1.  Algorithm performance comparison before and after training

算法	识别精度/%	检测速度/（帧·s−1）
训练前SSD	32.6	10.91
训练后SSD	85.3	11.31

下载: 导出CSV 

| 显示表格

4.3   性能分析

当前在井下这一复杂工作环境中的检测算法，大部分是基于高对比度或高亮度，且在井下环境中的性能表现欠佳，为了能够更有效衡量本文算法在井下环境中的性能表现，分别与目前应用成熟度较高、在复杂环境下表现稳定的4种算法进行对比^[17]。① KCF算法在持续跟踪能力方面表现很好，目标动作剧烈时仍能持续检测，可通过比较看出本文改进KCF算法是否能够在持续跟踪能力方面有所提升；② 通道和空间可靠性跟踪（Channel and Spatial Reliability Tracking，CSRT）^[18]算法在光照条件不均的情况下目标检测能力较强，可通过对比目标检测精度的大小来判别本文方法在光照条件不均等工况下的检测能力；③ 跟踪学习检测算法（Tracking-Learning-Detection ，TLD）^[19]在目标消失后重新出现或被遮挡的情况下能够准确识别出目标的全部信息，通过对比可看出本文方法在目标遮挡情况下的目标检测能力；④ 多示例学习算法（Multiple Instance Learning，MIL）^[20]对多目标的检测能力较强，能够在光照条件不佳的情况下完整检测出所有目标信息，通过对比不同工况下的多目标检测能力，判别出本文方法在多目标检测中的性能表现。

分别对比各算法对矿井人员检测成功率、跟踪准确率，客观评价算法性能。

1） 矿井人员检测成功率。比较预测框和真实框的重合比例是否超过设定阈值，大于等于阈值为检测成功，低于阈值为检测失败。

2） 矿井人员跟踪准确率。矿井人员跟踪准确率基于中心像素偏移进行判定，关注目标预测框的中心位置，不考虑框的边界尺寸，认为小于像素偏移阈值的为精确预测框，并判定为跟踪成功，反之为跟踪失败。

5种算法性能对比结果见表2。可看出改进KCF算法对矿井人员检测成功率、跟踪准确率明显高于其他4种跟踪算法。

表  2  5种算法性能对比

Table  2.  Performance comparison of the 5 algorithms

算法	成功率/%	准确率/%	检测速度/（帧·s−1）
KCF	42.6	41.1	38.49
CSRT	29.8	27.5	24.28
TLD	12.6	21.6	10.19
MIL	48.7	52.3	13.21
改进KCF算法	87.9	88.9	19.01

下载: 导出CSV 

| 显示表格

在不同重叠阈值下矿井人员检测成功率如图6所示。可看出KCF、CSRT、MIL、TLD算法在重叠阈值较低时，可保持较高成功率，随着阈值的增大，成功率大幅下降。本文方法在重叠阈值较低时，具有较高成功率，重叠阈值大于0.8时，成功率大幅下降，这是因为矿井中环境多样，想要目标形状完全符合标注框有一定难度，且标注图像是由人工完成的，目标边界也没有完全正确的答案。

图  6  矿井人员检测成功率

Figure  6.  The success rate of mine personnel detection

下载: 全尺寸图片 幻灯片

矿井人员跟踪准确率如图7所示，可看出KCF、CSRT、TLD算法并不能很好地适应井下目标跟踪系统，准确率在50%以下，MIL算法的精度略高，改进KCF算法和训练后的SSD算法在误差阈值像素大于6时，准确率有了明显提升，且改进KCF算法对目标跟踪的准确率最高。

图  7  矿井人员跟踪准确率

Figure  7.  The accuracy rate of the mine personnel in tracking

下载: 全尺寸图片 幻灯片

衡量算法每秒能处理多少张图像的指标是帧速率，处理速度与算法的复杂程度、模型的参数总量和计算机的性能有直接关系。不同算法帧速率对比如图8所示。由于本文目标检测部分引入了SSD算法，为了对比引入后性能是否变化，这里额外添加与SSD算法的对比。可看出CSRT算法在初始阶段帧速率上升较为稳定，但2 s之后出现下降，是因为此时CSRT算法丢失了目标；KCF算法帧速率上升较为稳定且帧速率较高，这是由于KCF算法检测精度低，图像处理速度快；MIL算法、TLD算法帧速率基本与SSD算法帧速率相同且较快趋于稳定；本文方法较原始SSD算法降低了系统的复杂程度，减少了模型参数，处理速度远高于原始SSD算法。

图  8  不同算法帧速率对比

Figure  8.  The FPS comparison between the different algorithms

下载: 全尺寸图片 幻灯片

4.4   井下实际应用分析

为了更直观地展示本文方法在井下多目标检测和跟踪中的适应能力，与SSD、KCF、CSRT、TLD及MIL进行对比实验，详细分析不同算法在人员检测成功率和跟踪准确率这2个方面的表现。随机选择4帧图像进行视频实验，由于不同算法的识别精度和跟踪效果不同，将这些结果全部显示在一张图像上会导致跟踪框重合，影响算法性能的比较，本文通过对比多轮实验结果，按对应的算法性能进行排序并依次展示，每组用2个算法进行比较，最后将同一照片下的跟踪结果进行横向对比。

1） 多目标及尺度变化状况下对目标持续跟踪，检测结果如图9所示。所有测试算法对所有目标的跟踪分别放入不同线程单独计算，不会影响跟踪程序的稳定性。由于矿井巷道狭长，横向移动距离有限，所以大多情况人员目标都是纵向移动，人员目标的尺度会发生几倍甚至几十倍的变化，检测结果中第279帧中右上方矿工位于距离摄像装置较远位置，第418帧中矿工位于距摄像装置较近位置，在第279帧−418帧中矿工变化尺度较大。

图  9  目标尺度剧烈变化下跟踪准确度

Figure  9.  Tracking accuracy under drastic changes in object scale

下载: 全尺寸图片 幻灯片

根据检测结果可看出：① 本文方法和SSD算法能够完整识别并跟踪到3名矿工；② KCF和CSRT算法能大概跟踪到目标位置，但尺度更新不及时，并未标记出目标全部轮廓；③ MIL和TLD算法在长时间跟踪后，预测框的位置已发生了较大偏移，导致最终跟丢目标。

2） 光照不均情况下对多目标进行检测，检测结果如图10所示。由于井下照明灯间隔分布，矿工在明暗交替的环境下走动，视频中的矿工最开始是在光照条件较弱的环境中，然后不断朝着光照条件较好的地方走去，在第215帧处，矿工处于光照条件不足且距离较远位置，前4种算法识别效果较好，在第289−307帧处进入稍暗区域，矿工所处环境光照条件发生变化，KCF、CSRT、MIL、TLD算法已经产生了一定误差，在第389帧处进入较亮区域，可看到在目标进入光照变化区域后，由于算法学习了过多黑色背景信息，导致矿工走出昏暗区域时丢失跟踪目标。由检测结果可以看出：① KCF算法完全丢失了目标，且丢失后无法重新检测；② CSRT、MIL、TLD算法表现稍好，但是也不能够识别出目标的全身；③ 本文方法能够保持对多目标的持续跟踪且抗干扰能力较强。

图  10  光照不均时目标跟踪准确度

Figure  10.  Object tracking accuracy during uneven illumination

下载: 全尺寸图片 幻灯片

3） 测试矿灯直射对目标检测与跟踪的影响，检测结果如图11所示。视频画面中第61帧、第91帧处矿工在前进或转身的过程中，有矿灯直射摄像头的情况，此时会在视频画面中产生较大光晕，如在第61帧处产生的大面积白色光晕会影响对目标的检测跟踪。由检测结果可看出：① 传统SSD算法检测不到目标位置，直到白色光晕消失才正确捕捉到目标；② KCF、CSRT和MIL算法受到光晕的影响，依靠迭代计算进行目标匹配，发生了一定的位移，跟踪效果稍差，光晕减弱后恢复正常；③ TLD算法在第61帧之前受到灯光影响直接丢失了目标，未能准确识别完整目标，在光晕出现的时候，只实现了对矿工下半身的跟踪，未能在光晕影响下完整跟踪到矿灯和矿工；④ 本文方法有较好的跟踪表现。

图  11  矿灯直射时目标检测与跟踪准确度

Figure  11.  The accuracy of object detection and tracking during direct mine light

下载: 全尺寸图片 幻灯片

5.   结论

1） 通过MMPDDS不断优化改进KCF井下目标跟踪算法，使改进KCF算法不断迭代学习井下目标特征，持续对网络参数进行优化，使得最终训练后的网络对目标检测的成功率从32.6%提高到了85.3%，并通过不断改进算法的适配性，最终对矿井人员检测的成功率达到87.9%。

2） 改进KCF算法对矿井人员跟踪准确率为88.9%，算法性能明显优于传统KCF、CSRT等跟踪算法，跟踪算法的综合表现优秀，另外平均每秒处理帧数为19.01，可实现实时跟踪。

3） 基于改进KCF的多目标人员检测与动态跟踪方法在井下煤矿巷道光照不足、目标尺度变化剧烈、容易被遮挡和受矿灯干扰等复杂环境中，具有较高的适用性。在光照不足的情况下，该方法能够准确地检测和识别目标，有效地应对巷道内的暗区。同时，由于目标尺度变化剧烈和容易被遮挡的特点，该方法具备较强的鲁棒性，能够在目标尺度变化和遮挡情况下依然保持较高准确性。此外，该方法还能够有效地抑制矿灯的干扰，确保目标的准确识别。