0.   引言

近年来，随着煤矿智能化建设加速进行，机器视觉技术在井下行人检测领域应用广泛，通过图像处理算法对行人目标进行检测和分析，用于后续井下无人驾驶车辆感知和智能安防监控等，对于提高煤矿安全生产管理水平、防范人身伤亡事故具有重要意义^[1-2]。受井下光线昏暗、光照不均、背景复杂、行人目标小且密集等特殊工况环境的影响，图像中的行人目标存在边缘细节特征少、信噪比低、与背景相似度高等问题，难以有效识别遮挡多尺度下的行人目标，导致基于机器视觉的行人检测技术在井下应用面临很大挑战。

基于机器视觉的行人目标检测技术主要分为基于传统图像处理算法和基于深度学习算法2种。基于传统图像处理的行人目标检测算法包括方向梯度直方图（Histogram of Oriented Gradient, HOG）+支持向量机(Support Vector Machines，SVM)、积分通道特征(Integral Channel Features，ICF)+AdaBoost、可变形部件模型(Deformable Part Model，DPM)等^[3]，主要依赖人工设计特征，获得的行人检测特征主观性强，鲁棒性差，无法满足煤矿井下暗光、粉尘等特殊工况的多尺度行人检测需求。基于深度学习的行人目标检测算法通过大规模数据集训练学习，主动提取特征，解决了基于传统图像处理的行人目标检测算法模型泛化能力差的问题，针对复杂环境下的图像处理问题具有更大的性能优势和应用潜力。基于深度学习的行人目标检测算法主要包括two-stage和one-stage 2类。two-stage算法通过区域生成网络产生目标候选框，并对目标候选框进行分类回归，以基于区域候选框的卷积神经网络(Region-based Convolutional Neural Networks，RCNN)及其迭代升级网络Fast RCNN、Faster RCNN^[4]为代表，优点是检测效果较好；one-stage算法采用端到端的方式训练网络，无需生成区域候选框，直接对目标检测框进行分类回归并输出检测结果，主要包括SSD^[5]系列、YOLO^[6]系列、CornerNet^[7]系列等，优点是检测速度快。李伟山等^[8]提出了一种改进的Faster RCNN煤矿井下行人检测方法，以Faster RCNN算法为基础，对候选区域网络（Region Proposals Network，RPN）结果进行改进，将不同层级的特征融合，以提高行人检测准确率，但网络计算量大，无法应用于实时系统中。李现国等^[9]设计了一种基于DenseNet网络的轻量级卷积神经网络作为SSD网络的基础网络﹐以满足井下视频行人实时检测需求，并设计了基于ResNet网络的辅助网络，以增强特征表征能力，虽然其检测速度很快，但在井下遮挡、密集场景下的行人检测效果不理想。张明臻^[10]针对井下弱光环境中捕获图像质量不佳的问题，通过将弱光图像分解为光照图和反射图进行增强和去噪处理，并将含有残差块的 Dense 模块添加到 YOLO网络中，构建了基于 Dense-YOLO 网络的井下行人检测模型，以降低弱光环境下行人检测漏检率，但其对于一些垂直边缘较强，与背景相似度高的干扰物易造成虚警。

针对上述问题，本文提出了一种基于图像融合和改进CornerNet-Squeeze的煤矿井下行人检测方法。该方法对红外相机和深度相机采集的图像进行融合，并结合二者优势，提升井下行人检测的精度；在CornerNet-Squeeze的主干网络后加入八度卷积（Octave Convolution，OctConv），增强行人目标边缘特征，提高井下多尺度行人目标的检测能力。

1.   CornerNet-Squeeze网络

CornerNet网络作为一种one-stage 的 Anchor-Free 目标检测算法，省略了生成锚框的步骤，具有与two-stage算法相媲美的检测精度^[11-12]，网络结构如图1所示。其中沙漏型主干网络Hourglass Network由2个全卷积网络Hourglass-52 Network组成，通过一系列下采样和上采样操作，实现输入图像的多通道特征图提取。提取的特征图输出到2个分支模块，并分别预测目标左上角和右下角2组角点位置。每个角点分支预测模块经过Corner Pooling后，输出 Heatmap、Embeddings、Offsets 3个部分^[13]。Heatmap输出预测角点信息；Embeddings输出不同角点之间的距离，判断2个角点是否属于同一个实例目标；Offsets输出从输入映射到特征图的误差信息，调整目标角点位置。通过聚合三者信息预测得到目标角点，采用Soft-NMS操作去除冗余框，最终输出目标检测结果。

图  1  CornerNet网络结构

Figure  1.  CornerNet network structure

下载: 全尺寸图片 幻灯片

沙漏型主干网络Hourglass Network中单个Hourglass-52 Network网络结构如图2所示^[14-16]。该网络中使用了大量的Res残差模块，当输入图像尺寸为256×256时， 主干网络部分的参数量高达18 700 万，巨大的参数量造成大部分计算资源集中消耗，导致实时性降低，且其计算复杂度会随输入图像尺寸增大呈指数增加^[16]。为降低沙漏型主干网络复杂度，追求更高的实时性，CornerNet-Squeeze在CornerNet基础上结合SqueezeNet^[17-18]的思想，采用SqueezeNet中的fire模块代替Hourglass network中的Res残差模块，对其进行精简处理。Res残差模块由2个3 × 3大小的卷积层和跳跃连接组成；fire模块先使用1 × 1卷积层对数据进行降维处理，再用可分离的1 × 1卷积层和3 × 3卷积层进行组合扩展。采用1× 1的卷积核参数量为3 × 3卷积核的1/9，可大大减少Hourglass network计算参数，提高模型的推理速度。

图  2  Hourglass-52 Network网络结构

In−输入模块；Pool 池化模块；Res 残差模块；Up 上采样模块；Out 输出模块

Figure  2.  Hourglass-52 Network structure

下载: 全尺寸图片 幻灯片

2.   改进CornerNet-Squeeze网络

CornerNet-Squeeze网络只对沙漏型主干网络做了轻量化处理，但面对复杂背景和小目标图像时，往往目标特征提取不完整，影响Heatmap热图对目标角点位置的判断，导致目标检测框定位错误。因此，本文在CornerNet-Squeeze的沙漏型主干网络后引入OctConv^[19-20]特征增强模块，在 不 明 显 增 加CornerNet-Squeeze网络复杂度的情况下，加强对目标边缘特征的提取能力，提高Heatmap热图对角点预测的准确性，减少CornerNet-Squeeze网络由于目标角点漏检导致空间距离较小的同类目标及小目标误检情况。改进CornerNet-Squeeze网络结构如图3所示。

图  3  改进CornerNet-Squeeze网络结构

Figure  3.  Improved CornerNet-Squeeze network structure

下载: 全尺寸图片 幻灯片

在卷积神经网络中，卷积计算得到的特征图中存在高频部分和低频部分，通过分离特征图，增加高频信息输出，可更多地提取图像中所关注目标的轮廓特征，有助于增强目标边缘特征，提高识别率。本文在CornerNet-Squeeze网络中引入OctConv特征增强模块，对经沙漏型主干网络提取的特征图中高低频特征分量进行分离，输出更多代表目标轮廓信息的高频特征，增强目标边缘特征。其处理步骤如下。

1） 采用1 × 1的Conv对主干网络提取的特征图进行降维处理。

2） 降维后的特征图通过OctConv分离−融合高低频特征信息，过程如图4所示。

图  4  OctConv操作过程

Figure  4.  OctConv operation procedure

下载: 全尺寸图片 幻灯片

首先沿通道尺寸使用系数$ \alpha $将沙漏型主干网络提取的特征图分解为高频分量H和低频分量L，$ H \in {{\boldsymbol{F}}^{\left( {1 - \alpha } \right)c \times h \times w}} $，$ L \in {{\boldsymbol{F}}^{\alpha \times c \times \tfrac{h}{2} \times \tfrac{w}{2}}} $，$ {{\boldsymbol{F}}^{c \times h \times w}} $为输入特征张量，$ \alpha \in \left[ {0,1} \right] $，$ \alpha $ = 0 时仅输出高频分量，$ \alpha $ = 1 时仅输出低频分量，c为通道数，h，w为特征张量的空间维度。然后对高频分量H进行平均池化和卷积操作，对低频分量L进行卷积和上采样操作，分别输出融合特征分量$ {H_{\text{m}}} $和$ {L_{\text{m}}} $。最后加权得到融合的特征信息M。求解过程为

式中：C为k$ \times $k的卷积核，$ C \in {{\boldsymbol{F}}^{c \times k \times k}} $，k为卷积核大小；$ \otimes $为卷积运算；P为池化操作；U为上采样操作；$ \rho $为幅值系数，$ \rho \in \left( {0,1} \right) $。

3） 输出的高频信息经过1 × 1反卷积 DConv操作，还原图像原有尺寸，在后续角点预测模块经处理生成Heatmap，计算角点得到目标检测结果。

3.   模型训练与结果分析

3.1   数据集制作

为充分采集煤矿井下行人数据，将红外相机和深度相机安装在防爆无轨胶轮车车顶，采集的原始数据以视频方式保存。通过对视频抽帧得到深度图像和红外图像，基于尺度不变特征变换算法对红外图像和深度图像进行配准对齐，对配准图像进行中心裁剪以消除边缘部分的对齐误差，最终得到1 000组 480× 360 的红外图像和深度图像对齐图像。

采用双尺度图像融合（Two-scale Image Fusion，TIF）算法^[21]通过图像分解、图像合并、图像重构对1 000组红外图像和深度图像对齐图像进行融合处理。为了进一步提高融合后图像的成像品质，采用形态学方法对融合图像进行处理，突出行人的纹理细节和灰度特征，消除冗余的背景干扰。图像融合处理原理如图5所示。

图  5  图像融合处理原理

Figure  5.  Principle of image fusion processing

下载: 全尺寸图片 幻灯片

1） 图像分解。首先使用均值滤波器$ \mu \left( {x,y} \right) $对原始红外图像$ {f_1}\left( {x,y} \right) $和原始深度图像$ {f_2}\left( {x,y} \right) $进行图像分解，分别获得红外图像基础层图像$ f_{_1}^{\rm{b}}\left( {x,y} \right) $、深度图像基础层图像$ f_2^{\rm{b}}\left( {x,y} \right) $，并通过原始红外图像和原始深度图像与红外图像基础层图像和深度图像基础层图像的差值得到红外图像细节层图像$ f_1^{\rm{d}}\left( {x,y} \right) $和深度图像细节层图像$ f_2^{\rm{d}}\left( {x,y} \right) $。

2） 图像合并。采用算术平均策略对基础层图像进行合并，得到基础层合并图像$ {f}^{{\rm{b}}}(x,y)，{f}^{{\rm{b}}}(x,y)= \dfrac{1}{2}({f}_{1}^{{\rm{b}}}\left(x,y\right)+{f}_{2}^{{\rm{b}}}\left(x,y\right)) $。采用加权处理策略对细节层图像进行合并，分别对原始红外图像$ {f_1}\left( {x,y} \right) $和原始深度图像$ {f_2}\left( {x,y} \right) $进行均值滤波和中值滤波，计算均值滤波图像$ {\varphi _{{f_1}}} $，$ {\varphi _{{f_2}}} $和中值滤波图像$ {\theta _{f_1}},{\theta _{f_2}} $的欧拉距离，得到视觉显著图像$ {\varepsilon _1}\left( {x,y} \right) $和$ {\varepsilon _2}\left( {x,y} \right) $，进一步计算得到细节层的加权合并系数矩阵$ {{\boldsymbol{\delta}} }_{1}(x,y)=\dfrac{{\varepsilon }_{1}(x,y)}{{\varepsilon }_{1}\left(x,y\right)+{\varepsilon }_{2}(x,y)} $和${{\boldsymbol{\delta}} }_{2}(x,y)=\dfrac{{\varepsilon }_{2}(x,y)}{{\varepsilon }_{1}\left(x,y\right)+{\varepsilon }_{2}(x,y)}$ ，细节层合并图像${f}^{{\rm{d}}}\left(x,y\right)= {{\boldsymbol{\delta}} }_{1}\left(x,y\right){f}_{1}^{{\rm{d}}}\left(x,y\right){+{\boldsymbol{\delta}} }_{2}\left(x,y\right){f}_{2}^{{\rm{d}}}\left(x,y\right)$ 。

3） 图像重构。对合并后的基础层图像和细节层图像采用像素位对应相加进行图像重构，得到最后深度图像和红外图像的融合图像$z \left( {x,y} \right) = {f^{\rm{b}}}\left( {x,y} \right) + {f^{\rm{d}}}\left( {x,y} \right)$。

4） 形态学处理。采用先腐蚀后膨胀形态学开运算对融合后的图像进行形态学处理，消除亮度较高的细小区域，去除孤立的小点、毛刺，消除小物体，平滑较大物体边界，减小背景干扰，突出行人轮廓特征。

经过上述步骤处理后的深度图像和红外图像融合结果如图6所示。可看出融合图像结合了红外图像的行人灰度特征和深度图像的轮廓边缘，经过形态学处理后，减少了环境信息干扰，突出了行人特征，有助于提高行人检测的准确率。

图  6  图像融合处理过程

Figure  6.  Process of image fusion

下载: 全尺寸图片 幻灯片

3.2   模型训练

对深度图像、红外图像及融合图像使用标注软件LabelImg进行人工标注，得到3种训练数据集。整个数据集包含遮挡、密集人群、小目标在井下低照度、水雾、粉尘等特殊场景样本，总计约2 000个行人目标。

行人目标检测模型的训练平台为NVIDIA GeForce GTX 2080Ti，内存为32 GB，操作系统为Ubuntu18.04LTS，采用Pytorch 深度学习框架，推理平台为矿用本安型边缘计算装置，具有14TOP算力。红外、 深度、融合数据集均包含1 000张图像，将图像数据集按比例随机划分，训练集和验证集分别包含700张和100张图像样本，测试集包含200张图像样本。在模型训练时先对输入图像进行随机裁剪、扩充、水平翻转和不等比例缩放，以增强数据集，再对图像采用主成分分析方法(Principal Component Analysis，PCA)进行白化操作，降低输入数据的冗余性。设置最大训练周期为500，初始学习率为0.001，每经过100次迭代，学习率降为原来的0.5 倍。模型训练使用 Early-Stopping策略，当模型验证损失值多次不下降时，认为模型达到收敛状态，自动结束训练。使用改进CornerNet-Squeeze网络和原始CornerNet、CornerNet-Squeeze网络分别在3种数据集上进行训练，得到相应的模型。

选取CornerNet-Squeeze网络与改进CornerNet-Squeeze网络在同一数据集上进行训练，验证损失值曲线如图7所示。可看出迭代400次后2个模型逐渐达到收敛，改进CornerNet-Squeeze 网络较CornerNet-Squeeze网络验证损失值低，说明改进CornerNet-Squeeze网络训练模型具有更好的泛化能力。

图  7  同一数据集下验证损失值曲线

Figure  7.  Validation-Loss value curve under the same data set

下载: 全尺寸图片 幻灯片

3.3   试验结果

采用准确率p、召回率R、漏检率F、平均精度A及帧速率（Frames Per Second，FPS）作为性能评价指标。

式中：N_TP为被预测为正样本的正样本数量；N_FP为被预测为正样本的负样本数量；N_FN为被预测为负样本的正样本数量；A为平均精度，用来衡量算法的检测精度。

小尺度目标的评价指标为 A^s（像素面积小于32×32 的目标检测平均精度），中等尺度目标评价指标为 A^m（像素面积大于32×32且小于96×96 的目标检测平均精度），大尺度目标评价指标为 A^b（像素面积大于96×96 的目标检测平均精度）。

训练完成后，不同模型针对不同数据集的行人目标检测性能见表1。可看出对于同一数据集，CornerNet-Squeeze模型和改进CornerNet-Squeeze模型的检测速度比CornerNet模型高；改进CornerNet-Squeeze模型的检测精度较CornerNet-Squeeze模型和CornerNet模型高，由此可见改进CornerNet-Squeeze模型在提升行人目标检测准确性的同时，保持了原算法的检测速度；同一模型采用不同数据集训练时，融合图像数据集训练得到的模型检测精度较深度图像和红外图像数据集训练得到模型检测精度高，检测速度略有下降，这是由于图像的融合处理导致计算量增加，牺牲了部分检测速率，但不影响模型的实时检测性能，说明融合图像能充分结合深度图像和红外图像二者的优势，有利于提高模型的检测精度。

表  1  不同模型的行人目标检测性能

Table  1.  Pedestrian target detection performance of different models

数据集	模型	A/%	FPS/（帧·s−1）
红外图像	CornerNet	71.18	24
	CornerNet-Squeeze	73.68	31
	改进CornerNet-Squeeze	78.36	31
深度图像	CornerNet	72.11	25
	CornerNet-Squeeze	74.56	30
	改进CornerNet-Squeeze	78.21	29
融合图像	CornerNet	75.76	22
	CornerNet-Squeeze	82.63	28
	改进CornerNet-Squeeze	85.36	28

下载: 导出CSV 

| 显示表格

为验证本文算法在不同背景下的行人检测效果，设定轻微遮挡（遮挡范围10%~30%）、部分遮挡（遮挡范围30%~60%）、严重遮挡（遮挡范围60%~80%）、大尺寸目标（行人高度大于80像素）、中小尺寸目标（行人高度40~80像素）、极小尺寸目标（行人高度小于40像素）6种行人目标测试场景，采用融合图像数据集训练的3种模型进行行人目标检测，结果见表2。可看出在6种测试场景下，改进CornerNet-Squeeze模型漏检率均最低。

表  2  不同背景下行人目标检测效果

Table  2.  Pedestrian target detection effect in different backgrounds

测试场景	目标总 数/个	漏检率/%
		CornerNet	CornerNet- Squeeze	改进 CornerNet-Squeeze
轻微遮挡	200	2.82	2.33	1.81
部分遮挡	160	11.43	9.12	8.36
严重遮挡	60	52.37	48.81	43.54
大尺寸目标	180	1.55	1.46	1.22
中小尺寸目标	150	7.39	6.88	6.12
极小尺寸目标	50	40.33	35.78	31.68

下载: 导出CSV 

| 显示表格

为进一步验证改进CornerNet-Squeeze的可行性和先进性，与主流目标检测算法YOLOv4在 COCO2014 行人数据集上训练得到的模型进行比较，结果见表3。可看出改进CornerNet-Squeeze算法的精度A较YOLOv4提高了 1.1%，检测速度提高了6.7%。对于小尺度行人目标，改进CornerNet-Squeeze算法的A^s明显优于YOLOv4算法，但对于中等和大尺寸行人目标，改进CornerNet-Squeeze算法的A^m，A^b较YOLOv4算法有所下降，这是由于中等和大尺寸目标在图像中占比较大，特征相对显著，在此类图像下本文算法对目标边缘增强效果有限。

表  3  在COCO2014 行人数据集上性能对比

Table  3.  Performance comparison on the COCO2014 pedestrian dataset

算法	检测速度/ms	A/%	As/%	Am/%	Ab/%
YOLOv4	30	43.2	13.2	45.4	65.6
改进CornerNet-Squeeze	32	44.3	18.1	44.1	64.3

下载: 导出CSV 

| 显示表格

测试集中部分图像的行人目标检测结果如图8所示，从左到右分别为红外图像、深度图像和融合图像在CornerNet-Squeeze和改进CornerNet-Squeeze上的测试结果。可看出采用融合图像在2种模型上进行行人目标检测的置信度较红外图像和深度图像均有所提升；改进CornerNet-Squeeze有效检测出了红外图像和融合图像中远处小目标，而CornerNet-Squeeze未能检出。

图  8  3种数据的检测结果

Figure  8.  Test results of three kinds of data

下载: 全尺寸图片 幻灯片

4.   结论

1） 采用SqueezeNet中的fire模块替换CornerNet中沙漏型主干网络的Res模块实现轻量化改造，CornerNet-Squeeze模型较CornerNet模型在检测速率上有明显提升；引入OctConv特征增强模块，所得改进CornerNet-Squeeze模型较CornerNet-Squeeze、CornerNet模型在检测精度上显著提高。可见改进CornerNet-Squeeze模型在提升行人检测准确性的同时兼顾了检测实时性。

2） 采用融合图像数据集训练得到的模型检测精度较红外图像、深度图像数据集训练得到的模型高，FPS略有下降，表明融合图像能充分结合深度图像和红外图像的优势，有利于提高模型检测精度，但图像的融合处理导致计算量增加，牺牲了部分检测速率。

3） 改进CornerNet-Squeeze模型的漏检率最低，针对遮挡及多尺度行人目标的检测具有一定优势。

4） 与YOLOv4 相比，在 COCO2014 行人数据集上改进CornerNet-Squeeze的平均精度提高了 1.1%，检测速度提高了6.7%。

5） 改进CornerNet-Squeeze模型能够有效检测出图像中的远处小目标，对小目标的检测能力提升明显。