0.   引言

选煤厂安放刮板输送机、振动筛等大型机械设备的区域容易发生人员安全事故，为选煤厂危险区域。尽管在选煤厂危险区域设置了安全隔栏、警示牌等，但在实际生产过程中依然存在人员违规进入危险区域的行为。为保障人员安全，在选煤厂危险区域会安装监控系统，但需要专职人员值守，存在因值班人员疲劳而忽视现场异常工况的现象^[1]。

为提高安全管理水平，研究人员提出使用目标检测算法检测设备运行时是否有进入危险区域的人员，辅助值班人员对危险区域进行监测。张圣强等^[2]采用背景减除法分割运动目标区域，再结合人体的形状信息进行验证，实现了对人员的检测；陈海龙^[3]将背景减除法作为选煤厂巡检机器人目标检测方法。但由于选煤厂光照不均、背景复杂，尤其在人员之间发生遮挡时会使各个目标区域连通在一起，造成漏检率偏高的问题。林娅静^[4]通过基于混合高斯模型的背景减除法进行运动目标检测，再结合方向梯度直方图（Histogram of Oriented Gradient, HOG）和支持向量机（Support Vector Machine，SVM）进行人员识别，一定程度上提高了检测准确率，但检测效率低。

近年来，基于深度学习的目标检测算法发展迅速，其鲁棒性好、泛化能力强，但计算量大。为达到实时检测效果，学者们提出了轻量化目标检测模型，但现有的轻量化目标检测模型是面向公开数据集设计的，需要兼顾多个类别目标的检测效果，缺乏对特定类型目标检测性能的优化。考虑到选煤厂在生产过程中产生的粉尘会覆盖员工工作服，且喷雾降尘设备产生的雾气会导致监控画面对比度低，给人员全身与生产环境背景颜色的区分带来困难，而人员头部特征相对易于辨识，人头在监控视角下被遮挡的可能性较低，所以相对于人员全身检测，人头检测更加方便有效^[5]。大部分人头属于小尺寸目标，目前的轻量化目标检测模型在特征提取时的降采样率较大，信息损失多，因此对人头目标的检测能力有限。针对该问题，本文提出了轻量化人员检测模型CenterNet−GhostNet。该模型以CenterNet^[6]网络为基础框架，将轻量化网络GhostNet^[7]与特征金字塔（Feature Pyramid Network，FPN）^[8]相结合作为特征提取网络，在提取高层语义特征的同时保留细节信息；使用3个独立卷积分支对输出特征图进行解码计算，以充分利用特征图的细节信息，从而在人头目标检测上达到较高的准确率。

1.   人员检测模型

1.1   模型框架

CenterNet−GhostNet模型框架如图1所示，总体上可分为特征提取、特征图解码计算和预测输出3个部分。

图  1  CenterNet−GhostNet模型框架

Figure  1.  Framework of CenterNet-GhostNet model

下载: 全尺寸图片 幻灯片

（1） 特征提取。将输入图像通过特征提取网络映射成包含原图像语义信息的输出特征图，输出特征图的分辨率为128×128，为输入图像的1/4。

（2） 特征图解码计算。为充分利用高分辨率特征图的细节信息，输出特征图经过3个相互独立的卷积操作后，分别生成关键点热图、偏移量热图及尺寸热图，3个热图的尺寸相同。关键点热图中每个点的值代表该点作为目标中心点（也被称为关键点）的置信度；偏移量代表关键点对应的坐标偏移量，是关键点映射回原图时由于分辨率不同产生的；尺寸热图包含目标边界框尺寸大小，用于后续生成目标边界框。

（3） 预测输出。首先，在关键点热图上进行3×3最大池化操作，得到每个3×3区域中置信度最大的关键点，将筛选出的关键点作为目标在关键点热图上的中心点，然后使用偏移量调整中心点位置，得到输入图像中精确的目标中心点，最后根据目标边界框尺寸绘制目标边界框。

1.2   特征提取网络

为了在保证精度的前提下提升模型运行效率，降低硬件成本，设计了基于GhostNet和FPN的轻量化特征提取网络，结构如图2所示。GhostNet对输入图像进行特征提取，FPN对GhostNet提取的各层特征进行融合。

图  2  基于GhostNet和FPN的特征提取网络结构

Figure  2.  Feature extraction network structure based on GhostNet and feature pyramid network

下载: 全尺寸图片 幻灯片

GhostNet具有运行快、准确率高等优点，其参数见表1。G−bneck是GhostNet中被称为瓶颈的结构，如图3所示。步长为1的G−bneck由Ghost模块、批标准化层叠加而成，且输入和输出之间有1条跳跃连接通道。步长为2的G−bneck比步长为1的G−bneck多了1个步长为2的深度可分离卷积层^[9]和1个批标准化层。

表  1  GhostNet参数

Table  1.  Parameters of GhostNet

输入尺寸	结构	步长
512×512×3	Conv2d（3×3）	2
256×256×16	G−bneck×2	1，2
128×128×24	G−bneck×2	1，2
64×64×40	G−bneck×2	1，2
32×32×80	G−bneck×4	1，1，1，1
32×32×112	G−bneck×2	1，2
16×16×160	G−bneck×4	1，1，1，1
16×16×160	Conv2d（3×3）	1

下载: 导出CSV 

| 显示表格

图  3  G−bneck结构

Figure  3.  Structure of G-bneck

下载: 全尺寸图片 幻灯片

G−bneck中的Ghost模块（图4）是GhostNet提升精度的关键，其用计算量很少的线性运算代替部分卷积运算，将得到的冗余特征图与本征特征图进行拼接，提高网络的特征表达能力。

图  4  Ghost模块

Figure  4.  Ghost module

下载: 全尺寸图片 幻灯片

FPN融合了GhostNet提取的16×16，32×32，64×64，128×128这4个不同分辨率的特征图中信息，一方面融合了高层语义特征，提供了全局的情景信息，另一方面保留了丰富的细节信息，能够提高模型对小尺寸目标的检测能力。特征融合的方式为较高分辨率特征图经过步长为1的1×1卷积运算后，与经过2倍上采样的较低分辨率特征图逐元素相加。本文使用卷积核大小为3×3、步长为1的可形变卷积^[10]与卷积核大小为3×3、步长为1的转置卷积串联的卷积操作来代替FPN中常用的双线性差值操作^[11]，使FPN在融合特征时能够自适应地突出重要特征，减少无效信息的干扰^[12]。

1.3   损失函数

CenterNet−GhostNet模型的损失函数L_det由关键点置信度损失函数L_k、偏移量损失函数L_off和目标边界框尺寸损失函数L_size组成。

式中λ_off，λ_size分别为L_off，L_size的调节系数。

计算关键点置信度的损失需要根据训练样本中目标的真实位置生成监督信号，即生成一个跟关键点热图尺寸相同的标签热图，标签热图中每个点的值与关键点热图中每个点的置信度一一对应，代表了该点是关键点的可能性（ 即关键点置信度）。训练样本原图中标注的目标边界框中心作为目标的真实关键点p，其在下采样倍数为R的标签热图上对应的关键点$ \tilde p=\left\lfloor {p/R} \right\rfloor $。

标签热图中关键点置信度$Y_{\tilde p} $以关键点$ \tilde p $为中心，呈高斯分布。

式中：(x，y)为标签热图上点的坐标；$ ({x}_{\tilde p}，{y}_{\tilde p}) $为关键点$ \tilde p $的坐标；σ为与目标边界框尺寸相关的自适应标准差。

关键点置信度损失函数L_k为基于Focal Loss^[12]的变体：

式中：N为标签热图中真实关键点个数；$\hat{Y}_{\tilde p} $为标签热图中关键点置信度预测值；α，β为超参数，本文取α=2，β=4。

由于关键点热图与原图分辨率不同，将关键点从关键点热图映射回原图时会存在偏移，偏移量损失函数为

式中：$ {\hat{O}}_{\tilde p} $为关键点$ \tilde p $的偏移量预测值；$ {O}_{\tilde p} $为关键点$ \tilde p $的偏移量真实值，$ {O}_{\tilde p}=p/R-\tilde p $。

目标边界框尺寸损失函数为

式中：${\hat S_{\tilde p}} $为关键点$\tilde p $对应的目标边界框尺寸预测值；$S_{\tilde p} $为关键点$\tilde p $对应的目标边界框尺寸真实值。

2.   实验与结果分析

2.1   数据集

通过截取选煤厂监控视频帧，以及在自采集图像中随机添加高斯、椒盐噪声和降低对比度来模拟选煤厂监控视频图像，共采集4 096张图像样本。使用LabelImg工具进行图像标注，标注格式为Pascal VOC^[13]。标注的人头样本个数为13 248，其中佩戴安全帽的人头样本个数为7 138，未佩戴安全帽的人头样本个数为6 110。图像样本按照8∶1∶1的比例划分为训练集、验证集和测试集。

2.2   模型训练

模型训练使用Intel Core i9−9900KF CPU，NVIDIA RTX2080Ti GPU等作为硬件平台。实验环境：Ubuntu 20.04 LTS；CUDA 11.0；cuDNN 8.5.0；PyTorch 1.7；Python 3.6。

CenterNet−GhostNet模型训练参数：轮数为140；批尺寸为32；优化器为Adam；1—89，90—119，120—140轮的学习率分别为5×10⁻⁴，5×10⁻⁵，5×10⁻⁶；输入图像尺寸为512×512。

为加快模型收敛速度，GhostNet在训练前载入在ImageNet数据集上的预训练权重。此外，为提高模型泛化能力，CenterNet−GhostNet在训练时采用Mosaic数据扩增^[14]和色彩抖动作为在线数据增强方法来扩充数据集，能够起到丰富背景和提升小目标检测性能的作用。

2.3   模型对比实验结果

为验证CenterNet−GhostNet模型的优越性，与CenterNet−Res18模型（ 以CenterNet为基础框架并使用ResNet−18作为特征提取网络的轻量化模型）进行对比，检测结果如图5、图6所示。目标边界框的颜色代表目标类别，蓝色代表未佩戴安全帽的人员头部，红色表示已佩戴安全帽的人员头部；目标边界框上方的数字代表目标的类别置信度。

图  5  CenterNet−GhostNet模型检测结果

Figure  5.  Detection results of CenterNet-GhostNet model

下载: 全尺寸图片 幻灯片

图  6  CenterNet−Res18模型检测结果

Figure  6.  Detection results of CenterNet-Res18 model

下载: 全尺寸图片 幻灯片

对比图5、图6可看出：对图像1的检测中，CenterNet−GhostNet模型不仅检测出所有人头目标，且正确区分了目标类别；对图像2的检测中，2个模型均正确检测出目标，但CenterNet−GhostNet模型的目标边界框位置更精准，类别置信度更高；对图像3的检测中，CenterNet−Res18模型存在漏检，而CenterNet−GhostNet模型正确检测出所有人头目标。

CenterNet−GhostNet模型与常见轻量化目标检测模型YOLOv4 Tiny、SSD−MobileNet及CenterNet−Res18的客观评价指标对比见表2。使用平均精度均值（ Mean Average Precision，mAP）衡量目标检测精度，每秒传输帧数（Frames Per Second，FPS）衡量目标检测速度。

表  2  不同模型检测精度和检测速度对比

Table  2.  Comparison of detection accuracy and detection speed among different models

模型	mAP/%		FPS/（帧·s−1）
	佩戴安全帽	未佩戴安全帽
SSD−MobileNet	87.1	83.3	167
YOLOv4 Tiny	91.5	89.7	117
CenterNet−Res18	88.6	85.1	155
CenterNet−GhostNet	93.7	91.7	146

下载: 导出CSV 

| 显示表格

从表2可看出，CenterNet−GhostNet模型检测速度相较于SSD−MobileNet和CenterNet−Res18模型略低，但对两类（佩戴安全帽和未佩戴安全帽）人头样本的检测精度均最高。

2.4   模型部署实验结果

为实现CenterNet−GhostNet模型在选煤厂危险区域人员检测中的应用，将其部署到NVIDIA Jetson Nano上。模型部署步骤：① 将CenterNet−GhostNet模型导出为ONNX文件。② 受制于NVIDIA Jetson Nano显存（ 2 GB）和图像分辨率（ 512×512），设置批尺寸为1，选择FP16作为模型部署推理精度，以保证实时性。③ 将模型转换为TensorRT工程文件，使用OpenCV读取并处理视频，调用TensorRT工程文件执行推理。

NVIDIA Jetson Nano配合监控摄像机和报警器进行选煤厂危险区域人员检测，布置如图7所示。监控摄像机连接在NVIDIA Jetson Nano的CSI接口，NVIDIA Jetson Nano对视频进行处理后，通过GPIO接口发送指令控制报警器提醒现场工作人员。

图  7  选煤厂危险区域人员检测布置

Figure  7.  Personnel detection arrangement in dangerous area of coal preparation plant

下载: 全尺寸图片 幻灯片

CenterNet−GhostNet模型在NVIDIA Jetson Nano上单帧检测耗时67 ms，表明该模型能够满足实时检测的要求。

3.   结论

（1） 针对选煤厂环境下人员全身目标检测因粉尘、雾气干扰难以准确与背景区分的问题，提出使用人员头部检测来代替人员全身目标检测，以减少选煤厂环境因素的影响。

（2） 以CenterNet网络为基础框架，将GhostNet与FPN相结合作为特征提取网络，构建了CenterNet−GhostNet模型来进行人员头部检测。

（3） 在自建的选煤厂人员数据集上进行实验验证，结果表明CenterNet−GhostNet模型能在保证检测速度的同时提升检测精度，满足选煤厂危险区域人员检测需求。

（4） 将CenterNet−GhostNet模型部署在NVIDIA Jetson Nano上，配合监控摄像机、报警器，能够在工作人员进入危险区域时及时报警提示。实验结果表明，模型单帧检测耗时67 ms，满足实时检测要求。