Personnel detection in dangerous area of coal preparation plant based on CenterNet-GhostNet
-
摘要: 选煤厂危险区域人员全身目标检测因粉尘、雾气干扰难以准确与生产环境背景区分，而人员头部特征相对易于辨识，且人头在监控视角下被遮挡的可能性较低，因此危险区域人员检测使用人员头部检测代替人员全身目标检测。目前基于深度学习的轻量化目标检测模型在特征提取时信息损失多，对人头目标的检测能力有限。针对该问题，提出了轻量化人员检测模型CenterNet−GhostNet。该模型以CenterNet网络为基础框架，将轻量化网络GhostNet与特征金字塔相结合作为特征提取网络，GhostNet对输入图像进行特征提取，提升网络特征表达能力，特征金字塔对GhostNet提取的不同分辨率的特征图中包含的信息进行融合，在提取高层语义特征的同时保留较多的细节信息；在较高分辨率的单个输出特征图上使用3个相互独立的卷积操作分支进行解码计算，以充分利用特征图包含的细节信息。实验结果表明：CenterNet−GhostNet模型对佩戴安全帽和未佩戴安全帽两类人头目标的检测精度分别为93.7%和91.7%，均优于通用的轻量化模型SSD−MobileNet、YOLOv4 Tiny和CenterNet−Res18；CenterNet−GhostNet模型部署在NVIDIA Jetson Nano上的单帧检测耗时为67 ms，满足选煤厂危险区域人员高精度、实时检测要求。Abstract: Due to the dust and fog interference, it is difficult to distinguish accurately the whole body target of personnel in dangerous areas of coal preparation plant from the production environment background. Moreover, the head features of personnel are relatively easy to be identified, and the possibility of head being blocked in the monitoring perspective is low. Therefore, the head detection of personnel in dangerous areas is used instead of the whole body target detection of personnel. At present, the lightweight target detection model based on deep learning has a lot of information loss in feature extraction, and its detection capability of human head target is limited. In order to solve this problem, a lightweight personnel detection model CenterNet-GhostNet is proposed. The model takes CenterNet network as the basic framework, and combines the lightweight network GhostNet and the feature pyramid network(FPN) as the feature extraction network. GhostNet extracts the features of the input image and improves the network feature expression capability. And the FPN fuses the information contained in the feature maps with different resolutions extracted by GhostNet, so that more detailed information is reserved while extracting the high-level semantic features. Three independent convolution operation branches are used to decode and calculate the single output feature map with higher resolution, so as to make full use of the detailed information contained in the feature map. The experimental results show that the detection precision of CenterNet-GhostNet model is 93.7% and 91.7% respectively for the two types of head targets with and without helmet, which are better than the general lightweight models SSD-MobileNet, YOLOv4 Tiny and CenterNet-Res18. The single frame detection time of CenterNet-GhostNet model deployed on NVIDIA Jetson Nano is 67 ms, which meets the requirements of high-precision and real-time detection of personnel in dangerous areas of coal preparation plant.
-
0. 引言
选煤厂安放刮板输送机、振动筛等大型机械设备的区域容易发生人员安全事故，为选煤厂危险区域。尽管在选煤厂危险区域设置了安全隔栏、警示牌等，但在实际生产过程中依然存在人员违规进入危险区域的行为。为保障人员安全，在选煤厂危险区域会安装监控系统，但需要专职人员值守，存在因值班人员疲劳而忽视现场异常工况的现象[1]。
为提高安全管理水平，研究人员提出使用目标检测算法检测设备运行时是否有进入危险区域的人员，辅助值班人员对危险区域进行监测。张圣强等[2]采用背景减除法分割运动目标区域，再结合人体的形状信息进行验证，实现了对人员的检测；陈海龙[3]将背景减除法作为选煤厂巡检机器人目标检测方法。但由于选煤厂光照不均、背景复杂，尤其在人员之间发生遮挡时会使各个目标区域连通在一起，造成漏检率偏高的问题。林娅静[4]通过基于混合高斯模型的背景减除法进行运动目标检测，再结合方向梯度直方图（Histogram of Oriented Gradient, HOG）和支持向量机（Support Vector Machine，SVM）进行人员识别，一定程度上提高了检测准确率，但检测效率低。
近年来，基于深度学习的目标检测算法发展迅速，其鲁棒性好、泛化能力强，但计算量大。为达到实时检测效果，学者们提出了轻量化目标检测模型，但现有的轻量化目标检测模型是面向公开数据集设计的，需要兼顾多个类别目标的检测效果，缺乏对特定类型目标检测性能的优化。考虑到选煤厂在生产过程中产生的粉尘会覆盖员工工作服，且喷雾降尘设备产生的雾气会导致监控画面对比度低，给人员全身与生产环境背景颜色的区分带来困难，而人员头部特征相对易于辨识，人头在监控视角下被遮挡的可能性较低，所以相对于人员全身检测，人头检测更加方便有效[5]。大部分人头属于小尺寸目标，目前的轻量化目标检测模型在特征提取时的降采样率较大，信息损失多，因此对人头目标的检测能力有限。针对该问题，本文提出了轻量化人员检测模型CenterNet−GhostNet。该模型以CenterNet[6]网络为基础框架，将轻量化网络GhostNet[7]与特征金字塔（Feature Pyramid Network，FPN）[8]相结合作为特征提取网络，在提取高层语义特征的同时保留细节信息；使用3个独立卷积分支对输出特征图进行解码计算，以充分利用特征图的细节信息，从而在人头目标检测上达到较高的准确率。
1. 人员检测模型
1.1 模型框架
CenterNet−GhostNet模型框架如图1所示，总体上可分为特征提取、特征图解码计算和预测输出3个部分。
（1） 特征提取。将输入图像通过特征提取网络映射成包含原图像语义信息的输出特征图，输出特征图的分辨率为128×128，为输入图像的1/4。
（2） 特征图解码计算。为充分利用高分辨率特征图的细节信息，输出特征图经过3个相互独立的卷积操作后，分别生成关键点热图、偏移量热图及尺寸热图，3个热图的尺寸相同。关键点热图中每个点的值代表该点作为目标中心点（也被称为关键点）的置信度；偏移量代表关键点对应的坐标偏移量，是关键点映射回原图时由于分辨率不同产生的；尺寸热图包含目标边界框尺寸大小，用于后续生成目标边界框。
（3） 预测输出。首先，在关键点热图上进行3×3最大池化操作，得到每个3×3区域中置信度最大的关键点，将筛选出的关键点作为目标在关键点热图上的中心点，然后使用偏移量调整中心点位置，得到输入图像中精确的目标中心点，最后根据目标边界框尺寸绘制目标边界框。
1.2 特征提取网络
为了在保证精度的前提下提升模型运行效率，降低硬件成本，设计了基于GhostNet和FPN的轻量化特征提取网络，结构如图2所示。GhostNet对输入图像进行特征提取，FPN对GhostNet提取的各层特征进行融合。
![]()
图 2 基于GhostNet和FPN的特征提取网络结构Figure 2. Feature extraction network structure based on GhostNet and feature pyramid networkGhostNet具有运行快、准确率高等优点，其参数见表1。G−bneck是GhostNet中被称为瓶颈的结构，如图3所示。步长为1的G−bneck由Ghost模块、批标准化层叠加而成，且输入和输出之间有1条跳跃连接通道。步长为2的G−bneck比步长为1的G−bneck多了1个步长为2的深度可分离卷积层[9]和1个批标准化层。
表 1 GhostNet参数Table 1. Parameters of GhostNet输入尺寸 结构 步长 512×512×3 Conv2d（3×3） 2 256×256×16 G−bneck×2 1，2 128×128×24 G−bneck×2 1，2 64×64×40 G−bneck×2 1，2 32×32×80 G−bneck×4 1，1，1，1 32×32×112 G−bneck×2 1，2 16×16×160 G−bneck×4 1，1，1，1 16×16×160 Conv2d（3×3） 1 G−bneck中的Ghost模块（图4）是GhostNet提升精度的关键，其用计算量很少的线性运算代替部分卷积运算，将得到的冗余特征图与本征特征图进行拼接，提高网络的特征表达能力。
FPN融合了GhostNet提取的16×16，32×32，64×64，128×128这4个不同分辨率的特征图中信息，一方面融合了高层语义特征，提供了全局的情景信息，另一方面保留了丰富的细节信息，能够提高模型对小尺寸目标的检测能力。特征融合的方式为较高分辨率特征图经过步长为1的1×1卷积运算后，与经过2倍上采样的较低分辨率特征图逐元素相加。本文使用卷积核大小为3×3、步长为1的可形变卷积[10]与卷积核大小为3×3、步长为1的转置卷积串联的卷积操作来代替FPN中常用的双线性差值操作[11]，使FPN在融合特征时能够自适应地突出重要特征，减少无效信息的干扰[12]。
1.3 损失函数
CenterNet−GhostNet模型的损失函数Ldet由关键点置信度损失函数Lk、偏移量损失函数Loff和目标边界框尺寸损失函数Lsize组成。
$$ \begin{array}{c}{L}_{\mathrm{d}\mathrm{e}\mathrm{t}}={L}_{\mathrm{k}}+{{\lambda }_{\mathrm{o}\mathrm{f}\mathrm{f}}L}_{\mathrm{o}\mathrm{f}\mathrm{f}}+{\lambda }_{\mathrm{s}\mathrm{i}\mathrm{z}\mathrm{e}}{L}_{\mathrm{s}\mathrm{i}\mathrm{z}\mathrm{e}}\end{array} $$ (1) 式中λoff，λsize分别为Loff，Lsize的调节系数。
计算关键点置信度的损失需要根据训练样本中目标的真实位置生成监督信号，即生成一个跟关键点热图尺寸相同的标签热图，标签热图中每个点的值与关键点热图中每个点的置信度一一对应，代表了该点是关键点的可能性（ 即关键点置信度）。训练样本原图中标注的目标边界框中心作为目标的真实关键点p，其在下采样倍数为R的标签热图上对应的关键点
$ \tilde p=\left\lfloor {p/R} \right\rfloor $ 。标签热图中关键点置信度
$Y_{\tilde p} $ 以关键点$ \tilde p $ 为中心，呈高斯分布。$$ \begin{array}{c}{Y_{\tilde p}}={\rm{exp}}\left[-\dfrac{{\left(x-{x}_{\tilde p}\right)}^{2}+{\left(y-{y}_{\tilde p}\right)}^{2}}{2{\sigma }^{2}}\right]\end{array} $$ (2) 式中：(x，y)为标签热图上点的坐标；
$ ({x}_{\tilde p}，{y}_{\tilde p}) $ 为关键点$ \tilde p $ 的坐标；σ为与目标边界框尺寸相关的自适应标准差。关键点置信度损失函数Lk为基于Focal Loss[12]的变体：
$${{L}_{\text{k}}}=\left\{ \begin{matrix} -\dfrac{1}{N}\underset{\tilde{p}}{\mathop \displaystyle \sum }\,{{( 1-{\hat{Y}_{\tilde p}} )}^{\alpha }}\text{lo}{{\text{g}}_{2}} {\hat{Y}_{\tilde p}} ~~~~~~~~~~~~~~~~~~~{Y_{\tilde p}}=1 \\ -\dfrac{1}{N}\underset{\tilde{p}}{\mathop \displaystyle \sum }\,{{( 1-{Y_{\tilde p}} )}^{\beta }}{{ {\hat{Y}_{\tilde p}} }^{ \alpha }}\text{lo}{{\text{g}}_{2}}( 1-{\hat{Y}_{\tilde p}} )~~~~~其他 \\ \end{matrix} \right.$$ (3) 式中：N为标签热图中真实关键点个数；
$\hat{Y}_{\tilde p} $ 为标签热图中关键点置信度预测值；α，β为超参数，本文取α=2，β=4。由于关键点热图与原图分辨率不同，将关键点从关键点热图映射回原图时会存在偏移，偏移量损失函数为
$$ \begin{array}{c}{L}_{\mathrm{o}\mathrm{f}\mathrm{f}}=\dfrac{1}{N}\displaystyle \sum _{\tilde p}\left|{\hat{O}}_{\tilde p}-{O}_{\tilde p}\right|\end{array} $$ (4) 式中：
$ {\hat{O}}_{\tilde p} $ 为关键点$ \tilde p $ 的偏移量预测值；$ {O}_{\tilde p} $ 为关键点$ \tilde p $ 的偏移量真实值，$ {O}_{\tilde p}=p/R-\tilde p $ 。目标边界框尺寸损失函数为
$$ \begin{array}{c}{L}_{\mathrm{s}\mathrm{i}\mathrm{z}\mathrm{e}}=\dfrac{1}{N}\displaystyle \sum _{\tilde p}\left|{\hat{S}_{\tilde p}}-{S_{\tilde p}}\right|\end{array} $$ (5) 式中：
${\hat S_{\tilde p}} $ 为关键点$\tilde p $ 对应的目标边界框尺寸预测值；$S_{\tilde p} $ 为关键点$\tilde p $ 对应的目标边界框尺寸真实值。2. 实验与结果分析
2.1 数据集
通过截取选煤厂监控视频帧，以及在自采集图像中随机添加高斯、椒盐噪声和降低对比度来模拟选煤厂监控视频图像，共采集4 096张图像样本。使用LabelImg工具进行图像标注，标注格式为Pascal VOC[13]。标注的人头样本个数为13 248，其中佩戴安全帽的人头样本个数为7 138，未佩戴安全帽的人头样本个数为6 110。图像样本按照8∶1∶1的比例划分为训练集、验证集和测试集。
2.2 模型训练
模型训练使用Intel Core i9−9900KF CPU，NVIDIA RTX2080Ti GPU等作为硬件平台。实验环境：Ubuntu 20.04 LTS；CUDA 11.0；cuDNN 8.5.0；PyTorch 1.7；Python 3.6。
CenterNet−GhostNet模型训练参数：轮数为140；批尺寸为32；优化器为Adam；1—89，90—119，120—140轮的学习率分别为5×10−4，5×10−5，5×10−6；输入图像尺寸为512×512。
为加快模型收敛速度，GhostNet在训练前载入在ImageNet数据集上的预训练权重。此外，为提高模型泛化能力，CenterNet−GhostNet在训练时采用Mosaic数据扩增[14]和色彩抖动作为在线数据增强方法来扩充数据集，能够起到丰富背景和提升小目标检测性能的作用。
2.3 模型对比实验结果
为验证CenterNet−GhostNet模型的优越性，与CenterNet−Res18模型（ 以CenterNet为基础框架并使用ResNet−18作为特征提取网络的轻量化模型）进行对比，检测结果如图5、图6所示。目标边界框的颜色代表目标类别，蓝色代表未佩戴安全帽的人员头部，红色表示已佩戴安全帽的人员头部；目标边界框上方的数字代表目标的类别置信度。
对比图5、图6可看出：对图像1的检测中，CenterNet−GhostNet模型不仅检测出所有人头目标，且正确区分了目标类别；对图像2的检测中，2个模型均正确检测出目标，但CenterNet−GhostNet模型的目标边界框位置更精准，类别置信度更高；对图像3的检测中，CenterNet−Res18模型存在漏检，而CenterNet−GhostNet模型正确检测出所有人头目标。
CenterNet−GhostNet模型与常见轻量化目标检测模型YOLOv4 Tiny、SSD−MobileNet及CenterNet−Res18的客观评价指标对比见表2。使用平均精度均值（ Mean Average Precision，mAP）衡量目标检测精度，每秒传输帧数（Frames Per Second，FPS）衡量目标检测速度。
表 2 不同模型检测精度和检测速度对比Table 2. Comparison of detection accuracy and detection speed among different models模型 mAP/% FPS/（帧·s−1） 佩戴安全帽 未佩戴安全帽 SSD−MobileNet 87.1 83.3 167 YOLOv4 Tiny 91.5 89.7 117 CenterNet−Res18 88.6 85.1 155 CenterNet−GhostNet 93.7 91.7 146 从表2可看出，CenterNet−GhostNet模型检测速度相较于SSD−MobileNet和CenterNet−Res18模型略低，但对两类（佩戴安全帽和未佩戴安全帽）人头样本的检测精度均最高。
2.4 模型部署实验结果
为实现CenterNet−GhostNet模型在选煤厂危险区域人员检测中的应用，将其部署到NVIDIA Jetson Nano上。模型部署步骤：① 将CenterNet−GhostNet模型导出为ONNX文件。② 受制于NVIDIA Jetson Nano显存（ 2 GB）和图像分辨率（ 512×512），设置批尺寸为1，选择FP16作为模型部署推理精度，以保证实时性。③ 将模型转换为TensorRT工程文件，使用OpenCV读取并处理视频，调用TensorRT工程文件执行推理。
NVIDIA Jetson Nano配合监控摄像机和报警器进行选煤厂危险区域人员检测，布置如图7所示。监控摄像机连接在NVIDIA Jetson Nano的CSI接口，NVIDIA Jetson Nano对视频进行处理后，通过GPIO接口发送指令控制报警器提醒现场工作人员。
![]()
图 7 选煤厂危险区域人员检测布置Figure 7. Personnel detection arrangement in dangerous area of coal preparation plantCenterNet−GhostNet模型在NVIDIA Jetson Nano上单帧检测耗时67 ms，表明该模型能够满足实时检测的要求。
3. 结论
（1） 针对选煤厂环境下人员全身目标检测因粉尘、雾气干扰难以准确与背景区分的问题，提出使用人员头部检测来代替人员全身目标检测，以减少选煤厂环境因素的影响。
（2） 以CenterNet网络为基础框架，将GhostNet与FPN相结合作为特征提取网络，构建了CenterNet−GhostNet模型来进行人员头部检测。
（3） 在自建的选煤厂人员数据集上进行实验验证，结果表明CenterNet−GhostNet模型能在保证检测速度的同时提升检测精度，满足选煤厂危险区域人员检测需求。
（4） 将CenterNet−GhostNet模型部署在NVIDIA Jetson Nano上，配合监控摄像机、报警器，能够在工作人员进入危险区域时及时报警提示。实验结果表明，模型单帧检测耗时67 ms，满足实时检测要求。
-
![]()
图 2 基于GhostNet和FPN的特征提取网络结构
Figure 2. Feature extraction network structure based on GhostNet and feature pyramid network
![]()
图 7 选煤厂危险区域人员检测布置
Figure 7. Personnel detection arrangement in dangerous area of coal preparation plant
表 1 GhostNet参数
Table 1 Parameters of GhostNet
输入尺寸 结构 步长 512×512×3 Conv2d（3×3） 2 256×256×16 G−bneck×2 1，2 128×128×24 G−bneck×2 1，2 64×64×40 G−bneck×2 1，2 32×32×80 G−bneck×4 1，1，1，1 32×32×112 G−bneck×2 1，2 16×16×160 G−bneck×4 1，1，1，1 16×16×160 Conv2d（3×3） 1 
下载: 导出CSV
表 2 不同模型检测精度和检测速度对比
Table 2 Comparison of detection accuracy and detection speed among different models
模型 mAP/% FPS/（帧·s−1） 佩戴安全帽 未佩戴安全帽 SSD−MobileNet 87.1 83.3 167 YOLOv4 Tiny 91.5 89.7 117 CenterNet−Res18 88.6 85.1 155 CenterNet−GhostNet 93.7 91.7 146
下载: 导出CSV
-
[1] 张宗华. 选煤厂人员智能视频监控系统设计[J]. 工矿自动化,2013,39(4):76-79. DOI: 10.7526/j.issn.1671-251X.2013.04.020 ZHANG Zonghua. Design of intelligent video monitoring system of personnel of coal preparation plant[J]. Industry and Mine Automation,2013,39(4):76-79. DOI: 10.7526/j.issn.1671-251X.2013.04.020
[2] 张圣强,王建军,丁蕾. 选煤厂智能视频监控中的运动人体目标检测方法[J]. 工矿自动化,2011,37(11):60-62. ZHANG Shengqiang,WANG Jianjun,DING Lei. Detecting method of moving human in intelligent video monitoring of coal preparation plant[J]. Industry and Mine Automation,2011,37(11):60-62.
[3] 陈海龙. 煤矿选煤厂巡检机器人的研究与设计[D]. 徐州: 中国矿业大学, 2014. CHEN Hailong. The study and design of coal cleaning plant inspection robot[D]. Xuzhou: China University of Mining and Technology, 2014.
[4] 林娅静. 基于视觉的选煤厂智能监控系统研究[D]. 徐州: 中国矿业大学, 2014. LIN Yajing. Research on intelligent monitoring system of coal preparation plant based on vision[D]. Xuzhou: China University of Mining and Technology, 2014.
[5] 周晨晖. 基于深度学习的煤矿复杂场景人员检测与统计分析方法研究[D]. 徐州: 中国矿业大学, 2019. ZHOU Chenhui. Research on personnel detection and statistical analysis in coal mine complex scenes based on deep learning[D]. Xuzhou: China University of Mining and Technology, 2019.
[6] ZHOU Xingyi, WANG Dequan, KRAHENBUHL P. Objects as points[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, 2019: 7263-7271.
[7] HAN K, WANG Yunhe, TIAN Qi, et al. GhostNet: more features from cheap operations[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Seattle, 2016: 1577-1586.
[8] LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, 2017: 2117-2125.
[9] HOWARD A G, ZHU Menglong, CHEN Bo, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[EB/OL]. [2021-08-02]. https://arxiv.org/abs/1704.04861.
[10] DAI Jifeng, QI Haozhi, XIONG Yuwen, et al. Deformable convolutional networks[C]//IEEE International Conference on Computer Vision, Venice, 2017: 764-773.
[11] XU Yuanyuan,YAN Wan,YANG Genke,et al. CenterFace:joint face detection and alignment using face as point[J]. Scientific Programming,2020,2020:1-8.
[12] LIN T Y,GOYAL P,GIRSHICK R,et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42(2):318-327. DOI: 10.1109/TPAMI.2018.2858826
[13] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. [2021-08-02]. https://arxiv.org/abs/2004.10934.
[14] EVERINGHAM M,GOOL L V,WILLIAMS C K I,et al. The PASCAL visual object classes( VOC) challenge[J]. International Journal of Computer Vision,2010,88(2):303-338. DOI: 10.1007/s11263-009-0275-4
-
期刊类型引用(6)
1. 管含宇，凌云，汪舒磊. 单阶段安全帽检测深度学习算法综述. 计算机工程与应用. 2024(16): 61-75 . 
百度学术
2. 张婧，冯莹莹，李洪安，杜思哲，莫金明. 煤矿工作面喷雾除尘场景下的安全帽识别算法. 矿业安全与环保. 2024(04): 9-16 . 百度学术
3. 岳廷树，鄢元霞，潘文林. 基于YOLOv5的边境可疑人员检测系统设计. 计算机与数字工程. 2024(12): 3541-3546 . 百度学术
4. 葛淑伟，张永茜，秦嘉欣，李雪，王晓. 基于优化SSD-MobileNetV2的煤矿井下锚孔检测方法. 采矿与岩层控制工程学报. 2023(02): 66-74 . 百度学术
5. 孙迟，刘晓文. 基于YOLOv7-tiny改进的矿工安全帽检测. 中国科技论文. 2023(11): 1250-1256+1274 . 百度学术
6. 折小江，刘江，王兰豪. AI视频图像分析在选煤厂智能化中的应用现状与发展趋势. 工矿自动化. 2022(11): 45-53+109 . 本站查看
其他类型引用(6)
计量
- 文章访问数: 290
- HTML全文浏览量: 118
- PDF下载量: 62
- 被引次数: 12
