0.   引言

在地下矿山生产中，对作业人员佩戴安全帽情况进行检测对保障其人身安全和生产安全具有重要意义^[1]。目前矿山生产中的行为监测通常采用人工方式，调度室监控人员通过视频监控数据判断作业人员的不安全行为^[2]。该方式费时费力，误检率高，且难以实现全程监控。因此，地下矿山作业人员不佩戴或不规范佩戴安全帽的情况仍时有发生。

随着矿山智能化技术的不断发展，有学者对矿山作业人员佩戴安全帽智能检测进行了研究，其中以基于视觉图像的检测方法为热点^[3-4]。李晓宇等^[5]提出了一种基于超像素特征提取与SVM（Support Vector Machine，支持向量机）分类的矿井人员安全帽分割方法。毕林等^[6]构建了3种不同深度的卷积神经网络，对矿山背景及矿工是否佩戴安全帽进行检测。仝泽友等^[7]基于Inception-V3网络模型，实现矿工人脸识别及安全帽佩戴检测。上述方法较人工方式极大提高了检测效率，但由于所用的地下矿山数据较少，导致安全帽特征分类不够精确。

近年来，深度学习算法在工业检测领域应用越来越广泛。其中，基于单阶段的YOLO系列算法^[8-10]发展迅速，其检测速度快，对于小目标检测精度高，被许多学者用于工业现场施工环境下的作业人员佩戴安全帽检测研究中^[11-15]，为实现地下矿山环境下人员佩戴安全帽智能检测提供了参考。基于此，本文采用对小目标识别效果好的YOLOX算法^[10]进行地下矿山作业人员佩戴安全帽智能检测。考虑YOLOX采用多层残差网络结构提取目标特征，过分关注特征图局部特征而忽略了全局特征信息，将AM（Attention Mechanism，注意力机制）引入YOLOX，以增强全局特征提取能力，由此构建了YOLOX−A模型。针对目前缺少适用矿山安全帽检测数据集的问题，通过采集地下矿山实际生产场景的图像，构建了MHWD（Mine Helmet Wearing Dataset，矿山安全帽佩戴数据集），其包含12个地下矿山不同场景中作业人员佩戴安全帽的图像，并对安全帽佩戴情况进行进一步细分。基于MHWD对YOLOX−A模型进行训练和验证，结果表明该模型能对地下矿山现场中不同场景与不同尺度的安全帽进行准确识别。

1.   数据集构建

1.1   作业人员佩戴安全帽图像分类

地下矿山企业要求下井人员需将安全帽戴正，帽舌朝正前方；调节下颌调节器，使下颌带紧贴下颚，并携带好矿灯。作业人员佩戴安全帽检测通常分为佩戴与不佩戴两类，难以满足实际检测需求。考虑目前大多数地下矿山为方便下井人员作业，将矿灯安置在安全帽上，因此将人员佩戴安全帽图像划分为正确佩戴、不规范佩戴（佩戴未携带矿灯的安全帽）和未佩戴3种，如图1所示。

图  1  地下矿山作业人员佩戴安全帽图像分类

Figure  1.  Image classification of working personnel wearing safety helmets in underground mine

下载: 全尺寸图片 幻灯片

1.2   MHWD制作

基于深度学习的目标检测模型前期需要大量的标签样本，以提升模型的准确度和泛化能力。SHWD（Safety Helmet Wearing Dataset）^[16]是目前最大的开源安全帽检测数据集，通过网络爬虫收集了部分露天工地场景下工人佩戴安全帽的图像，以及教室监控中未佩戴安全帽人员的图像，共7 581张。直接将该数据集用于地下矿山作业人员佩戴安全帽检测存在2个问题：① 未考虑矿山井下弱光环境；② 缺乏不规范佩戴安全帽数据。

针对上述问题，采集湖南省长沙市、衡阳市、娄底市等12个矿山调度室的实际监控视频及现场拍摄的作业人员佩戴安全帽图像。监控视频每10 s剪切1帧并筛选。考虑矿井中未佩戴安全帽的图像很少，通过网络爬虫方式获取部分适用于井下环境安全帽检测的数据，并从SHWD中选取部分适合矿山检测环境的人员未佩戴安全帽图像。

MHWD中数据涵盖矿山采场、井巷等复杂场景，以及作业人员正确佩戴、不规范佩戴、未佩戴安全帽等情况，共有8 151张图像，含5 000张矿山现场采集图像、3 151张网络爬虫获取图像和SHWD图像。采用图像标注软件LabelImage进行标签分类，如图2所示。正确佩戴安全帽图像采用红色框，标记为WithHelmet；不规范佩戴安全帽图像采用绿色框，标记为IrregularWearing；未佩戴安全帽图像采用蓝色框，标记为Person。

图  2  MHWD标签分类

Figure  2.  Label classification of mine helmet wearing dataset(MHWD)

下载: 全尺寸图片 幻灯片

MHWD标签分类结果：WithHelmet标签6 590个，IrregularWearing标签3 224个，IrregularWearing标签99 483个。将MHWD数据按9∶1随机划分为训练集和验证集，并使用mosaic方法进行扩充，以增强模型泛化能力。

2.   YOLOX−A模型构建

2.1   模型结构

YOLOX网络由Darknet−53^[17] Backbone（主干网络）、PAFPN（Path Aggregation Feature Pyramid Network，路径聚合特征金字塔网络）^[18]及YoloHead^[10]组成。YOLOX−A基于YOLOX网络结构，在Backbone的SPPB（Spatial Pyramid Pooling BottleNeck，空间金字塔池化瓶颈）^[19]层嵌入ECA（Efficient Channel Attention，有效通道注意力）模块^[20]，在PAFPN中每个上采样（UpSample）和下采样（DownSample）后添加CBAM（Convolutional Block Attention Module，卷积块注意力模块）^[21]，如图3所示。YOLOX−A通过融合轻量级AM模块，加强网络对全局信息的关注度，以增强特征提取能力。

图  3  YOLOX−A模型结构

Figure  3.  YOLOX-A model structure

下载: 全尺寸图片 幻灯片

2.2   改进SPPB

YOLOX的Backbone使用SPPB提取特征。SPPB采用1×1卷积进行通道数缩减，再用3×3卷积进行通道数扩张，以降低参数量。卷积核通常是局部的，忽略了特征图中部分全局信息，导致检测结果不理想。而AM可通过权值分配和信息过滤实现网络自适应，增强重要特征信息，从而从海量的特征信息中提取出对网络训练更有价值的信息。因此，在SPPB中嵌入ECA模块，通过全局平均池化得到特征图聚合特征，以增强全局特征信息。改进前后的SPPB结构如图4所示。

ECA是一种用于提升深度卷积网络性能的超轻注意力模块，通过执行大小为$ K $的快速一维卷积生成通道权重。

式中：$ C $为输入特征图的通道数；$ \mathrm{\gamma }，{b} $为常数，设置$ \mathrm{\gamma } $=2，$ {b} $=1；$ {\left|·\right|}_{{\rm{odd}}} $为取最近的奇数。

图  4  改进前后的SPPB结构

Figure  4.  SPPB structure before and after improvement

下载: 全尺寸图片 幻灯片

2.3   改进PAFPN

YOLOX模型Backbone的Dark3，Dark4，Dark5输出的多尺度特征进入PAFPN融合。为保留更多的高级语义信息，在PAFPN的每个上采样、下采样之后加入CBAM，从而对重要的语义信息给予更多关注，如图5所示。

图  5  融合CBAM的PAFPN

Figure  5.  PAFPN integrating CBAM

下载: 全尺寸图片 幻灯片

CBAM包含通道注意力模块和空间注意力模块，可更好地选择对当前任务目标更关键的信息，使得卷积提取的特征相关性更强，捕获的高级语义信息更丰富，从而更好地识别目标。

式中：${{\boldsymbol{I}}}{{'}}$为经通道注意力模块处理的特征图；M_c为通道注意力模块，${{{{\boldsymbol{M}}}}}_{{\rm{c}}}\in {{\bf{R}}}^{C \times 1 \times 1}$；I为输入特征图，${\boldsymbol{I}}\in {{\bf{R}}}^{C \times H \times W}$，H，W分别为输入特征图的高度和宽度；$ {{\boldsymbol{I}}}{{'}{'}} $为CBAM输出特征图；M_s为空间注意力模块，${{\boldsymbol{M}}}_{{\rm{s}}}\in {{\bf{R}}}^{1\times H \times W}$。

3.   实验验证

3.1   实验环境及模型参数

实验基于Windows10系统、Pytorch深度学习框架；处理器为Intel(R) Core(TM) i5−10400F CPU @ 2.90 GHz，16 GiB内存；GPU为NVIDIA GeForce RTX 1650，显存为4 GiB。

实验数据集为MHWD，输入图像尺寸为640 × 640。模型训练100个epoch，batch-size设置为2，使用yolox_s.pth权重文件。模型参数由SGD优化器更新，初始学习率设置为 0.01，并通过余弦退火方法减小学习率。

3.2   模型评价结果

采用目标检测中常用的AP（Average Precision，平均精度）、mAP（mean Average Precision，平均精度均值）和$ F1 $分数作为模型的评价指标。

分别对YOLOX，YOLOX−A模型进行训练，之后设置置信度阈值0.5过滤掉错误检测框，采用$ F1 $分数评价模型性能，结果如图6所示。可看出YOLOX−A模型针对IrregularWearing类检测的F1分数较YOLOX模型提升了3%，WithHelmet类提升了1%，Person类保持不变，整体提升了4%。

图  6  YOLOX模型与YOLOX−A模型训练结果的F1分数对比

Figure  6.  F1 score comparison of training result between YOLOX model and YOLOX-A model

下载: 全尺寸图片 幻灯片

采用MHWD对主流目标检测算法EfficientDet，YOLOv3，YOLOv4，YOLOv5，YOLOX进行训练，并与YOLOX−A模型的检测结果进行对比，见表1。可看出YOLOX−A模型对IrregularWearing，WithHelmet，Person类检测的AP分别为93.16%，95.76%，91.69%，mAP为93.54%，均高于其他检测模型。

表  1  不同目标检测模型在MHWD上的检测指标

Table  1.  Detection indexes of different target detection models on MHWD %

模型	AP			mAP
	IrregularWearing	WithHelmet	Person
EfficientDet	83.08	90.80	37.53	70.47
YOLOv3	74.87	89.21	79.12	81.06
YOLOv4	75.36	89.23	80.63	81.74
YOLOv5	77.3	90.53	87.22	85.02
YOLOX	91.67	95.48	92.28	93.15
YOLOX−A	93.16	95.76	91.69	93.54

下载: 导出CSV 

| 显示表格

3.3   消融实验

为了检验改进模块的有效性，在MHWD上进行消融实验，结果见表2。可看出YOLOX模型依次加入CBAM和ECA后，检测结果的mAP分别较前一模型提升了0.12%和0.27%，验证了CBAM和ECA均能提高人员佩戴安全帽检测精度。

表  2  消融实验结果

Table  2.  Ablation experiment results

YOLOX	CBAM	ECA	mAP/%
√			93.15
√	√		93.27
√	√	√	93.54

下载: 导出CSV 

| 显示表格

3.4   作业人员佩戴安全帽识别实验

分别采用YOLOX模型与YOLOX−A模型识别图像中作业人员佩戴安全帽情况，热力图可视化对比如图7所示。红色表示网络提取特征时需高度注意的区域，颜色越深表示显著性越高。可看出YOLOX−A模型对安全帽的目标特征更加集中且敏感度更高。

图  7  YOLOX模型与YOLOX−A模型热力图可视化对比

Figure  7.  Visualization comparison of thermal maps between YOLOX model and YOLOX-A model

下载: 全尺寸图片 幻灯片

YOLOX−A模型对作业人员佩戴安全帽的识别结果如图8所示。可看出YOLOX−A模型针对矿井图像照度低、模糊、有障碍物遮挡等情况，均能较准确地检测出安全帽，但对于图像6中安全帽目标较小且存在反光的情况，YOLOX−A模型将不规范佩戴安全帽误检为正确佩戴。总体上，采用MHWD训练的YOLOX−A模型基本满足地下矿山工作人员佩戴安全帽自动检测要求。

图  8  YOLOX−A模型对作业人员佩戴安全帽识别结果

Figure  8.  Identification results of working personnel wearing safety helmets by using YOLOX-A model

下载: 全尺寸图片 幻灯片

分别采用EfficientDet，YOLOv3，YOLOv4，YOLOv5，YOLOX，YOLOX−A模型对地下矿山复杂场景下的作业人员佩戴安全帽图像进行检测，结果如图9所示。可看出在低照度环境且存在人员遮挡条件下，EfficientDet，YOLOv3，YOLOv4模型对于小目标存在漏检情况，YOLOv5，YOLOX模型能检测出微光下的安全帽，但对于更弱光照条件下的安全帽无法完整检测，而YOLOX−A模型能准确检测出人员佩戴安全帽情况。

图  9  不同目标检测模型对作业人员佩戴安全帽的检测结果

Figure  9.  Identification results of working personnel wearing safety helmets by using different target detection models

下载: 全尺寸图片 幻灯片

4.   结论

1） 提出了更适用于地下矿山作业人员佩戴安全帽检测的数据集−MHWD。该数据集全面扩充了地下矿山采场、井巷等复杂场景，以及作业人员非规范佩戴安全帽分类标签。

2） 将ECA和CBAM融合策略引入YOLOX模型，建立YOLOX−A模型，增强了对特征图像全局信息和高级语义信息的抓取效力。

3） 基于MHWD训练的YOLOX−A模型对IrregularWearing，WithHelmet，Person 3种分类的AP分别为93.16%，95.76%，91.69%，mAP为93.54%，均高于主流的EfficientDet，YOLOv3，YOLOv4，YOLOv5，YOLOX模型，且针对低照度、模糊、有人员遮挡的矿井图像，能够准确识别人员佩戴安全帽情况，满足地下矿山作业人员佩戴安全帽智能检测要求。