Detection and recognition of unsafe behaviors of underground coal miners based on deep learning
-
摘要:
针对井下目标发生多尺度变化、运动目标遮挡及目标与环境过于相似等问题，提出了一种基于深度学习的煤矿井下人员不安全行为检测与识别方法。采用自上而下的策略，构建了一种基于自注意力机制的目标检测模型YOLOv5s_swin：在基于自注意力机制的模型Transformer基础上引入滑动窗口操作，得到Swin−Transformer，再利用Swin−Transformer对传统YOLOv5s模型进行改进，得到YOLOv5s_swin。针对井下人员与监控探头间距不定导致的人体检测框多尺度变化问题，在检测出人员目标的基础上，使用高分辨率特征提取网络对人体的关节点进行提取，再通过时空图卷积网络（ST−GCN）进行行为识别。实验结果表明：YOLOv5s_swin的精确度达98.9%，在YOLOv5s的基础上提升了1.5%，推理速度达102帧/s，满足实时性检测要求；高分辨率特征提取网络能够准确提取不同尺度的目标人体关节点，特征通道数更多的HRNet_w48网络性能优于HRNet_w32；在复杂工矿条件下，ST−GCN模型的准确率和召回率都较高，可准确地对矿工行为进行分类，推理速度达31 帧/s，满足井下监测需求。
Abstract:To address challenges such as multi-scale variations in underground targets, occlusion of moving objects, and the excessive similarity between targets and the environment, a deep learning-based method was proposed for detecting and recognizing unsafe behaviours of underground coal miners. A top-down approach was adopted to construct a YOLOv5s_swin target detection model based on a self-attention mechanism. This model was developed by introducing a sliding window operation into the Transformer-based self-attention mechanism to obtain Swin-Transformer, which was then used to enhance the traditional YOLOv5s model, resulting in YOLOv5s_swin. To tackle the issue of multi-scale variations in human detection bounding boxes caused by the varying distances between underground personnel and surveillance cameras, a high-resolution feature extraction network was employed to extract human keypoints after detecting personnel. Subsequently, a spatiotemporal graph convolutional network (ST-GCN) was utilized for behaviour recognition. Experimental results showed that YOLOv5s_swin achieved an accuracy of 98.9%, an improvement of 1.5% over YOLOv5s, with an inference speed of 102 frames per second (fps), meeting real-time detection requirements. The high-resolution feature extraction network effectively extracted human keypoints at different scales, and the HRNet_w48 network, with more feature channels, outperformed HRNet_w32. Under complex industrial and mining conditions, the ST-GCN model demonstrated high accuracy and recall rates, enabling precise classification of miners' behaviors, with an inference speed of 31 fps, thereby meeting underground monitoring requirements.
-
0. 引言
刮板输送机是煤矿工作面唯一的运输设备，链条是其关键运行部件。当出现刮板输送机断链故障时，若不能及时发现，将导致链条堆积，严重影响煤矿生产安全和效率。因此，众多专家学者对刮板输送机断链监测技术进行了研究。初期大多针对刮板输送机断链故障原因和预防措施进行分析，建立链条的强度条件[1]和有限元仿真模型[2]，探究卡、断链故障发生后刮板输送机动力学特性和链环之间接触力的变化规律[3]，并对落煤冲击条件下的链条进行动力学分析[4]，进而对断链后链条张力响应进行仿真研究[5]。目前刮板输送机断链监测方法主要包括压力监测法、差速监测法和视觉监测法[6]。吴孙阳等[7]设计了一种基于应力突变的刮板输送机断链监测系统，利用应变传感器测量与不同链条啮合的链轮轮齿受力面的应变，及时检测断链隐患；Zhang Xing等[8]提出了一种基于溜槽振动分析的刮板输送机链条故障检测策略，利用加速度传感器检测刮板输送机断链故障引起的溜槽振动信号，通过振幅识别断链故障；Hua Yilian等[9]通过安装在刮板两侧的超宽带节点实时反馈刮板是否出现倾斜情况，实现对刮板输送机断链故障的间接监测；高昌乐等[10]以刮板输送机链轮转速差为依据，当转速差超过预警值时，判断刮板输送机链条出现断裂现象；崔卫秀等[11]利用计算机诊断和AI视频识别技术，通过图像采集、分析和处理，对链条状态进行检测；Zou Huadong等[12]提出了一种基于划痕特征检测的视觉识别方法，通过监测识别链条划痕预测刮板输送机断链故障；Wang Zisheng等[13]采用Plackett−Burman试验确定刮板输送机链条裂纹深度、初始角度和拉伸载荷，为避免刮板输送机断链故障提供了参考。
煤矿井下工作面环境复杂恶劣，常规在刮板输送机中部槽或刮板上安装传感器检测断链的方法常出现传感器损坏现象，因此，基于视频监控的断链监测方法得到越来越多的应用。早期的煤矿井下视频监控技术主要是将井下各监控点的图像传输至地面中心监控室显示，并对设备参数异常、设备工作状态等情况进行人工识别。随着AI技术的快速发展，视频AI识别逐渐被引入煤矿井下安全监控领域。基于视频AI识别技术的刮板输送机断链监测技术[14-18]以AI算法为核心，依据视频AI摄像仪对井下刮板输送机断链状态进行实时监控。此类算法适应性强，能够解决复杂的非线性问题，但对数据样本集的要求较高，在线学习能力差，导致断链监测准确率和精确率相对较低。此外，现有技术通过采集样本数据进行离线算法训练，导致算法在陌生环境中适应性差、检测精度和鲁棒性不足。因此，提出一种基于在线贯序极限学习机（Online Sequential Extreme Learning Machine，OSELM）网络的刮板输送机断链智能监测技术。OSELM网络由极限学习机（Extreme Learning Machine，ELM）改进而来，采用增量式在线学习算法，通过分析样本数据集的自相关性和输入与输出关系，自动随机确定网络隐含层节点数量，不需要复杂的超参数调优和迭代优化过程，具备训练速度快、精度高、泛化能力强等优点。此外，OSELM网络能够更好地适应流式样本数据的训练，进而对网络输出权重进行更新迭代，使网络始终保持在最优状态，在处理不断变化的样本数据时具有显著优势。
1. ELM网络模型
ELM是一类单隐含层的FNN（Feedforward Neuron Network，前馈神经网络）[19-20]。ELM网络拓扑如图1所示，其包含n个输入层节点、L个隐含层节点和m个输出层节点。
ELM网络与传统人工智能网络不同，它随机获取神经网络输入层权值和隐含层偏置，利用最小二乘法准则，通过计算穆尔−彭罗斯广义逆矩阵得出网络输出权值，具有训练速度快、学习误差小等优势，且泛化性能极高[21-23]。
ELM网络在学习训练过程中随机获取样本{（xi，ti）}，其中xi为样本输入，ti为样本输出，i=1，2$ ,\cdots, $n。通过ELM网络隐含层S型激活函数g（·）计算隐含层输出函数：
$$ {h}_{k}\left({x}_{i}\right)=g\left({{\boldsymbol{w}}}_{k},{{\boldsymbol{b}}}_{k},{x}_{i}\right)=g\left({{\boldsymbol{w}}}_{k} {x}_{i}+{{\boldsymbol{b}}}_{k}\right) $$ (1) 式中：wk为第k个隐含层节点的输入权重矩阵，k=1，2$,\cdots , $L；bk为第k个隐含层节点偏置矩阵。
ELM网络模型可表示为
$$ {t}_{i}={\displaystyle \sum _{k=1}^{L}{{\boldsymbol{\beta}} }_{k}g\left({{\boldsymbol{w}}}_{k} {{{x}}}_{i}+{{\boldsymbol{b}}}_{k}\right)} $$ (2) 式中βk为ELM网络第k个隐含层节点的输出权重矩阵。
将训练ELM网络转换为求解一个期望输出线性矩阵系统问题，表示为
$$ {\boldsymbol{T}} = {\boldsymbol{H\beta}} $$ (3) 式中：T为ELM网络输出矩阵；H为隐含层输出矩阵；β为ELM网络输出权重矩阵。
为了最小化所有样本的整体预测误差，ELM网络通过最小二乘法计算网络输出权重矩阵β。
$$ {\boldsymbol{\beta}} {\text{ = }}{{\boldsymbol{H}}^\dagger }{\boldsymbol{T}} = {\left( {{{\boldsymbol{H}}^{\text{T}}}{\boldsymbol{H}}} \right)^{ - 1}}{{\boldsymbol{H}}^{\text{T}}}{\boldsymbol{T}} $$ (4) 式中${{\boldsymbol{H}}^\dagger }$为ELM网络输出矩阵H的穆尔−彭罗斯广义逆矩阵。
2. OSELM网络模型
传统ELM网络不能实时处理动态模型，对此，提出能产生大量序列化数据的在线增量生长式ELM网络，即OSELM网络。其将单隐含层神经网络输出权重的学习训练过程分为2个阶段：① 初始化阶段，通过海量刮板输送机断链故障状态的样本训练得到网络输出权重矩阵β。② 序列化阶段，利用序列化在线样本数据集不断完善β。
2.1 OSELM网络离线样本初始化训练
将获取的刮板输送机断链离线样本进行高精度可靠筛选，得到高质量刮板输送机断链离线样本。将离线样本输入OSELM网络进行初始化训练，同时将学习到的知识和经验存储到隐含层节点。OSELM网络根据离线样本特征随机获取隐含层节点的输入权重矩阵wk及偏置矩阵bk，结合广义逆矩阵计算方法，对批量离线样本数据进行训练，计算出初始化的网络输出权重矩阵β0。
$$ {{\boldsymbol{\beta}} ^0} = {\left( {{{\boldsymbol{H}}_0}^{\text{T}}{{\boldsymbol{H}}_0}} \right)^{ - 1}}{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} $$ (5) 式中：H0为初始化的隐含层输出矩阵；T0为初始化的网络输出矩阵。
将β0作为OSELM网络序列化迭代阶段的初始权重，进一步完善网络。
2.2 OSELM网络输出权重序列化迭代
定义隐含层输出矩阵为
$$ {\boldsymbol{H}} = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{H}}_0}} \\ {{{\boldsymbol{H}}_1}} \end{array}} \right] $$ (6) 式中H1为第1次迭代后的隐含层输出矩阵，为已知量。
定义ELM网络输出矩阵为
$$ {\boldsymbol{T}} = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{T}}_0}} \\ {{{\boldsymbol{T}}_1}} \end{array}} \right] $$ (7) 式中T1为第1次迭代后的网络输出矩阵，为已知量。
因此，ELM网络输出权重矩阵更新为
$$ \begin{split} {\boldsymbol{\beta}} =& {\left( {{{\boldsymbol{H}}^{\text{T}}}{\boldsymbol{H}}} \right)^{ - 1}}{{\boldsymbol{H}}^{\text{T}}}{\boldsymbol{T}}= \\ &{\left\{ {{{\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{H}}_0}} \\ {{{\boldsymbol{H}}_1}} \end{array}} \right]}^{\text{T}}}\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{H}}_0}} \\ {{{\boldsymbol{H}}_1}} \end{array}} \right]} \right\}^{ - 1}}{\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{H}}_0}} \\ {{{\boldsymbol{H}}_1}} \end{array}} \right]^{\text{T}}}\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{T}}_0}} \\ {{{\boldsymbol{T}}_1}} \end{array}} \right]= \\ & {\left( {{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} \right)^{ - 1}}\left( {{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{T}}_1}} \right) \end{split} $$ (8) 令P0=（${{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0} $）−1，P1=（${{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0} $+${{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1} $）−1，可得到P1和P0的迭代计算公式：
$$ {{\boldsymbol{P}}_1} = {\left( {{{\boldsymbol{P}}_0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} \right)^{ - 1}} $$ (9) 根据Sherman−Morrison矩阵求逆公式[24]，可将式（9）简化为
$$ {{\boldsymbol{P}}_1} = {{\boldsymbol{P}}_0} - \frac{{{{\boldsymbol{P}}_0}{{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}{{\boldsymbol{P}}_0}}}{{1 + {{\boldsymbol{H}}_1}{{\boldsymbol{P}}_0}{{\boldsymbol{H}}_1^{\text{T}}}}} $$ (10) 将式（9）两边同时求逆，得
$$ {{\boldsymbol{P}}_1^{ - 1} }= {{\boldsymbol{P}}_0^{ - 1}} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1} $$ (11) 通过式（11）可推导出${{\boldsymbol{P}}_0^{ - 1}} $计算公式：
$$ {{\boldsymbol{P}}_0^{ - 1}} = {{\boldsymbol{P}}_1^{ - 1}} - {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1} $$ (12) 将P0=（${{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0} $）−1代入式（5），得
$$ {{\boldsymbol{\beta}} ^0} = {\left( {{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0}} \right)^{ - 1}}{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} = {P_0}{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} $$ (13) $$ {{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} = {{\boldsymbol{P}}_0^{ - 1}}{{\boldsymbol{\beta}} ^0} = \left( {{{\boldsymbol{P}}_1^{ - 1}} - {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} \right){{\boldsymbol{\beta}} ^0} $$ (14) 将P1=（${{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0}} $+${{{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} $）−1和式（14）同时代入式（8），得到第1次迭代后的网络输出权重矩阵：
$$\begin{split} {{\boldsymbol{\beta}} ^1} = &{\left( {{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} \right)^{ - 1}}\left( {{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{T}}_1}} \right) = \\ &{{\boldsymbol{P}}_1}\left[ {\left( {{{\boldsymbol{P}}_1^{ - 1}} - {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} \right){{\boldsymbol{\beta}} ^0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{T}}_1}} \right] = \\ &{{\boldsymbol{\beta}} ^0} + {{\boldsymbol{P}}_1}{{\boldsymbol{H}}_1^{\text{T}}}\left( {{{\boldsymbol{T}}_1} - {{\boldsymbol{H}}_1}{{\boldsymbol{\beta}} ^0}} \right) \end{split} $$ (15) 定义OSELM网络第k+1次迭代的网络输出权重矩阵为βk+1，中间参数矩阵为Pk+1。根据OSELM网络在线迭代关系，可由第k次迭代参数计算出第k+1次迭代参数，在线学习递推公式为
$$ {{\boldsymbol{P}}_{k + 1}} = {{\boldsymbol{P}}_k} - \frac{{{{\boldsymbol{P}}_k}{{\boldsymbol{H}}_{k + 1}^{\text{T}}}{{\boldsymbol{H}}_{k + 1}}{{\boldsymbol{P}}_k}}}{{1 + {{\boldsymbol{H}}_{k + 1}}{{\boldsymbol{P}}_k}{{\boldsymbol{H}}_{k + 1}^{\text{T}}}}}\qquad $$ (16) $$ {{\boldsymbol{\beta}} ^{k + 1}} = {{\boldsymbol{\beta}} ^k} + {{\boldsymbol{P}}_{k + 1}}{{\boldsymbol{H}}_{k + 1}^{\text{T}}}\left( {{{\boldsymbol{T}}_{k + 1}} - {{\boldsymbol{H}}_{k + 1}}{{\boldsymbol{\beta}} ^k}} \right) $$ (17) 2.3 OSELM网络训练流程
OSELM网络初始化阶段训练流程如下。
1） 获取样本数据集D={（xi, ti）}，在其中选取n0（n0≥L）个高可靠度采样数据并组成集合D0={（xj, tj）}，j=1, 2$, \cdots ,n_0 $，将其输入OSELM网络。
2） OSELM网络随机获取隐含层节点的输入权重矩阵wk和偏置矩阵bk，并计算初始化的隐含层输出矩阵H0。
3） 计算初始化的网络输出权重矩阵β0。
序列化阶段训练流程如下。
1） 通过在线学习，训练数据样本（xi+1, ti+1）。
2） 计算在线学习数据样本的隐含层输出矩阵Hk+1。
3） 计算OSELM网络的输出权重矩阵βk+1。
与多数在线生长型人工神经网络模型相比，OSELM网络具有参数少、训练速度快和在线学习泛化性能强等优势。
2.4 OSELM网络算法及框架设计
设计OSELM网络算法包含5个有限元模型，定义为
$$ \text{OSELM}=\langle g(\cdot ),{\boldsymbol{H}},{\boldsymbol{P}},{\boldsymbol{T}},{\boldsymbol{\beta}} \rangle $$ (18) 式（18）中，隐含层激活函数g（·）由系统模型和外界环境决定；中间参数P：Pk×Hk+1→Pk+1，其第k+1次迭代的计算结果Pk+1总是由第k次的中间参数Pk和OSELM网络第k+1次隐含层输出矩阵Hk+1共同决定；网络输出权重矩阵β：βk×Pk+1×Hk+1×Tk+1→βk+1，其第k+1次迭代的计算结果βk+1总是由OSELM网络第k次的输出权重矩阵βk、第k+1次中间参数Pk+1和第k+1次网络输出矩阵Hk+1三者共同决定。
OSELM网络框架如图2所示。将采集的刮板输送机断链离线样本和AI摄像仪实时在线感知图像输入OSELM网络，输出为AI摄像仪的决策信息。
3. 试验与结果分析
3.1 OSELM网络离线样本训练
采用离线样本对构建的OSELM网络进行训练，进而构建刮板输送机断链识别模型。试验硬件配置为13th Gen Intel（R） Core（TM） i9−13900K CPU @ 3.00 GHz处理器、12 GiB的NVIDIA RTX A2000GPU、Windows10操作系统，编程语言采用Python 3.10.1，开发环境为PyCharm。
样本数据集来自兖矿能源集团股份有限公司金鸡滩煤矿、中国华能集团有限公司高头窑煤矿、淮南矿业（集团）有限责任公司丁集煤矿等大型综采（放）工作面，由隔爆兼本安型高清摄像仪采集。为提升刮板输送机断链识别效果，使用LabelImg对样本数据集进行标注，得到6 952张有效图像，按照7∶1∶2的比例划分为训练集、测试集和验证集，用于网络训练和性能评估。部分样本如图3所示。
OSELM网络经离线样本训练和测试，其对刮板输送机断链状态识别的平均精度均值（Mean Average Precision，mAP）、准确率和精确率均达到90%以上，平均检测速度为183.5帧/s。
3.2 工业性试验
3.2.1 试验环境及方法
基于OSELM的刮板输送机断链智能监测模型如图4所示。
![]()
图 4 刮板输送机断链智能监测模型Figure 4. Intelligent chain-broken monitoring model for scraper conveyor依托兖矿能源集团股份有限公司石拉乌素煤矿工作面配置的海康威视KBA18（D）型AI摄像仪进行井下工业性试验。AI摄像仪安装于刮板输送机机尾架，如图5所示。考虑煤矿井下环境复杂、恶劣，AI摄像仪时常会附着大量煤尘，影响摄像仪视觉清晰度，对AI摄像仪设置定时雨刷功能，可根据工作面不同的采煤工艺及工况自定义雨刷工作时间间隔，在特殊情况下可手动操作雨刷工作。同时，为避免补光灯光照强度对拍摄质量和监测准确度的影响，为AI摄像仪配置自动变焦、曝光度自动调节和强光抑制功能。
![]()
图 5 刮板输送机断链智能监测AI摄像仪布置Figure 5. AI camera deployment for broken chain monitoring system on scraper conveyor将经过离线样本训练的OSELM网络与AI摄像仪融合，进行序列化在线学习训练。在线学习过程中，AI摄像仪先从外界环境中随机获取刮板输送机链条当前状态集合，之后产生相应的判断。随着AI摄像仪采集的在线样本不断增多，OSELM网络可以获取到最佳的“状态−决策”集合，从而进一步完成自主认知发育学习。
AI摄像仪实时采集的刮板输送机链条图像通过井下工业性千兆光纤环网上传至刮板输送机集中控制系统平台。在该平台主界面（图6）可显示刮板输送机断链监测的故障和通信信息，且具有断链监测的可视化界面，对断链识别结果进行全方位显示，如图7所示，蓝色框为采样识别区域，绿色和橙色锚框分别为左右两侧链环的识别状态和mAP。
![]()
图 6 刮板输送机集中控制系统主界面Figure 6. Main interface of centralized control system for scraper conveyor3.2.2 试验结果
采用文献[18-21]中的网络模型（分别为深度神经网络融合网络、RT−DETR、YOLOv5、YOLOv8）、ELM和OSELM网络进行可视化识别分析，结果如图8所示。可看出OSELM网络对刮板输送机断链和正常链环的识别准确度均高于对比模型。
![]()
图 8 不同网络模型的断链识别可视化结果Figure 8. Visualization results of broken chain identification using different networks从mAP50、准确率、精确率、检测速度4个指标方面，将OSELM网络与文献[18-22]所提网络模型、ELM和OSELM网络进行对比分析，结果见表1。
表 1 不同断链监测网络模型性能对比Table 1. Performance comparison of different network models for broken chain monitoring从表1可看出：OSELM网络的mAP50、准确率和精确率均处于较高水平，分别达98.6%，99.3%，91.7%，较ELM网络分别提高了4.5%，2.5%，3.5%；与文献[18-21]中网络模型和ELM相比，OSELM网络整体监测性能更高，主要原因是OSELM网络不仅能够通过断链离线样本信息进行训练，还能在线实时学习当前复杂场景的链条状态样本信息，而其他模型仅能依靠离线样本进行网络训练，存在较高的样本局限性；文献[22]中网络模型的断链识别精确率较OSELM网络高1.7%，但准确率较OSELM网络低23.5%，存在较大的目标识别误差；OSELM网络的检测速度达205.6帧/s，仅略低于深度神经网络融合网络，验证了OSELM网络在刮板输送机断链监测方面的高效性。
理论方面，文献[18-22]中网络模型和ELM网络的训练和参数调优过程复杂，训练时间长，在实时训练方面性能较差。OSELM网络对增加的样本能够进行实时学习训练，通过上一个状态的网络输出权重，结合新增加的离线样本和在线样本，对网络输出权重进行更新迭代，不断优化网络输出权重，从而达到优化目标识别网络的目的。该网络的迭代参数种类较少，且可随新样本数据的到来不断更新而无需重新训练网络，使得网络模型始终保持在最新状态。
工业性试验结果验证了基于OSELM网络的刮板输送机断链智能监测系统能准确识别刮板输送机链条断裂故障，未发生漏报和误报情况，表明OSELM网络在煤矿井下复杂环境中具有较高的自主学习能力及较强的泛化性和鲁棒性。
4. 结论
1） OSELM网络在ELM网络基础上增加了在线训练模块，不仅能学习离线样本信息，还能在煤矿井下复杂场景中进行样本的实时在线训练，提高了刮板输送机断链识别模型的可靠性和泛化性。
2） 工业性试验结果表明，OSELM网络的mAP50、准确率和精确率分别达98.6%，99.3%，91.7%，高于深度神经网络融合网络、RT−DETR、YOLOv5、YOLOv8、ELM等对比模型；检测速度达205.6帧/s，可满足实时性检测要求。
3） 未来将重点优化OSELM网络针对刮板输送机断链的检测速度，并研究该网络在刮板输送机上煤矸识别和转载机危险区域人员误入检测方面的应用。
-
![]()
图 1 煤矿井下人员不安全行为检测与识别方法架构
Figure 1. Architecture of detection and recognition methods for unsafe behaviors of underground personnel in coal mines
![]()
图 10 YOLOv5s和YOLOv5s_swin模型的可视化激活热力图
Figure 10. Visualization of activation heatmaps for YOLOv5s and YOLOv5s_swin models
表 1 MS COCO数据集中人体关节点分类
Table 1 Classification of human key points in MS COCO dataset
序号 关节点标签 关节点名称 1 nose 鼻子 2 left_eye 左眼 3 right_eye 右眼 4 left_ear 左耳 5 right_ear 右耳 6 left_shoulder 左肩 7 right_shoulder 右肩 8 left_elbow 左肘 9 right_elbow 右肘 10 left_wrist 左腕 11 right_wrist 右腕 12 left_hip 左臀 13 right_hip 右臀 14 left_knee 左膝 15 right_knee 右膝 16 left_ankle 左脚踝 17 right_ankle 右脚踝 
下载: 导出CSV
表 2 目标检测模型性能比较结果
Table 2 Performance comparison results of object detection models
模型 mAP/% 训练时长/h 帧率/（帧·s−1） Centernet 96.7 11.8 86.0 YOLOv5s 97.4 4.1 156.2 YOLOv5s_swin 98.9 5.3 102.0
下载: 导出CSV
表 3 姿态估计网络实验结果
Table 3 Experimental results of pose estimation networks
% 网络 mAP APOKS=0.50 APM APL Alphapose 72.8 85.7 68.8 76.8 HRNet_w32 71.3 86.2 66.1 87.6 HRNet_w48 78.2 87.1 70.9 86.0
下载: 导出CSV
表 4 ST−GCN的准确率和召回率
Table 4 Accuracy and recall of ST-GCN
% 动作类别 准确率 召回率 walking 96.8 93.4 running 96.4 94.1 falling 98.2 96.0 detaching 97.2 96.7
下载: 导出CSV
-
[1] 郝建营. 煤矿井下人员不安全行为测度模型与应用研究[J]. 山东煤炭科技,2024,42(10):175-178,184. HAO Jianying. Application and research on the measurement model of unsafe behavior of coal mine downhole personnel[J]. Shandong Coal Science and Technology,2024,42(10):175-178,184.
[2] DI Hongxi,SBEIH A,SHIBLY F H A. Predicting safety hazards and safety behavior of underground coal mines[J]. Soft Computing,2023,27(2):1-13.
[3] 曾剑文. 基于AI技术的煤矿井下视频智能分析系统设计[J]. 煤炭科技,2024,45(3):202-206. ZENG Jianwen. Design of intelligent video analysis system for coal mine underground based on AI technology[J]. Coal Science & Technology Magazine,2024,45(3):202-206.
[4] 刘浩,刘海滨,孙宇,等. 煤矿井下员工不安全行为智能识别系统[J]. 煤炭学报,2021,46(增刊2):1159-1169. LIU Hao,LIU Haibin,SUN Yu,et al. Intelligent recognition system of unsafe behavior of underground coal miners[J]. Journal of China Coal Society,2021,46(S2):1159-1169.
[5] 杨敏. 复杂场景中的在线多目标跟踪方法研究[D]. 北京:北京理工大学,2016. YANG Min. Online multi-object tracking in cluttered scenes[D]. Beijing:Beijing Institute of Technology,2016.
[6] 周波,李俊峰. 结合目标检测的人体行为识别[J]. 自动化学报,2020,46(9):1961-1970. ZHOU Bo,LI Junfeng. Human action recognition combined with object detection[J]. Acta Automatica Sinica,2020,46(9):1961-1970.
[7] 罗会兰,童康,孔繁胜. 基于深度学习的视频中人体动作识别进展综述[J]. 电子学报,2019,47(5):1162-1173. LUO Huilan,TONG Kang,KONG Fansheng. The progress of human action recognition in videos based on deep learning:a review[J]. Acta Electronica Sinica,2019,47(5):1162-1173.
[8] FANG Ming,PENG Siyu,ZHAO Yang,et al. 3s-STNet:three-stream spatial-temporal network with appearance and skeleton information learning for action recognition[J]. Neural Computing and Applications,2023,35(2):1835-1848.
[9] 杜启亮,向照夷,田联房,等. 用于动作识别的双流自适应注意力图卷积网络[J]. 华南理工大学学报(自然科学版),2022,50(12):20-29. DU Qiliang,XIANG Zhaoyi,TIAN Lianfang,et al. Two-stream adaptive attention graph convolutional networks for action recognition[J]. Journal of South China University of Technology (Natural Science Edition),2022,50(12):20-29.
[10] SHU Xiangbo,ZHANG Liyan,SUN Yunlian,et al. Host-parasite:graph LSTM-in-LSTM for group activity recognition[J]. IEEE Transactions on Neural Networks and Learning Systems,2021,32(2):663-674.
[11] DU Wenbin,WANG Yali,QIAO Yu. RPAN:an end-to-end recurrent pose-attention network for action recognition in videos[C]. IEEE International Conference on Computer Vision,Venice,2017:3706-4442.
[12] 朱相华,智敏. 基于改进深度学习方法的人体动作识别综述[J]. 计算机应用研究,2022,39(2):342-348. ZHU Xianghua,ZHI Min. Review of human action recognition based on improved deep learning methods[J]. Application Research of Computers,2022,39(2):342-348.
[13] TRAN T H,LE T L,HOANG V N,et al. Continuous detection of human fall using multimodal features from Kinect sensors in scalable environment[J]. Computer Methods and Programs in Biomedicine,2017,146:151-165.
[14] BI Jingjun,DORNAIKA F. Sample-weighted fused graph-based semi-supervised learning on multi-view data[J]. Information Fusion,2024,104. DOI: 10.1016/J.INFFUS.2023.102175.
[15] YAN Sijie,XIONG Yuanjun,LIN Dahua. Spatial temporal graph convolutional networks for skeleton-based action recognition[C]. AAAI Conference on Artificial Intelligence,New Orleans,2018:7444-7452.
[16] SI Chenyang,CHEN Wentao,WANG Wei,et al. An attention enhanced graph convolutional LSTM network for skeleton-based action recognition[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Long Beach,2019:1227-1236.
[17] SHI Lei,ZHANG Yifan,CHENG Jian,et al. Two-stream adaptive graph convolutional networks for skeleton-based action recognition[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Long Beach,2019:12018-12027.
[18] ZHANG Pengfei,LAN Cuiling,ZENG Wenjun,et al. Semantics-guided neural networks for efficient skeleton-based human action recognition[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Seattle,2020:1109-1118.
[19] SUN Zehua,KE Qiuhong,RAHMANI H,et al. Human action recognition from various data modalities:a review[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2023,45(3):3200-3225.
[20] AHMAD Z,KHAN N. CNN-based multistage gated average fusion (MGAF) for human action recognition using depth and inertial sensors[J]. IEEE Sensors Journal,2021(3):3623-3634.
[21] 饶天荣,潘涛,徐会军. 基于交叉注意力机制的煤矿井下不安全行为识别[J]. 工矿自动化,2022,48(10):48-54. RAO Tianrong,PAN Tao,XU Huijun. Unsafe action recognition in underground coal mine based on cross-attention mechanism[J]. Journal of Mine Automation,2022,48(10):48-54.
[22] GUO Menghao,XU Tianxing,LIU Jiangjiang,et al. Attention mechanisms in computer vision:a survey[J]. Computational Visual Media,2022,8(3):331-368.
[23] VASWANI A,SHAZEER N,PARMAR N,et al. Attention is all you need[C]. The 31st International Conference on Neural Information Processing Systems,Long Beach,2017:5998-6008.
[24] WANG Dandan,HE Dongjian. Channel pruned YOLO V5s-based deep learning approach for rapid and accurate apple fruitlet detection before fruit thinning[J]. Biosystems Engineering,2021,210:271-281. DOI: 10.1016/j.biosystemseng.2021.08.015
-
期刊类型引用(9)
1. 毛清华，胡鑫，王孟寒，张旭辉，薛旭升. 改进YOLOv5s的采煤机滚筒与支架护帮板干涉状态智能识别. 煤炭科学技术. 2024(02): 253-263 . 
百度学术
2. 王新航. 煤矿安全目标检测技术研究进展. 能源与节能. 2023(04): 118-120 . 百度学术
3. 陈立烨，党浚哲，崔子航，陈思妍，段琦锋. 基于FocalLoss的煤矿井下人员安全视觉监测方法. 现代信息科技. 2023(13): 96-100 . 百度学术
4. 刘丁源，冯锋. 矿井下人员安全检测技术分析. 信息与电脑(理论版). 2022(15): 41-43+47 . 百度学术
5. 魏智锋，肖书浩，蒋国璋，伍世虔，程国飞. 基于深度学习的人造板表面缺陷检测研究. 林产工业. 2021(02): 21-26 . 百度学术
6. 董昕宇，师杰，张国英. 基于参数轻量化的井下人体实时检测算法. 工矿自动化. 2021(06): 71-78 . 本站查看
7. 杨建伟，涂兴子，梅峰漳，李亚宁，范鑫杰. 基于深度学习优化YOLOV3算法的芳纶带检测算法研究. 中国矿业. 2020(04): 67-72 . 百度学术
8. 孙杰臣，李敬兆，王继伟，许志. 煤矿井下人车联动控制系统. 工矿自动化. 2020(12): 7-12 . 本站查看
9. 张春堂，管利聪. 基于SSD-MobileNet的矿工安保穿戴设备检测系统. 工矿自动化. 2019(06): 96-100 . 本站查看
其他类型引用(18)
计量
- 文章访问数: 28
- HTML全文浏览量: 7
- PDF下载量: 5
- 被引次数: 27
