Unsafe action recognition in underground coal mine based on cross-attention mechanism
-
摘要: 对煤矿井下人员不安全行为进行实时视频监控及报警是提升安全生产水平的重要手段。煤矿井下环境复杂，监控视频质量不佳，导致常规基于图像特征或基于人体关键点特征的行为识别方法在煤矿井下应用受限。提出了一种基于交叉注意力机制的多特征融合行为识别模型，用于识别煤矿井下人员不安全行为。针对分段视频图像，采用3D ResNet101模型提取图像特征，采用openpose算法和ST−GCN（时空图卷积网络）提取人体关键点特征；采用交叉注意力机制对图像特征和人体关键点特征进行融合处理，并与经自注意力机制处理后的图像特征和人体关键点特征拼接，得到最终行为识别特征；识别特征经全连接层及归一化指数函数softmax处理后，得到行为识别结果。基于公共数据集HMDB51和UCF101、自建的煤矿井下视频数据集进行行为识别实验，结果表明：采用交叉注意力机制可使行为识别模型更有效地融合图像特征和人体关键点特征，大幅提高识别准确率；与目前应用最广泛的行为识别模型SlowFast相比，基于交叉注意力机制的多特征融合行为识别模型在HMDB51和UCF101数据集上的识别准确率分别提高1.8%，0.9%，在自建数据集上的识别准确率提高6.7%，验证了基于交叉注意力机制的多特征融合行为识别模型更适用于煤矿井下复杂环境中人员不安全行为识别。Abstract: The real-time video monitoring and alarming of unsafe actions of coal mine personnel is an important means to improve the level of safety in production. The coal mine underground environment is complex, and the monitoring video quality is poor. The conventional action recognition method based on image features or human body key point features is limited in application in the underground coal mine. An action recognition model of multi-feature fusion based on cross-attention mechanism is proposed to recognize unsafe actions of coal mine personnel. For segment video images, the 3D ResNet101 model is adopted to extract image features. The openpose algorithm and ST-GCN (space-time graph convolutional network) are adopted to extract human body key point features. The cross-attention mechanism is used to fuse the image features and human key point features. The fused features are spliced respectively with the image features or human key point features processed by the self-attention mechanism to obtain the final action recognition features. The recognition features is processed by the fully connected layer and the normalized exponential function softmax to obtain action recognition result. Based on the public data sets HMDB51 and UCF101, and the self-built coal mine video dataset, the action recognition experiment is carried out. The results show that the cross-attention mechanism can make the action recognition model more effective in fusing image features and human key point features, and greatly improve the recognition accuracy. At present, SlowFast is the most widely used action recognition model. Compared with the SlowFast, the recognition accuracy of the action recognition model of multi-feature fusion based on cross-attention mechanism has been improved by 1.8% and 0.9% for HMDB51 and UCF101 datasets respectively. The recognition accuracy on the self-built dataset has increased by 6.7%. It is verified that the action recognition model of multi-feature fusion based on cross-attention mechanism is more suitable for the recognition of unsafe actions in the complex coal mine environment.
-
-
![]()
图 1 基于交叉注意力机制的多特征融合行为识别模型结构
Figure 1. Structure of action recognition model of multi-feature fusion based on cross-attention mechanism
![]()
图 2 openpose算法提取人体关键点效果
Figure 2. Human body key points extracted by openpose algorithm
![]()
图 5 不同模型对摘安全帽行为的识别结果
Figure 5. Recognition results of removing safety helmet by different models
表 1 不同行为识别模型在公共数据集上的对比实验结果
Table 1 Comparison experiment results of different action recognition models by use of public data sets
% 模型 准确率 HMDB51 UCF101 C3D 56.8 82.3 3D ResNet101 61.7 88.9 TSN 68.5 93.4 SlowFast 72.3 95.8 ST−GCN 48.6 78.3 2S−AGCN 51.8 80.2 本文模型 74.1 96.7 
下载: 导出CSV
表 2 消融实验结果
Table 2 Ablation experiment results
% 图像特征
提取网络人体关键点特
征提取网络自注意力
机制交叉注意力
机制准确率 HMDB51 UCF101 √ × × × 61.7 88.9 √ × √ × 63.3 89.7 × √ × × 48.6 78.3 × √ √ × 51.8 81.4 √ √ × × 63.2 88.5 √ √ √ × 69.0 92.7 √ √ √ √ 74.1 96.7
下载: 导出CSV
表 3 不同行为识别模型在自建数据集上的对比实验结果
Table 3 Comparison experiment results of different action recognition models by use of built underground video data sets
% 模型 准确率 模型 准确率 C3D 75.4 ST−GCN 63.4 3D ResNet101 78.7 2S−AGCN 70.9 TSN 81.5 本文模型 91.3 SlowFast 84.6
下载: 导出CSV
表 4 本文模型对不同行为类别的识别结果
Table 4 Action recognition results of different action types by the proposed model
% 行为类别 准确率 行为类别 准确率 抽烟 93.7 跌倒 95.8 打架 91.5 摘安全帽 84.2 徘徊 93.2 脱工作服 89.4
下载: 导出CSV
-
[1] 党伟超,史云龙,白尚旺,等. 基于条件变分自编码器的井下配电室巡检行为检测[J]. 工矿自动化,2021,47(12):98-105. DOI: 10.13272/j.issn.1671-251x.2021030087 DANG Weichao,SHI Yunlong,BAI Shangwang,et al. Inspection behavior detection of underground power distribution room based on conditional variational auto-encoder[J]. Industry and Mine Automation,2021,47(12):98-105. DOI: 10.13272/j.issn.1671-251x.2021030087
[2] 王国法,任怀伟,赵国瑞,等. 煤矿智能化十大“痛点”解析及对策[J]. 工矿自动化,2021,47(6):1-11. DOI: 10.13272/j.issn.1671-251x.17808 WANG Guofa,REN Huaiwei,ZHAO Guorui,et al. Analysis and countermeasures of ten 'pain points' of intelligent coal mine[J]. Industry and Mine Automation,2021,47(6):1-11. DOI: 10.13272/j.issn.1671-251x.17808
[3] SIMONYAN K, ZISSERMAN A. Two-streamconvolutional networks for action recognition in videos[Z]. arXiv Preprint, arXiv:1406.2199v2.
[4] WANG Limin, XIONG Yuanjun, WANG Zhe, et al. Temporal segment networks: towards good practices for deep action recognition[C]. European Conference on Computer Vision, Amsterdam, 2016: 20-36.
[5] JI Lin, GAN Chuang, HAN Song. TSM: temporal shift module for efficient video understanding[C]. The IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, 2019: 7083-7093.
[6] LIU Kun, LIU Wu, GAN Chuang, et al. T-C3D: temporal convolutional 3D network for real-time action recognition[C]. The AAAI Conference on Artificial Intelligence, New Orleans, 2018: 7138-7145.
[7] FEICHTENHOFER C, FAN H, MALIK J, et al. Slowfast networks for video recognition[C]. The IEEE International Conference on Computer Vision, Long Beach, 2019: 6202-6211.
[8] 党伟超,张泽杰,白尚旺,等. 基于改进双流法的井下配电室巡检行为识别[J]. 工矿自动化,2020,46(4):75-80. DOI: 10.13272/j.issn.1671-251x.2019080074 DANG Weichao,ZHANG Zejie,BAI Shangwang,et al. Inspection behavior recognition of underground power distribution room based on improved two-stream CNN method[J]. Industry and Mine Automation,2020,46(4):75-80. DOI: 10.13272/j.issn.1671-251x.2019080074
[9] 刘浩,刘海滨,孙宇,等. 煤矿井下员工不安全行为智能识别系统[J]. 煤炭学报,2021,46(增刊2):1159-1169. DOI: 10.13225/j.cnki.jccs.2021.0670 LIU Hao,LIU Haibin,SUN Yu,et al. Intelligent recognition system of unsafe behavior of underground coal miners[J]. Journal of China Coal Society,2021,46(S2):1159-1169. DOI: 10.13225/j.cnki.jccs.2021.0670
[10] 张立亚. 基于图像识别的煤矿井下安全管控技术[J]. 煤矿安全,2021,52(2):165-168. DOI: 10.13347/j.cnki.mkaq.2021.02.032 ZHANG Liya. Safety control technology of coal mine based on image recognition[J]. Safety in Coal Mines,2021,52(2):165-168. DOI: 10.13347/j.cnki.mkaq.2021.02.032
[11] YAN Sijie, XIONG Yuanjun, LIN Dahua. Spatial temporal graph convolutional networks for skeleton-based action recognition[C]. The AAAI Conference on Artificial Intelligence, New Orleans, 2018: 7444-7452.
[12] SHI Lei, ZHANG Yifan, CHENG Jian, et al. Two-stream adaptive graph convolutional networks for skeleton-based action recognition[C]. The IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, 2019: 12026-12035.
[13] 黄瀚,程小舟,云霄,等. 基于DA−GCN的煤矿人员行为识别方法[J]. 工矿自动化,2021,47(4):62-66. DOI: 10.13272/j.issn.1671-251x.17721 HUANG Han,CHENG Xiaozhou,YUN Xiao,et al. DA-GCN-based coal mine personnel action recognition method[J]. Industry and Mine Automation,2021,47(4):62-66. DOI: 10.13272/j.issn.1671-251x.17721
[14] 王璇,吴佳奇,阳康,等. 煤矿井下人体姿态检测方法[J]. 工矿自动化,2022,48(5):79-84. DOI: 10.13272/j.issn.1671-251x.17867 WANG Xuan,WU Jiaqi,YANG Kang,et al. Human posture detection method in coal mine[J]. Journal of Mine Automation,2022,48(5):79-84. DOI: 10.13272/j.issn.1671-251x.17867
[15] HARA K, KATAOKA H, SATOH Y. Can spatiotemporal 3D CNNs retrace the history of 2D CNNs and imagenet[C]. The IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, 2018: 6546-6555.
[16] CAO Zhe, SIMON T, WEI S-E, et al. Realtime multi-person 2D pose estimation using part affinity fields[C]. The IEEE International Conference on Computer Vision, Honolulu, 2017: 7291-7299.
[17] WANG Xiaolong, GIRSHICK R, GUPTA A, et al. Non-local neural networks[C]. The IEEE International Conference on Computer Vision, Salt Lake City, 2018: 7794-7803.
[18] VELICKOVIC P, CUCURULL G, CASANOVA A, et al. Graph attention networks[Z]. arXiv Preprint, arXiv: 1710.10903.
[19] KUEHNE H, JHUANG H, GARROTE E, et al. HMDB: a large video database for human motion recognition[C]. International Conference on Computer Vision, Barcelona, 2011: 2556-2563.
[20] SOOMORO K, ZAMIR A R, SHAH M. UCF101: a dataset of 101 human actions classes from videos in the wild[Z]. arXiv Preprint, arXiv: 1212.0402.
-
期刊类型引用(57)
1. 焦敬波，王震，赵春阳，刘盼，任月晓. 锚杆转载机组智能感知系统的研究与应用. 煤炭技术. 2025(01): 258-262 . 
百度学术
2. 周展，桓磊，蒋峰，张浩涯，韩蓓蕾. 基于矿用5G技术的采煤机智能化技术. 陕西煤炭. 2024(02): 114-117 . 百度学术
3. 孙继平，彭铭. 矿井无线电波防爆安全发射功率研究. 工矿自动化. 2024(03): 1-5 . 本站查看
4. 孙继平，彭铭. 煤矿信息综合承载网标准研究制定. 工矿自动化. 2024(04): 1-8 . 本站查看
5. 李世银，杨瑞鑫，杨磊，沈胜强，李飞飞，胡青松. 煤矿井下智能超表面非视距无线覆盖技术综述. 中国矿业大学学报. 2024(03): 613-622 . 百度学术
6. 魏春贤，李涛，连昶锦. 时间敏感网络在煤矿的应用. 工矿自动化. 2024(S1): 65-68+99 . 本站查看
7. 梁明智，柳昆鹏. 基于5G网络的无人驾驶运输技术在兴盛露天煤矿的应用. 露天采矿技术. 2024(03): 32-36 . 百度学术
8. 孙继平，彭铭. 无线电波发射功率防爆要求与检测方法. 工矿自动化. 2024(06): 1-5+22 . 本站查看
9. 李晨鑫. 煤矿用5G关键技术研究现状与发展方向. 工矿自动化. 2024(07): 79-88 . 本站查看
10. 孟积渐. 煤矿井下5G射频源远场辐射防爆安全分析. 煤矿安全. 2024(10): 221-227 . 百度学术
11. 孙继平，彭铭，刘斌. 矿井无线传输测试分析与矿用5G优选工作频段研究. 工矿自动化. 2024(10): 1-11+20 . 本站查看
12. 张立亚，马征，郝博南，李标. 矿用5G通信信号传输的干扰监测技术. 工矿自动化. 2024(11): 62-69 . 本站查看
13. 黄友胜. 矿用定位通信一体化基站设计与实现. 煤矿安全. 2024(12): 229-235 . 百度学术
14. 鞠晨. 矿井UWB定位系统中圆极化天线的优化设计和应用. 工矿自动化. 2023(01): 171-176 . 本站查看
15. 王可冰，张立亚，姜玉峰，康守信. 煤矿5G融合通信管理平台研究. 中国矿业. 2023(01): 76-81+99 . 百度学术
16. 刘清，张龙，李天越，杜鹏飞. 综采工作面三机数字孪生及协同建模方法. 工矿自动化. 2023(02): 47-55 . 本站查看
17. 任文清. 基于ADS和HFSS的矿井UWB射频前端电磁联合仿真方法. 工矿自动化. 2023(02): 85-93 . 本站查看
18. 吴文臻. 煤矿5G融合通信系统架构设计. 煤矿安全. 2023(02): 217-222 . 百度学术
19. 何勇，徐元涛. 5G通信技术在智能化煤矿的应用与研究. 能源与节能. 2023(03): 167-169+173 . 百度学术
20. 郭爱军. 基于UWB的PDOA与TOF煤矿井下联合定位方法. 工矿自动化. 2023(03): 137-141 . 本站查看
21. 李晨鑫. 矿用5G通信演进技术研究. 工矿自动化. 2023(03): 6-12 . 本站查看
22. 孙继平，梁伟锋，彭铭，张高敏，潘涛，张侯，李小伟. 煤矿井下无线传输衰减分析测试与最佳工作频段研究. 工矿自动化. 2023(04): 1-8 . 本站查看
23. 吕瑞杰. 煤矿井下UWB信号路径损耗测量及中心频率选择. 工矿自动化. 2023(04): 147-152 . 本站查看
24. 严策. 试析5G技术在煤矿智能化中的应用. 内蒙古煤炭经济. 2023(04): 145-147 . 百度学术
25. 姚蔚利，蔡志佳. 矿井无人车应用技术分析. 山东煤炭科技. 2023(05): 225-227 . 百度学术
26. 金智新，闫志蕊，王宏伟，李正龙，史凌凯. 新一代信息技术赋能煤矿装备数智化转型升级. 工矿自动化. 2023(06): 19-31 . 本站查看
27. 孙继平. 矿井人员位置监测技术. 工矿自动化. 2023(06): 41-47 . 本站查看
28. 李宗伟. 基于非视距误差抑制的矿井轨道机车定位方法研究. 工矿自动化. 2023(07): 75-82 . 本站查看
29. 孙继平. 煤矿用5G通信系统标准研究制定. 工矿自动化. 2023(08): 1-8 . 本站查看
30. 高晓成，闫涛，冯有宏，马国帅. 基于5G的井下融合基站关键技术的研究. 煤矿机械. 2023(10): 180-183 . 百度学术
31. 蔡峰，王陈书略，乔梁，包晓波，张冬阳. 矿用5G智能终端数据交互和共享规范研究. 工矿自动化. 2023(09): 98-105 . 本站查看
32. 李晨鑫. 基于5G的矿用装备远程控制技术研究. 工矿自动化. 2023(09): 90-97 . 本站查看
33. 胡英杰，周代勇，张鹏. 矿用边缘控制技术及装备研究. 自动化与仪器仪表. 2023(09): 273-275 . 百度学术
34. 肖磊. 煤矿智能化建设实践及采掘工作面关键技术探索. 内蒙古煤炭经济. 2023(15): 145-147 . 百度学术
35. 姜玉峰. 矿用PON及其演进技术研究. 中国矿业. 2023(10): 88-94 . 百度学术
36. 汪雪君. 智能化矿用摄像仪测试方法中约束条件的研究. 中国测试. 2023(S1): 86-90 . 百度学术
37. 王国法，张铁岗，王成山，庞义辉，杨挺，孙春生，胡亚辉，张鹏. 基于新一代信息技术的能源与矿业治理体系发展战略研究. 中国工程科学. 2022(01): 176-189 . 百度学术
38. 孙继平，程加敏. 煤矿智能化信息综合承载网. 工矿自动化. 2022(03): 1-4+90 . 本站查看
39. 王皓，董书宁，姬亚东，乔伟，尚宏波，朱开鹏，周振方，宁殿艳. 煤矿水害智能化防控平台架构及关键技术. 煤炭学报. 2022(02): 883-892 . 百度学术
40. 赵德伟，刘适永. 5G通信系统在煤矿安全中的应用. 中国新通信. 2022(06): 30-32 . 百度学术
41. 孙继平，江嬴. 矿井车辆无人驾驶关键技术研究. 工矿自动化. 2022(05): 1-5+31 . 本站查看
42. 宋单阳，宋建成，陶心雅，杨金衡，卢春贵. 具有故障诊断功能的液压支架电液控制器通信系统. 工矿自动化. 2022(05): 100-106 . 本站查看
43. 宋哲君，张月山，邢曦文. 新媒体技术在煤矿安全中应用趋势探讨. 内蒙古煤炭经济. 2022(02): 112-114 . 百度学术
44. 田志英. 煤矿信息智能化网络技术在5G场景下的应用. 矿业装备. 2022(03): 42-43 . 百度学术
45. 李晨鑫，张立亚. 煤矿井下网联式自动驾驶技术研究. 工矿自动化. 2022(06): 49-55 . 本站查看
46. 周代勇. 矿用跨区域协同控制技术及装备研究. 煤矿安全. 2022(07): 131-134 . 百度学术
47. 白永明，郭林生，吴学明，杨景峰，董红涛，柳东林. 彬长矿业5G智能矿井建设与信息安全思考. 中国煤炭. 2022(07): 107-115 . 百度学术
48. 张勇. 煤矿井下无线射频近场谐振耦合防爆电磁能仿真分析. 煤矿安全. 2022(08): 134-138 . 百度学术
49. 孙继平，张高敏. 基于混合射线追踪的矿井电磁波分析方法. 煤炭学报. 2022(07): 2834-2843 . 百度学术
50. 蒋建峰，张运嵩，张娴，张趁香，安淑梅. 基于Bayes评估的5G SA网络切片安全映射算法. 南京信息工程大学学报(自然科学版). 2022(05): 527-534 . 百度学术
51. 丁序海. 三道沟煤矿智能矿山建设实践与探索. 工矿自动化. 2022(S1): 6-10 . 本站查看
52. 闫启宏，黄友胜. 青龙煤矿5G专网研究与设计. 中国煤炭. 2022(10): 74-79 . 百度学术
53. 冯晓斌. 5G+智能矿山建设实践. 陕西煤炭. 2022(06): 205-210 . 百度学术
54. 王宏伟，武亚丹，陈龙. 液压支架数字孪生体联合建模方法. 工矿自动化. 2022(10): 13-19 . 本站查看
55. 顾义东，孟玮. 煤矿5G无线通信系统建设构想. 工矿自动化. 2021(10): 1-6+13 . 本站查看
56. 张立亚. 煤矿5G通信系统安全应用技术研究. 工矿自动化. 2021(12): 8-12+45 . 本站查看
57. 蒋建峰，陈四华，尤澜涛. 智慧矿山5G网络上行速率增强算法. 工矿自动化. 2021(12): 62-67 . 本站查看
其他类型引用(8)
计量
- 文章访问数: 591
- HTML全文浏览量: 79
- PDF下载量: 119
- 被引次数: 65
