工矿自动化

姓名
邮箱
手机号码
标题
留言内容
验证码

程德强, 寇旗旗, 江鹤, 徐飞翔, 宋天舒, 王晓艺, 钱建生

2023, 49(11): 1-21. doi: 10.13272/j.issn.1671-251x.18165

<摘要>(1902) <HTML> (106) <PDF>(290)

摘要:
智能化是煤矿发展的方向，而智能视频分析是促进煤矿智能化的有效途径。全矿井智能视频分析技术具有实时监控、预警和决策支持能力，有助于提高矿山企业的安全性、生产效率、资源利用效率和环境可持续性。详细介绍了全矿井智能视频分析的关键技术，包括视频采集设备、视频预处理、视频压缩与编码等视频采集与处理技术，目标检测与跟踪、运动检测与分析、物体识别与分类等视频分析基础技术，行为识别与分析、事件检测与警报、视频监控与布防等高级视频分析技术。研发了集成视频识别分析和工业联动控制功能的矿山智脑AI视觉智能服务平台，介绍了智能视频分析技术在智能探放水系统和探放瓦斯系统、煤岩识别与截割系统、掘进工作面、综采工作面、煤流运输系统、矿井提升机系统、辅助运输系统、选煤厂、智能化装车配煤系统等矿井生产场景中的应用。分析指出目前全矿井智能视频分析技术在视频质量、复杂背景、实时性要求、数据隐私和安全、系统可靠性与稳定性等方面仍面临挑战。建议未来加强算法提升和优化、多模态数据融合、实时分析和边缘计算、强化学习和自主决策、数据隐私和安全保护、硬件设备和传感器技术等方面的研究，以全面推动全矿井智能视频分析技术的发展，促进矿山智能化进程。

综掘系统视觉处理技术研究现状及发展趋势

杜雨馨, 张贺, 王树臣, 张建化

2023, 49(11): 22-38, 75. doi: 10.13272/j.issn.1671-251x.2023090042

<摘要>(1351) <HTML> (43) <PDF>(99)

摘要:
机器视觉技术具有非接触测量、获取信息量大、数据处理能力强等优点，将其应用于综掘工作面，对于提高综掘工作效率、保障人员设备安全、减少事故发生具有重要意义。综述了近年来视觉处理技术在煤矿综掘系统中的具体应用与发展情况，依据综掘工作面的任务分工，结合具体实际案例，重点分析了机器视觉技术在视觉检测与定位、安全监测与事故预防、装备自动化与智能化等方面的应用。通过分析不同应用场景中各类视觉检测系统的结构与检测原理，明确了视觉处理技术在综掘工作面工程应用中的技术性能、工作流程及优缺点。分析了视觉技术在综掘工作面应用中存在的挑战，包括环境适应性问题、成像视野范围较窄、智能算法的鲁棒性和可靠性尚待提高等。指出多传感器信息融合技术、设备群协同控制技术与数字孪生驱动远程监控技术是基于机器视觉的煤矿智能化装备体系未来需要重点发展的新方向。

基于FBEC−YOLOv5s的采掘工作面多目标检测研究

张辉, 苏国用, 赵东洋

2023, 49(11): 39-45. doi: 10.13272/j.issn.1671-251x.2023060063

<摘要>(258) <HTML> (63) <PDF>(77)

摘要:
针对采掘工作面目标尺度跨度大、多目标间相互遮挡严重及恶劣环境导致的检测精度降低等问题，提出了一种基于FBEC−YOLOv5s的采掘工作面多目标检测算法。首先，在主干网络引入FasterNet网络，以凭借其残差连接与批标准化模块，增强模型的特征提取和语义信息捕捉能力；其次，在YOLOv5s模型颈部融合BiFPN网络，以通过其双向跨尺度连接和快速归一化融合操作，实现多尺度特征的快速捕捉与融合；最后，采用ECIoU损失函数代替CIoU损失函数，以提升检测框定位精度和模型收敛速度。实验结果表明：① 在满足煤矿井下实时检测要求的同时，FBEC−YOLOv5s模型的准确率较YOLOv5s模型的准确率提升了3.6%。② 与YOLOv5s模型相比，FBEC−YOLOv5s模型的平均检测精度均值上升了2.8%，平均检测精度均值为92.4%，能够满足实时检测要求。③ FBEC−YOLOv5s模型的综合检测性能好，能够在恶劣环境、多目标间相互遮挡严重及目标尺度跨度大导致检测精度降低的情况下表现出良好的实时检测能力且具有较好的鲁棒性。

基于Faster−YOLOv7的带式输送机异物实时检测

唐俊, 李敬兆, 石晴, 杨萍, 王瑞

2023, 49(11): 46-52, 66. doi: 10.13272/j.issn.1671-251x.2023020037

<摘要>(407) <HTML> (62) <PDF>(101)

摘要:
基于深度学习的目标检测算法在异物检测中具有较好的识别效果，但模型内存需求大，检测速度慢；轻量化深度学习网络能够大幅减少模型内存需求，提升检测速度，但在井下弱光环境中检测精度低。针对上述问题，提出了一种基于Faster−YOLOv7的带式输送机异物实时检测算法。通过限制对比度自适应直方图均衡化算法（CLAHE）进行图像增强，提高弱光环境中异物对比度；基于Mobilenetv3对YOLOv7主干网络进行轻量化设计，减少YOLOv7模型的计算量、参数量；添加有效通道注意力机制，缓解因特征通道数减少而导致的高层特征信息丢失问题；采用Alpha−IoU作为损失函数提高异物检测精度。实验结果表明：① Faster−YOLOv7的初始损失为0.143，最终稳定在0.039左右。② Faster−YOLOv7的检测速度可达42帧/s，较YOLOv5、YOLOv7分别提升了17，20帧/s；Faster−YOLOv7内存为14 MiB，较YOLOv5、YOLOv7分别降低了29，57 MiB；检测准确率达91.3%，较YOLOv5提升了8.8%。③ 将SSD、YOLOv5、轻量化YOLOv7、Faster−YOLOv7目标检测算法应用到煤矿井下带式输送机运煤图像及视频中，发现SSD在视频检测时发生了漏检现象，YOLO系列模型均有效地识别出待测异物，且Faster−YOLOv7识别结果的置信度更高。

基于生成对抗网络的带式输送机异物检测方法

张立亚

2023, 49(11): 53-59. doi: 10.13272/j.issn.1671-251x.2023080046

<摘要>(1234) <HTML> (102) <PDF>(68)

摘要:
煤矿井下胶带运输图像具有照度低、细节不清晰、背景干扰等特点，现有的带式输送机异物检测模型存在精度低、灵活性差、计算量大、优化空间存在差异等问题。针对上述问题，提出了一种基于生成对抗网络（GAN）的带式输送机异物检测方法。对胶带运输过程视频文件进行预处理，分类得到正常图像、异常图像，制作实验数据集对改进GANomaly模型进行训练，再通过训练好的模型进行带式输送机异物检测。在训练阶段，将不含异物的带式输送机图像作为输入；在测试阶段，将含有异物的带式输送机图像作为输入，得到的重构图像与输入网络的原图像作差，即可得到异物的具体位置。GANomaly模型轻量化改进方法：在GANomaly基础网络模型中加入深度可分离卷积残差模块，采用深度可分离卷积代替原有主干网络中的卷积操作，大幅降低了模型计算量，同时减少了参数的冗余计算，能够明显提高异物检测速度；通过合并多个批量归一化（BN）层，加快模型的收敛迭代速度，提高模型的泛化收敛能力，有效避免梯度消失。实验结果表明，改进GANomaly模型相较于传统GANomaly模型，在运行速度上提升了6.27%，评价指标F₁分数、AUC、召回率（Recall）和平均精度均值（mAP）分别提升了19.05%，22.22%，15.00%，17.14%。

工作面刮板输送机煤流状态识别方法

吴江伟, 南柄飞

2023, 49(11): 60-66. doi: 10.13272/j.issn.1671-251x.2023080101

<摘要>(214) <HTML> (42) <PDF>(55)

摘要:
煤矿井下工作面刮板输送机场景中存在的刮板输送机姿态多变、煤料形状不规则、设备安装位置受限、高粉尘、异物遮挡等不利因素，导致现有针对带式输送机场景的煤流状态识别方法无法有效在刮板输送机场景下进行工程化应用。针对上述问题，提出了一种基于时序视觉特征的工作面刮板输送机煤流状态识别方法。该方法首先利用DeepLabV3+语义分割模型获取工作面煤流视频图像中粗略煤流区域，并在此基础上通过线性拟合方法进行精细煤流区域定位与分割，实现煤流图像提取；然后将煤流图像按视频时序进行排列，构成煤流图像序列；最后采用C3D动作识别模型针对煤流图像序列进行特征建模，实现煤流状态自动识别。实验结果表明：该方法能准确获取煤流图像并自动、实时识别煤流状态，煤流状态平均识别准确率达92.73%；针对工程化部署应用，利用TensorRT对模型进行加速处理，对于分辨率为1 280×720的煤流视频图像，整体处理速度为42.7帧/s，满足工作面煤流状态智能监测实际需求。

基于雷达与视觉融合的双模态煤矿井下环境感知技术

杨志方

2023, 49(11): 67-75. doi: 10.13272/j.issn.1671-251x.2023080073

<摘要>(313) <HTML> (98) <PDF>(62)

摘要:
环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术。单模态环境感知技术对煤矿井下复杂环境的感知能力较差。提出了雷达与视觉双模态空间融合方法，通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合，从而提高环境感知能力。为了更好地提取目标特征信息，提出了双模态融合环境感知网络架构技术路线：摄像仪和雷达采集的环境信息经雷达与视觉双模态空间融合方法进行融合处理，多模态特征融合网络模块提取融合信息中的目标特征，多任务处理网络模块采用不同的任务头处理目标特征信息，完成目标检测、图像分割、目标分类等环境感知任务。采用YOLOv5s目标检测算法搭建双模态特征提取网络模块进行实验，结果表明：基于雷达与视觉融合的双模态煤矿井下环境感知技术对井下巷道环境下行人检测的成功率较视觉、雷达感知分别提升15%，10%，对车道线、标志牌等各类目标分割的平均精度均值较视觉感知均提高10%以上，有效提升了煤矿井下环境感知能力，可为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供技术支持。

矿井图像超分辨率重建研究

王媛彬, 刘佳, 郭亚茹, 吴冰超

2023, 49(11): 76-83, 120. doi: 10.13272/j.issn.1671-251x.2023080081

<摘要>(226) <HTML> (59) <PDF>(60)

摘要:
受井下粉尘大、照度低等环境影响，矿井图像存在分辨率低、细节模糊等问题，现有的图像超分辨率重建算法应用于矿井图像时，难以获取不同尺度图像信息、网络参数过大而影响重建速度，且重建图像易出现细节丢失、边缘轮廓模糊、伪影等问题。提出了一种基于多尺度密集通道注意力超分辨率生成对抗网络（SRGAN）的矿井图像超分辨率重建算法。设计了多尺度密集通道注意力残差块替代SRGAN原有的残差块，采用2路并行且卷积核大小不同的密集连接块，可充分获取图像特征；融入高效通道注意力模块，加强对高频信息的关注度；采用深度可分离卷积对网络进行轻量化，抑制网络参数的增加；利用纹理损失约束网络训练，避免网络加深时产生伪影。在井下数据集和公共数据集上对提出的矿井图像超分辨率重建算法和经典超分辨率重建算法BICUBIC，SRCNN，SRRESNET，SRGAN进行实验，结果表明：所提算法在主客观评价上总体优于对比算法，网络参数较SRGAN减少了2.54%，峰值信噪比与结构相似度较经典算法指标均值分别提高了0.764 dB和0.053 58，能更好地关注图像的纹理、轮廓等细节信息，重建图像更符合人眼视觉。

基于Real−ESRGAN的岩石CT图像超分辨率重建

李刚, 张亚兵, 杨庆贺, 邹军鹏, 才天, 刘航, 赵艺鸣

2023, 49(11): 84-91. doi: 10.13272/j.issn.1671-251x.2023080093

<摘要>(1397) <HTML> (65) <PDF>(49)

摘要:
图像采集设备和地质环境等因素导致岩石CT图像分辨率低、细节不清晰，而现有图像超分辨率重建方法在表征内部高密度矿物质颗粒和孔裂隙时容易丢失细节。针对上述问题，采用改进的增强型超分辨率生成对抗网络（Real−ESRGAN）对岩石CT图像进行超分辨率重建。选取山西晋城无烟煤矿业集团有限责任公司赵庄煤矿15号煤层底板的砂岩为研究对象，研究不同图像放大倍数下Real−ESRGAN的重建性能，并将其与超分辨率卷积神经网络（SRCNN）、超分辨率生成对抗网络（SRGAN）、增强型超分辨率生成对抗网络（ESRGAN）、增强的深度超分辨率网络（EDSR）等算法进行对比。试验结果表明：① 使用Real−ESRGAN重建的高分辨率图像在视觉效果上比原始CT图像更清晰，重建图像中裂隙轮廓和高密度矿物质颗粒更加突出，图像可视性得到了极大提高。② 在客观评估方面，Real−ESRGAN算法在2倍超分辨率重建后图像的峰值信噪比（PSNR）高达36.880 dB，结构相似性（SSIM）达0.933。但随着放大倍数的增加，6倍超分辨率重建图像上的孔隙出现模糊，PSNR降至32.781 dB，SSIM为0.896。③ Real−ESRGAN重建超分辨图像的孔隙率和喉道长度分布占比与原始CT图像相比非常接近，保留了岩石重要的细观结构信息。

矿井井下非均匀照度图像增强算法

苗作华, 赵成诚, 朱良建, 刘代文, 陈澳光

2023, 49(11): 92-99. doi: 10.13272/j.issn.1671-251x.2023060032

<摘要>(182) <HTML> (96) <PDF>(49)

摘要:
矿井井下视频采集过程中由于照明系统分布不均匀、环境中存在大量粉尘和雾气，导致监控画面图像存在局部光线过曝、局部亮度不足、对比度低和边缘信息弱等问题。针对上述问题，提出了一种矿井井下非均匀照度图像增强算法。该算法基于Retinex−Net网络结构改进，具体包括非均匀光照抑制模块（NLSM）、光照分解模块（LDM）和图像增强模块（IEM）3个部分：NLSM对图像中人工光源局部非均匀光照进行抑制；LDM将图像分解为光照层和反射层；IEM对图像光照层增强，经伽马校正，最终得到增强图像。在NLSM和LDM中均采用Resnet作为网络基础架构，并顺序引入了卷积注意力机制中通道注意力模块和空间注意力模块，以增强对图像光照特征关注度和特征选择的效率。实验结果表明：① 选取MBLLEN，RUAS，zeroDCE，zeroDCE++，Retinex−Net，KinD++及非均匀照度图像增强算法对多种场景（井下运输环境场景、单光源巷道场景、多光源巷道场景、矿石场景）图像进行增强处理及定性分析，分析结果指出非均匀照度图像增强算法能够避免人工光源区域的过度增强，未在光源区域产生晕染和模糊现象，不易产生色偏，对比度适中，画面视觉效果更真实。② 选取信息熵（IE）、平均梯度（AG）、标准差（SD）、自然图像质量评价指标（NIQE）、结构相似性（SSIM）和峰值信噪比（PSNR）作为评价指标，定量比较图像增强画面质量。结果表明非均匀照度图像增强算法在多种场景下处于相对领先地位。③ 消融实验结果表明，非均匀照度图像增强算法在NIQE，SSIM，PSNR这3个评价指标上均获得了最优结果。

基于去尘估计和多重曝光融合的煤矿井下图像增强方法

郝博南

2023, 49(11): 100-106. doi: 10.13272/j.issn.1671-251x.2023080105

<摘要>(172) <HTML> (24) <PDF>(45)

摘要:
煤矿井下粉尘和暗光等因素导致采集的图像质量低，而现有图像增强方法存在图像细节丢失、局部特征不清晰、无法消除噪声、去尘效果不理想等问题。针对上述问题，提出了一种基于去尘估计和多重曝光融合的煤矿井下图像增强方法。该方法通过尘化图像简易模型及暗原色理论，并引入自适应衰减系数估算出图像透射率，再根据透射率分布，通过尘化图像简易模型复原物体的原始图像，将煤矿井下图像中的粉尘去除；利用多重曝光融合算法为曝光不足的原始图像生成一组不同曝光比的图像，并引入权值矩阵将这些不同曝光比的图像与原始图像进行融合，有效提升暗光图像质量。实验结果表明：相较于直方图均衡法、带色彩恢复的Retinex（MSRCR）方法、改进Retinex方法，该方法在去尘及暗光增强方面效果较好，颜色还原度较高，白边和过曝等现象得到抑制，且增强后的图像平均对比度分别提升了169.00%，42.50%，10.88%，平均图像熵分别提升了51.80%，16.45%，8.99%，平均亮度顺序误差（LOE）分别降低了31.01%，16.94%，7.83%，同时该方法运算耗时最短。

基于改进STDC的井下轨道区域实时分割方法

马天, 李凡卉, 杨嘉怡, 张杰慧, 丁旭涵

2023, 49(11): 107-114. doi: 10.13272/j.issn.1671-251x.2023080076

<摘要>(176) <HTML> (70) <PDF>(22)

摘要:
目前中国大部分井下轨道运输场景较为开放，存在作业人员、散落物料或煤渣侵入到轨道上的问题，从而给机车行驶带来威胁。煤矿井下轨道区域多呈线性或弧形不规则区域，且轨道会逐渐收敛，采用目标识别框或检测轨道线的方法划分轨道区域难以精确获得轨道范围，采用轨道区域的分割可实现像素级别的精确轨道区域检测。针对目前井下轨道区域分割方法存在边缘信息分割效果差、实时性低的问题，提出了一种基于改进短期密集连接（STDC）网络的轨道区域实时分割方法。采用STDC作为骨干架构，以降低网络参数量与计算复杂度。设计了基于通道注意机制的特征注意力模块（FAM），用于捕获通道之间的依赖关系，对特征进行有效的细化和组合。使用特征融合模块（FFM）融合高级语义特征与浅层特征，并利用通道和空间注意力丰富融合特征表达，从而有效获取特征并减少特征信息丢失，提升模型性能。采用二值交叉熵损失、骰子损失及图像质量损失来优化详细信息的提取，并通过消除冗余结构来提高分割效率。在自建的数据集上对基于改进STDC的轨道区域实时分割方法进行验证，结果表明：该方法的平均交并比（MIoU）为95.88%，较STDC提高了3%；参数量为6.74 MiB，较STDC降低了18.3%；随着迭代次数增加，优化后的损失函数值持续减小，且较STDC降低更为明显；基于改进STDC的轨道区域实时分割方法的MIoU达95.88%，帧速率为37.8帧/s，参数量为6.74 MiB，准确率为99.46%。该方法可完整识别轨道区域，轨道被准确地分割且边缘轮廓完整准确。

基于改进SOLOv2的煤矿图像实例分割方法

季亮

2023, 49(11): 115-120. doi: 10.13272/j.issn.1671-251x.2023030017

<摘要>(247) <HTML> (77) <PDF>(27)

摘要:
现有的图像分割方法用于清晰度较好的煤矿井下图像时效果良好，但应用于环境复杂的煤矿井下时，获取的图像大多较模糊且目标物体轮廓不清晰，从而影响目标物体的分割精度。针对上述问题，提出了一种基于改进SOLOv2的煤矿图像实例分割方法。将SOLOv2模型的ResNet−50网络替换为ResNeXt−18网络，从而精简网络层数，提升模型的推理速度；引入坐标注意力（CA）模块，以提升模型特征提取能力，保留精确的位置信息，提高模型的图像分割精度；采用ACON−C激活函数替换ReLU激活函数，从而使神经元之间的特征得以充分组合，增强模型的特征表达能力，进一步提高模型的图像分割精度。将改进SOLOv2模型部署在嵌入式平台上进行煤矿图像分割实验，相较于SOLOv2模型，改进SOLOv2模型的Mask AP（掩膜平均精度）提高了1.1%，模型权重文件减小了83.2 MiB，推理速度提高了5.30帧/s，达26.10 帧/s，在煤矿图像分割精度和推理速度上均有一定提升。

基于SD−YOLOv5s−4L的煤矿井下无人驾驶电机车多目标检测

赵伟, 王爽, 赵东洋

2023, 49(11): 121-128. doi: 10.13272/j.issn.1671-251x.2023070100

<摘要>(1261) <HTML> (28) <PDF>(56)

摘要:
为解决煤矿井下无人驾驶电机车由于光照不均、高噪声等复杂环境因素导致的多目标检测精度低及小目标识别困难问题，提出一种基于SD−YOLOv5s−4L的煤矿井下无人驾驶电机车多目标检测模型。在YOLOv5s基础上进行以下改进，构建SD−YOLOv5s−4L网络模型：引入SIoU损失函数来解决真实框与预测框方向不匹配的问题，使得模型可以更好地学习目标的位置信息；在YOLOv5s头部引入解耦头，增强网络模型的特征融合与定位准确性，使得模型可以快速捕捉目标的多尺度特征；引入小目标检测层，将原三尺度检测层增至4层，以增强模型对小目标的特征提取能力和检测精度。在矿井电机车多目标检测数据集上进行实验，结果表明：SD−YOLOv5s−4L网络模型对各类目标的平均精度均值（mAP）为97.9%，对小目标的平均检测精度（AP）为98.9%，较YOLOv5s网络模型分别提升了5.2%与9.8%；与YOLOv7，YOLOv8等其他网络模型相比，SD−YOLOv5s−4L网络模型综合检测性能最佳，可为实现矿井电机车无人驾驶提供技术支撑。

基于改进KCF的多目标人员检测与动态跟踪方法

刘毅, 庞大为, 田煜

2023, 49(11): 129-137. doi: 10.13272/j.issn.1671-251x.2023080015

<摘要>(971) <HTML> (55) <PDF>(44)

摘要:
针对煤矿巷道光照不足、目标尺度变化剧烈、目标容易被遮挡和矿灯干扰等因素，导致对于井下的目标检测和跟踪存在成功率和准确度低的问题，提出一种基于改进核相关滤波（KCF）算法的多目标人员检测与动态跟踪方法，为避免井下复杂环境中由于光照不均引起检测失败，在改进的KCF算法中引入SSD检测算法，以提升对多目标人员检测能力。① 读取待跟踪视频序列，使用经过井下数据集训练后的SSD算法检测图像中的目标，若没有发现目标则继续读取下一帧。② 将检测到的目标放入跟踪器中，对图像进行预处理，通过比较将所有的检测框按照设定的阈值进行打分，并根据分值从高到低依次排列，高分的检测结果直接输出，低分的检测结果用于滤除不良信息，以提升检测速度。③ 通过KCF跟踪预测目标M帧后清空跟踪器，再重新进行目标检测。通过检测算法和跟踪算法的叠加，保证对目标的持续跟踪能力。实验结果表明：① 该方法最后的损失值稳定在1.675附近，检测结果较为稳定。② 经过训练后的SSD算法识别精度较训练前的SSD算法识别精度提高了52.7%。③ 该方法对矿井人员检测成功率、跟踪准确率分别为87.9%，88.9%，均高于其他4种算法（KCF、CSRT、TLD及MIL）的检测成功率、跟踪准确率。④ 该方法在重叠阈值较低时具有较高成功率，直至重叠阈值大于0.8时，成功率大幅下降，这是因为矿井中环境多样，想要完全符合标注的框有一定难度。实际应用结果表明：在井下煤矿巷道光照不足、目标尺度变化剧烈、容易被遮挡和受矿灯干扰等复杂环境中，该方法具有较高的适用性。

基于多模态特征融合的井下人员不安全行为识别

王宇, 于春华, 陈晓青, 宋家威

2023, 49(11): 138-144. doi: 10.13272/j.issn.1671-251x.2023070055

<摘要>(1597) <HTML> (147) <PDF>(86)

摘要:
采用人工智能技术对井下人员的行为进行实时识别，对保证矿井安全生产具有重要意义。针对基于RGB模态的行为识别方法易受视频图像背景噪声影响、基于骨骼模态的行为识别方法缺乏人与物体的外观特征信息的问题，将2种方法进行融合，提出了一种基于多模态特征融合的井下人员不安全行为识别方法。通过SlowOnly网络对RGB模态特征进行提取；使用YOLOX与Lite−HRNet网络获取骨骼模态数据，采用PoseC3D网络对骨骼模态特征进行提取；对RGB模态特征与骨骼模态特征进行早期融合与晚期融合，最后得到井下人员不安全行为识别结果。在X−Sub标准下的NTU60 RGB+D公开数据集上的实验结果表明：在基于单一骨骼模态的行为识别模型中，PoseC3D拥有比GCN（图卷积网络）类方法更高的识别准确率，达到93.1%；基于多模态特征融合的行为识别模型对比基于单一骨骼模态的识别模型拥有更高的识别准确率，达到95.4%。在自制井下不安全行为数据集上的实验结果表明：基于多模态特征融合的行为识别模型在井下复杂环境下识别准确率仍最高，达到93.3%，对相似不安全行为与多人不安全行为均能准确识别。

基于深度学习的煤矿井下低光照人脸检测方法

王均利, 李佳悦, 李秉天, 温琪, 王满利

2023, 49(11): 145-150. doi: 10.13272/j.issn.1671-251x.2023080103

<摘要>(130) <HTML> (95) <PDF>(33)

摘要:
煤矿井下光线昏暗、人工光源干扰等造成监控系统采集到的人脸图像对比度低、人脸特征模糊，传统人脸检测算法应用于煤矿井下时会出现误检、漏检。针对上述问题，提出了一种基于深度学习的煤矿井下低光照人脸检测方法。采用基于无监督学习的生成对抗网络（GAN）对煤矿井下低光照图像进行对比度增强，使用自调整注意力引导的U−Net作为生成器，利用双判别器对全局和局部信息进行引导，并使用自特征保留损失函数来指导训练过程和维护图像中人脸的纹理结构，强化人脸特征，避免出现曝光、人脸细节信息丢失等现象，得到较为清晰的人脸图像；利用RetinaFace人脸检测框架对增强后的人脸特征进行检测，其采用特征金字塔结构和单阶段检测模式对人脸图像进行检测，在基本不增加计算量的同时，提高对小尺度人脸检测的能力。在公开低光照人脸数据集DARK FACE和自建煤矿井下人脸数据集上的实验结果表明，该方法提高了图像对比度，清晰地恢复了图像中的人脸特征，在准确率、召回率、平均精度方面均表现较好，有效提高了煤矿井下人脸检测精度。

融合坐标注意力与多尺度特征的轻量级安全帽佩戴检测

李忠飞, 冯仕咏, 郭骏, 张云鹤, 徐飞翔

2023, 49(11): 151-159. doi: 10.13272/j.issn.1671-251x.2023080123

<摘要>(167) <HTML> (60) <PDF>(32)

摘要:
针对现有煤矿工人安全帽佩戴检测算法存在检测精度与速度难以取得较好平衡的问题，以YOLOv4模型为基础，提出了一种融合坐标注意力与多尺度的轻量级模型M−YOLO，并将其用于安全帽佩戴检测。该模型使用融入混洗坐标注意力模块的轻量化特征提取网络S−MobileNetV2替换YOLOv4的特征提取网络CSPDarknet53，在减少相关参数量的前提下，有效改善了特征之间的联系；将原有空间金字塔池化结构中的并行连接方式改为串行连接，有效提高了计算效率；对特征融合网络进行改进，引入具有高分辨率、多细节纹理信息的浅层特征，以有效加强对检测目标特征的提取，并将原有Neck结构中的部分卷积修改为深度可分离卷积，在保证检测精度的前提下进一步降低了模型的参数量和计算量。实验结果表明，与YOLOv4模型相比，M−YOLO模型的平均精度均值仅降低了0.84%，但计算量、参数量、模型大小分别减小了74.5%，72.8%，81.6%，检测速度提高了53.4%；相较于其他模型，M−YOLO模型在准确率和实时性方面取得了良好的平衡，满足在智能视频监控终端上嵌入式加载和部署的需求。

基于改进YOLOv5s的矿工排队检测方法

郝明月, 闵冰冰, 张新建, 赵作鹏, 吴晨, 王欣

2023, 49(11): 160-166. doi: 10.13272/j.issn.1671-251x.2023030058

<摘要>(163) <HTML> (81) <PDF>(31)

摘要:
传统的目标检测算法识别矿工排队异常行为时需人工提取特征，检测时间长、检测精度低；基于卷积神经网络的目标检测算法在检测速度和精度上有所提升，但在遮挡、昏暗和光照不均等场景下的检测效果难以保障。针对上述问题，提出了一种改进YOLOv5s（HPI−YOLOv5s）模型，并将其用于矿工排队检测。HPI−YOLOv5s模型在YOLOv5s模型的基础上对路径聚合网络（PANet）进行改进，通过删除单个输入边节点、增加双向交叉路径，构建了一种双向交叉特征金字塔网络（BCrFPN）进行多尺度特征融合。鉴于手动设置阈值的标签分配策略鲁棒性不高，在自适应训练样本选择（ATSS）动态设置阈值的基础上，提出动态标签分配策略（ATSS_PLUS），更合理地评估候选样本的质量，动态设定每个真实目标的阈值，具有更高的检测精度和鲁棒性。通过半平面交法计算人脸框与所划定排队区域的相交面积，并将相交面积和人脸框面积之比与设置的阈值比较以判断矿工是否有序排队。实验结果表明：HPI−YOLOv5s模型比YOLOv5s模型的准确率提高了1.9%，权重大小减少了32%，参数量减少了6.9%，检测速度提高了7.8%，且针对遮挡、昏暗、光照不均的矿井图像，能够更准确地识别矿工排队情况。

基于AI视频分析的煤矿瓦斯抽采钻场远程监督管理方法

胡金成, 张立斌, 蒋泽, 姚超修, 蒋志龙, 王正义

2023, 49(11): 167-172. doi: 10.13272/j.issn.1671-251x.2023080031

<摘要>(1126) <HTML> (144) <PDF>(68)

摘要:
传统的煤矿瓦斯抽采钻场视频监控系统在钻孔施工及退钻杆期间，只具有监测和存储功能，重要的过程参数或信息只能由监测人员通过视频录像查看，存在记录施工信息易出错、钻场管理人员难以连续监控现场视频等问题。针对上述问题，提出了一种基于AI视频分析的煤矿瓦斯抽采钻场远程监督管理方法。该方法包括信息牌检测、OCR识别、退杆分析3种算法。信息牌检测用于检测当前施工环节，OCR识别用于识别信息牌上打钻流程与施工信息，退杆分析用于分析收孔阶段的退杆数，从而实现打钻作业的全过程分析与管控。在接收并开始打钻任务后，启用信息牌检测与OCR识别服务，根据依次识别到的开孔、收孔、封孔流程与施工参数，自动保存施工信息。当识别出开始收孔，启用退杆分析服务；当识别出结束收孔，停止退杆分析服务。实验结果表明：信息牌检测算法的识别准确率为96%。PaddleOCR识别算法平均用时17.51 ms，较EasyOCR、ChineseOCR识别算法分别降低了25.25，4.34 ms；PaddleOCR识别算法的准确率较其他2种识别算法分别提高了5.75%，2.29%，召回率较其他2种识别算法分别提高了9.77%，2.36%。退杆分析算法能够有效识别现场退杆数，准确率约为95%。

留言板

2023年第49卷第11期

投审稿系统

最新录用查看更多>

留言板

2023年 第49卷 第11期

投审稿系统

最新录用查看更多>

2023年第49卷第11期