Research status and development trend of visual processing technology for fully mechanized excavation systems
-
摘要: 机器视觉技术具有非接触测量、获取信息量大、数据处理能力强等优点，将其应用于综掘工作面，对于提高综掘工作效率、保障人员设备安全、减少事故发生具有重要意义。综述了近年来视觉处理技术在煤矿综掘系统中的具体应用与发展情况，依据综掘工作面的任务分工，结合具体实际案例，重点分析了机器视觉技术在视觉检测与定位、安全监测与事故预防、装备自动化与智能化等方面的应用。通过分析不同应用场景中各类视觉检测系统的结构与检测原理，明确了视觉处理技术在综掘工作面工程应用中的技术性能、工作流程及优缺点。分析了视觉技术在综掘工作面应用中存在的挑战，包括环境适应性问题、成像视野范围较窄、智能算法的鲁棒性和可靠性尚待提高等。指出多传感器信息融合技术、设备群协同控制技术与数字孪生驱动远程监控技术是基于机器视觉的煤矿智能化装备体系未来需要重点发展的新方向。Abstract: Machine vision technology has the advantages of non-contact measurement, large amount of information acquisition, and strong data processing capability. Applying it to fully mechanized excavation faces is of great significance for improving the efficiency of fully mechanized excavation work, ensuring the safety of personnel and equipment, and reducing accidents. This article summarizes the specific application and development of visual processing technology in coal mine fully mechanized excavation systems in recent years. Based on the task division of fully mechanized excavation working faces and combined with specific practical cases, this paper focuses on the analysis of the application of machine vision technology in visual inspection and positioning, safety monitoring and accident prevention, and equipment automation and intelligence. By analyzing the structures and detection principles of various visual detection systems in different application scenarios, the technical performance, workflow, and advantages and disadvantages of visual processing technology in the application of fully mechanized excavation face engineering are clarified. This study analyzes the challenges of visual technology in the application of fully mechanized excavation face, including environmental adaptability issues, narrow imaging field of view, and the need to improve the robustness and reliability of intelligent algorithms. It is pointed out that multi-sensor information fusion technology, equipment group cooperative control technology and digital twin-driven remote monitoring technology are the new directions that need to be focused on in the future development of the intelligent equipment system of coal mine based on machine vision.
-
0. 引言
煤矿智能化是煤炭工业高质量发展的必经之路，综掘工作是煤矿生产最前沿的工作环节，实现巷道自动掘进控制是提高矿井生产效率、智能化程度和降低煤矿事故率的关键[1]。近年来，随着采煤工作面智能化推进速度的提高，采掘失衡逐渐成为煤矿开采的突出问题。据调查，中国作为2022年煤炭最大消费国和进口国，矿井综采工作面的机械化率达85%，而综掘工作面的机械化率仅为60%[2]。综掘工作面是矿井安全性最差、作业环节最恶劣、自动化程度较低的场所之一，提高巷道综掘工作面的技术指标和智能化程度，满足安全高效开采的需要，刻不容缓[3]。
视觉处理技术具有非接触式测量、获取信息丰富、自动化程度高等优势，基于机器视觉的掘进装备群组检测与控制技术已成为煤矿智能化进程中的研究热点。本文首先基于视觉系统的图像采集与检测原理，介绍了综掘工作面视觉检测系统关键技术，主要包括摄像机标定、图像预处理、特征提取、视觉匹配、目标分割与识别、视觉测量与三维重建技术。然后，结合近年来大量的研究文献，重点阐述了计算机视觉技术在综掘工作面视觉检测与定位、安全监测与事故预防、装备自动化与智能化等实际场景中的应用，包括各类检测系统的检测原理、工作流程、存在不足、注意事项与发展情况等。最后，根据综掘工作面环境恶劣、强干扰的特点，指出机器视觉技术应用于煤矿综掘现场所面临的挑战，并针对现有的研究成果与技术现状，展望了基于机器视觉的煤矿智能化装备体系未来需要重点发展的关键技术。
1. 综掘工作面常用的视觉传感器
视觉传感器是构建检测系统的基础，图像质量受矿用防爆相机硬件和环境影响，为高效获取信息，需综合优化制定合理的图像采集方案，选择合适的相机参数，并进行光源补偿等。经统计，在综掘工作面中，常用的视觉传感器包括单目、双目、多目视觉系统和结构光相机等。各类视觉传感器的工作原理与常见应用场景见表1。
表 1 各类视觉传感器的工作原理与常见应用场景Table 1. Working principles and common application scenarios of various visual sensors视觉传感器 基本原理 优势 劣势 实物 综掘工作面应用 单目视觉系统 小孔成像，利用尺度不变性确定深度 结构简单、成本低、便于标定和识别 通过单张图片无法确定物体的真实大小 
KBA127矿用隔
爆型摄像仪位姿检测[4]、目标识别[5]、参数检测[6]、环境监测[7]、设备状态检测[8]等 双目视觉系统 双光热像仪 基于红外热辐射原理，可同时获取场景的可见光信息和温度信息 能见度不受限制、宽波段测量 分辨率有限、成本较高 
YRH600B矿用
防爆热像仪人员安全监测[9]、设备状态监测[10]、环境安全评估[11]等 立体视觉相机 由2个单目相机组成，利用三角测量原理估计像素空间坐标 可获取深度信息、基线距越大量程越远 工作视场小、配置与标定复杂、实时性差 
STEEReoCAM
立体相机位姿检测[12]、参数测量[13]、巷道三维重建[14]等 多目视觉系统 由多个单目相机从多视点获取同一个目标场景，基于双目测量原理重构像素空间坐标 获取信息丰富、包含冗余信息、解决了双目视觉系统匹配的多义性、匹配与定位精度高 配置与标定更加烦琐、匹配算法更复杂、计算量更大、实时性更差 
NileCAM81_
CUOAGX
多摄像头系统几何参数测量[15]、物体表面重建[16]、巷道三维重建[17]、轨迹预测[18]等 结构光相机 由相机和投影装置组成，利用红外结构光/ToF原理，通过发射接收光测距 直接获取RGB图像和深度图像、测量精度高 测量范围窄、噪声大、视野小、易受光源干扰、无法测量透射材质 
Realsense 深度
相机 D435导航定位[19]、SLAM[20]、参数测量[21]、行人识别[22]、物体表面三维重建[23]等 1） 单目视觉系统：基于小孔成像模型，仅用单个镜头获取图像特征，可用于目标检测、图像识别、姿态估计等任务。单目相机是多类视觉系统的基础，如双目立体系统、多目相机等。在综掘作业中，常用于姿态测量和定位、设备状态检测和故障诊断、自动化导航和路径规划、环境安全监测和评估等。
2） 双目视觉系统：由2个相机模组组成，按传感器种类和工作原理，可分为立体视觉相机和双光热像仪。① 立体视觉相机由2个可见光单目相机组成，模拟人眼立体视觉。通过获取左右视差，得到场景的深度信息和点云数据，可用于测距、三维重建、环境感知等。然而，深度量程与精度受基线与分辨率限制，计算量较大。在综掘作业中，常用于立体场景重建、障碍物检测和避障、距离测量和尺度估计、机器人导航和自主定位等。② 双光热像仪由可见光相机和红外热成像相机组成。使用的热成像相机基于红外热辐射原理，能够准确探测温度分布，并转换为热像图像。双光热像仪可以在低光或完全黑暗、高浓度矿尘、水雾等复杂环境下工作，还可测量红外波范围内的热辐射。在综掘作业中，常用于人员安全监测、设备状态监测、环境状态评估等。
3） 多目相机视觉系统：1980年，H. Moravec[24]首次提出多目视觉系统。该系统由多个相机模组组成，可同时捕捉同一场景不同视角的图像，尤其适用于大尺寸空间的三维测量，信息丰富、测量精度高。使用时，需合理安置相机位置，且多个摄像头的数据需具备帧级同步。其标定过程与结构配置比双目系统更繁琐，实时性更差。多目相机在煤矿井下的应用大多集中于多目标跟踪、轨迹预测、参数测量、三维重建等。
4） 结构光相机：利用结构光投射特定的光纹或光栅，通过测量物体与光纹的交互作用，获得物体的三维形状和深度信息，具有快速、精确、非接触等特点，适用于三维建模、形状测量、目标重建等任务。在综掘作业中，常用于巷道形态测量、矿车避障、行人检测、煤量监测、煤块形貌测量、同时定位与建图（Simultaneous Localization and Mapping，SLAM）等。
上述视觉传感器可以提供丰富的图像信息和三维数据，用于实现机器人导航、障碍物检测、姿态估计、支护设备测量等任务。根据具体的应用需求和环境条件选择合适的视觉传感器，对实现综掘工作面的自动化和智能化具有重要意义。
2. 综掘工作面视觉处理关键技术
2.1 相机标定
相机标定是视觉应用中的关键步骤之一，用于确定系统内外参数，将像素坐标转换为真实世界中的物理坐标，实现准确的测量和分析。传统标定方法、自标定方法和主动标定法均可用于综掘工作面视觉系统标定。在实际应用中，视觉系统的结构与标定方法需根据井下环境进行相应设计与调整。Yang Wenjuan等[25]通过建立折射成像模型和标定方法，针对平面防爆玻璃和光学球罩结构对视觉系统的影响进行了研究和校正，在保护成像系统免受井下恶劣环境影响的同时，提高了测量精度。针对截割头位姿测量系统，张旭辉等[26]提出一种基于多点固定的外参标定方法，通过控制截割臂到达多个已知极限位置进行标定，有效提高了标定的稳定性。
2.2 图像预处理
在掘进工作面恶劣环境下，井下图像易受光照不足、照度不均、高浓度矿尘、镜头振动、气体干扰等多种因素影响，因此，相较于地面图像，更需进行预处理。在井下工程应用中，许多学者提出了相应的预处理方法，用于去除干扰信息，增强有用特征，解决由于煤尘、振动等因素引起的测量不准确和图像质量不佳问题。Du Yuxin等[27]提出了基于 Retinex和小波多尺度积的边缘特征检测方法，解决了因光照不足造成的图像特征不容易提取的难题。Yang Wenjuan等[28]提出了变分参数优化法，解决了掘进过程中高频率振动产生的机载稳像问题。此外，文献[29]和文献[30]也分别提出了图像降尘、去雾处理算法。这些图像预处理方法为煤矿井下视觉处理和智能化应用奠定了基础。
2.3 特征提取
原始图像包含过多冗余信息，通过特征提取算法将图像转换为更具代表性的低维特征向量，可以有效降低计算量和存储空间。用于视觉识别的常见特征包括颜色、纹理和形状。由于井下环境的特殊性，巷道内的自然特征很难用于后续的识别与定位。因此，现有的矿井图像处理通常提取人工设置的特征，如激光点[31]、激光线[32]、直线[33]、圆[34]、交点[35]等。借助人工设定的标靶和光源等，构造易于提取的点、线特征，再结合建立好的解算模型完成参数提取与目标定位，检测精度高，可靠性好。
2.4 图像匹配
图像匹配是指通过比较2幅或多幅图像中的特征点、结构或模式，寻找它们之间的对应关系或相似性的过程，可用于实现目标识别或空间位置对准。相较于基于灰度或变换域的匹配算法，基于特征的算法仅需匹配相邻图像中的几何特征，具有较高的精准度与较低的算法复杂度。在综掘工作面的视觉处理中，常用于设备或障碍物的定位、跟踪，场景拼接等。
针对截割头定位，Du Yuxin等[36]通过改进最小方差谱估计方法（Minimum Variance Spectral Estimate Method，MVM），很好地解决了由形变引起的误匹配问题。针对煤矿救援机器人立体匹配，He Shangmeng等[37]提出了一种改进Census算法，在资源占用率、处理速度和精度方面都取得了较好的平衡。针对巷道全景图获取，闫鹏鹏[38]利用自适应尽可能自然（Adaptive As-Natural-As-Possible，AANAP）算法对齐拼接图像，提高了配准精度，改善了拼接效果。
2.5 目标分割与识别
目标分割与识别建立在视觉匹配的基础上，将图像中的目标从背景中分割出来，并进一步识别目标的类别和属性。近年来，基于深度学习的目标识别算法在矿井复杂环境下的应用研究取得了显著进展。吕志强[39]将改进Faster R−CNN算法用于输送带运输异物识别。杨冬健[40]提出了基于YOLO−SIFT的刀具特征识别提取算法，实现了机器人自动换刀。S. S. Mansouri等[41]用卷积神经网络（Convolutional Neural Network，CNN）作为监督式图像分类器，辅助巷道微型飞行器的导航。上述算法提升了各种复杂图像目标识别的准确率和效率，也是当前的研究热点。
2.6 视觉测量与三维重建
在综掘作业中，巷道按预设路径施工、巷道断面的自动精准成形、非结构化环境的三维重建、人员或目标物体的定位等都离不开距离（深度）信息的获取。三维视觉测量属于典型的非接触式测量，以光学成像为基础，应用计算机视觉中的几何测量原理，即可获取物体的三维形貌。在此过程中，点云数据的获取与处理对最终重建效果至关重要。M. Janiszewski等[17]使用360°相机从27个位置对巷道进行快速摄影测量，并采用结构光法和多视角立体匹配法完成了三维重建。Zhang Rongchun等[42]提出了一种基于深度学习和双线平行摄影技术的巷道稠密重建方法，解决了传统方法在狭窄环境下无法获得足够基线的问题。董建伟等[16]使用基于面片的多视角立体（Patch-based Multi View Stereo，PMVS）算法重建煤场三维形貌，采用自适应面积的Patch算法，有效获取带有纹理信息的稠密三维点云。
3. 机器视觉技术在煤矿综掘工作面的应用现状
综掘工作面是煤矿生产的最前沿，也是难度最大、危险系数最高的工作环节。巷道综合机械化快速掘进是一项系统工程，完成井巷智能化精准施工，是实现煤矿无人化高效开采的必由之路。随着各类先进科技的引入，煤矿综掘工作面目前呈现出数字化、智能化和可持续发展的趋势。先进的机器视觉技术、传感器和大数据分析技术等被广泛应用于工作面监测、控制和优化，实现了实时数据采集、智能决策和自动化操作，提高了综掘工作面的生产效率和资源利用率。近年来，机器视觉技术在煤矿综掘工作面上的应用也取得了很多代表性成果，其应用场景主要包括视觉检测与定位、安全监测与事故预防、装备自动化与智能化等。
3.1 机器视觉在视觉检测与定位中的应用
3.1.1 掘进机本体位姿检测
悬臂式掘进机作为煤巷综合机械化掘进的关键设备，机身位姿的实时感知对于实现巷道断面的自动截割具有重要意义。机器视觉技术具有非接触式测量、数据处理能力强、获取信息量大等优点，近10 a在掘进机机身定位方面得到了广泛应用。
根据使用的视觉传感器数量不同，掘进机位姿检测中的机器视觉技术可分为单目和双目2类。单目方案使用1台相机采集图像，结合建立好的机身位姿解算策略，确定掘进机本体在巷道空间中的实时六自由度姿态参数[2,43-44]。双目方案则利用2台相机产生的视差来获取掘进机三维空间信息，相较于单目方案，更容易计算深度参数[12,31,45]，但在使用前需要进行外参标定和立体视觉匹配，这对定位效果和三维重建结果具有决定性影响[35]。因此，相机标定精度和匹配效果对于双目视觉的成功应用至关重要[19]。此外，相较于传统相机，RGB−D相机具有不受环境光和纹理影响的优势，也可用于机身位姿感知。基于主动测距技术，Zhang Wentao等[46]通过RGB−D相机收集环境数据，并采用随机样本一致（Random Sample Consensus，RANSAC）算法+最近点迭代（Iterative Closest Point，ICP）算法实现自主姿态测量，有效解决了狭窄空间内悬臂式掘进机的定位和导航问题。
单一测量源存在精度低、时间滞后、鲁棒性弱、测量维度单一等缺点。综合利用多源数据的优势，结合适当的数据融合算法和技术，能够有效克服单一测量源的局限性，提高目标定位、识别和追踪的准确性和可靠性[47]。因此，许多学者将视觉传感器与其他传感器结合，实现掘进机机身多传感器组合定位，如视觉+惯导[12,32,48]、视觉+激光雷达[49]、视觉+红外和视觉+惯导+激光雷达[46,50]等。多传感器信息融合方法可以提高定位精度和鲁棒性，同时充分利用各传感器的优势，为掘进机机身定位和导航提供更准确、可靠的信息。
视觉位姿测量系统的种类较多，除图像处理算法外，其关键在于位姿解算模型的建立。不同文献中的悬臂式掘进机位姿检测透视投影模型如图1所示。模型不同，采集到的图像内容也不同，常见的有自发光标靶、激光投影标靶、激光束、巷道标志物等。自发光点阵标靶[13,51-52]一般为由若干点光源构成的特征点阵，如图1（a）−图1（c）所示。测量过程中，点阵与掘进机机身固连，通过定位特征点阵判断机身空间位姿。采用的光学特征点在低照度、多粉尘环境下更易于识别，且能够有效抑制其他光源干扰，提高了系统的稳定性。激光投影标靶[35]通过采集线激光源在标靶上的投影，结合解算模型得到机身位姿，如图1（d）所示。该类方法能够满足巷道低照度环境的远距离精准定位要求，但测量结果对标靶安装精度的要求较高。利用1束或多束点激光束[31-32, 53]在相机中的成像，通过识别直线方程可解算机身位姿，如图1（e）−图1（g）所示。相较于点特征，直线特征具有更好的抗遮挡能力，能够有效克服高矿尘、水雾严重、易遮挡等因素影响。巷道标志物[4]可为巷道已有标志物（如锚杆、托盘等）或人工固定在巷道内壁的标志[34]，通过解算机身位姿增量，达到机身定位目的，如图1（h）所示。然而，受井下恶劣环境影响，成像质量较差，部分目标不易提取。在实际应用中，上述模型还应对掘进振动、浓尘和低照度环境具有足够的鲁棒性[28]。
![]()
图 1 不同文献中的悬臂式掘进机位姿检测透视投影模型Figure 1. Perspective projection models for the position and posture detection of the boom-type roadheader in different literatures掘进机机身实时位置感知是无人综掘的基础。基于机身精确定位，可以进一步实现许多操作和研究，如截割头实时定位[36]、掘进机轨迹规划[18]、路径跟踪[46, 54]、SLAM[20]等。
3.1.2 截割机构视觉检测与定位
悬臂式掘进机截割头的旋转和截割臂的摆动是完成巷道断面截割成形的关键。研究复杂工况下截割头位姿的精确测量，对于提高断面成形质量和掘进效率具有重要意义，也是实现无人化综掘作业的基础。
2003年，R. Ofner等[55]将超亮红外LED安装在截割头的主要校准点上，在机器组装的最后阶段，通过视觉测量系统检测截割头外剖面的精准度，保障了后期巷道精准施工，提高了生产效率。基于机器视觉的位姿检测系统不需要对掘进机进行结构改造，只需在合适位置安装摄像机即可检测截割头位姿，适用于井下恶劣多变环境，且系统改造成本较低、测量精度高，对于大量在役机具有重大意义[26]。
根据视场中的目标物体不同，截割头位姿视觉检测法主要有直接测量法和间接测量法2种，如图2所示。直接测量法[36]直接获取截割头目标轮廓，通过双目视差计算和坐标变换，实现巷道坐标系下截割头的实时精准定位。测量过程中，无需安装其他传感器，只需采集图像即可完成定位。然而，由于截割头与煤岩颜色相似，且巷道掘进中矿尘浓度过高，增大了截割头轮廓提取的难度。间接测量法[33]将红外LED矩形标靶（P1—P4）固定在截割臂上，利用固定在机身上的单目相机采集红外点阵信息（p1—p4），从而计算截割头的姿态角。然而，实际工程中掘进机的结构形式多样，可能存在无法安装标靶或标靶易被遮挡的情况，因此，需要根据具体情况对标靶的安装位置进行调整。
![]()
图 2 悬臂式掘进机截割头位姿视觉检测模型Figure 2. Visual detection model for the position and posture of the boom-type roadheader's cutting head完成截割机构定位后，若想实现巷道断面自动截割成形，还需在截割头定位的基础上，结合截割轨迹规划[56]、伺服控制[57]、数字孪生[58]等技术实现。波兰部分研究人员对视觉技术在综掘机截割机构中的应用进行了一系列研究：计算刀齿座基部与截割头侧表面间距[59]，检测截割头侧表面形状[60]，研究切割过程中悬臂[61]和截割头[62]的振动情况等。这些研究对于提高巷道设备智能化水平和实现地下自动化综掘作业具有重要意义。
3.1.3 煤矸石识别
据统计，综掘工作面的产煤量占全矿总产量的10%～20%。但受掘进过程中破碎矸石影响，整个矿井产出的原煤灰分可能会增加1%～2%[63]。因此，掘进工作面中煤矸石的混运直接影响煤炭质量，需要采取切实可行的措施完成煤矸识别与分拣。
煤矸识别方法包括射线识别和视觉识别法。其中视觉识别法具有设备简单、易实现、环保等优势，是实现煤矸石智能分选的重要途径[63]。根据智能化程度，视觉识别法又可分为传统的需要人工提取特征的识别路径和利用深度学习进行自动特征提取的识别路径，如图3所示[64]。
传统视觉识别法通过提取人为选择的有利特征来实现识别。2009年，Ma Xianmin[5]利用小波矩提取煤矸石直方图特征，为实现自动分选奠定了理论基础。陈雪梅等[65]发现煤块的分形维数远大于矸石，并利用此特征完成识别。Li Man等[66]应用最小二乘−支持向量机（LS−SVM）作为图像分类器，使用灰度、纹理特征、偏度和对比度的联合特征训练了3个分类器，以减小煤矸石分选机器人的平均坐标误差。为了有效避免传统方法的缺点（如辐射、污染等），Hu Feng等[67]提出了一种利用多光谱成像识别煤与矸石的新方案。
与传统方法不同，深度学习识别法以深度学习CNN为模型，通过自主提取特征和学习网络参数实现高效识别。在煤矸石识别方面，YOLOv4[68]，LeNet−5[69]，CNN[70]等算法均得到了广泛应用。基于深度学习的煤矸识别方法相较传统方法具有更高的识别率，但由于分选环境的特殊性和复杂性，仍需构建高效的煤矸石数据集，并深入研究算法的泛化性、实时性和鲁棒性。
3.1.4 煤流参数检测
煤流参数是评估煤炭主运系统运力和调速的主要指标。实现煤流参数在线检测可降低运营成本，实现节能减排。煤流参数主要包括堆煤高度、煤堆截面积、煤堆体积、运煤量和煤流速度等。基于机器视觉的煤流参数检测方法主要有单目视觉法、双目视觉法和结构光视觉法，如图4所示。
单目视觉法[6]仅使用1台相机定性检测煤流量，受深度感知能力限制，无法实现定量检测，仅适用于带式输送机模糊控制。双目视觉法[71]使用左右2台相机在不同方位拍摄输送带图像，经图像配准后可获得密集点云。将该方法用于体积测量[13]，结合煤密度即可计算出煤流量，操作简便，设备轻巧。然而，受光线不足、矿尘干扰等因素影响，图像质量和立体匹配的准确性受限，从而影响体积测量的精度。此外，双目系统生成的数据量较大，图像配准、特征提取均需较长时间，在需要连续监测煤流量的生产线上，测量速度的限制会严重影响生产效率和实时调控能力。结构光视觉法[21,72]主动投射结构光到煤堆表面，通过调制光线前后的变形确定煤堆尺寸。为提高煤流量测量的精度与准确度，文献[73]将结构光视觉法与单目视觉法或双目视觉法结合使用，取得了较好的测量效果。
3.2 机器视觉在安全监测与事故预防中的应用
机器视觉在安全监测与事故预防中的应用分析见表2。
表 2 机器视觉在安全监测与事故预防中的应用分析Table 2. Application analysis of machine vision in safety monitoring and accident prevention应用场景 现有方法及原理 存在问题 解决方法 围岩变形监测 直接法直接拍摄巷道图像，经特征提取与点云配准，重构巷道三维信息；间接法将人工特征标志物固定在巷道表面，通过标志物变化，间接反映巷道变形 直接法监测精度高，但数据处理量大；间接法处理速度快，但数据较为稀疏 将2种方法相结合，提高监测精度与效率 火灾监测 通过提取图像中的火焰、烟雾等特征，或借助红外成像技术，使用机器学习算法或深度学习模型对提取的特征进行分析和识别，以确定是否存在火灾 煤矿火灾具有偶然性，对于早期火灾的识别，精准度与快速性有待提高 借助多源信息融合技术，将视频检测信息与多传感器信息融合，实现火灾预判 人员安全监测 通过图像处理技术识别人体特征，如头部、肢体轮廓、姿势等，分析人员行为动态，监测潜在安全风险和异常情况；或将人员位置和状态信息与预设的安全规则进行比较，触发相应的实时监控和报警机制 井下能见度低、空间狭窄、大型装备多，图像背景复杂多变，干扰人员检测的准确性 结合声音、红外等传感器，实现对矿井环境和人员的多维度监测，提高整体监测可靠性 输送带异常监测 采用可见光成像、红外热成像、结构光成像等，经特征提取与目标识别，实现输送带异物、撕裂、跑偏等异常状态监测 受低照度、高矿尘等环境因素影响，目标识别的准确度难以得到保证 深度学习等智能算法的应用可有效提高识别准确度 3.2.1 围岩变形监测
随着开采深度的增加，巷道围岩压力逐渐增大，导致岩层变形，威胁着井下运输、通风及人员和设备安全。因此，准确监测巷道变形，掌握围岩状态及趋势，对保障煤矿安全生产至关重要。近年来，激光扫描和视觉测量等非接触式测量方法被应用于巷道围岩变形监测。
基于机器视觉的围岩变形监测方法可分为直接法和间接法。直接法使用立体相机直接拍摄巷道图像，经特征匹配和点云配准后重构巷道三维信息，直观反映巷道变形。陈清华等[14]针对传统方法费时费力、激光点云数据量大、离散性强、成本高等问题，提出了一种基于双目立体匹配的巷道三维重建方法。周楠[74]提出一种基于改进快速行进法（Fast Marching Method，FMM）的深度图空洞修复算法，解决了Kinect2采集的深度图像空洞、无法获取准确深度值的问题。谢楠[49]将单目视觉与激光雷达融合，实现了巷道三维重建与掘进装备位姿解算。
间接法将设计好的特征点或特征标靶安装在巷道表面，通过对比拍摄图像中特征物的变化，间接监测巷道变形。不同监测方法使用的标志物各有特色，如图5所示，有圆形对角标志物[34]、十字标靶与点状发光二极管[75]、荧光标志点[76]等。
![]()
图 5 围岩变形监测间接标志物Figure 5. Indirect indicators for surrounding rock deformation monitoring间接法获取的数据较为稀疏但处理速度快，而直接法的监测精度高、信息量大，因此对计算处理设备的性能要求更高[77]。2种方法各有优劣，研究人员也在不断探索如何结合二者，克服各自的局限性，并进一步提高测量精度和效率。
3.2.2 火灾监测
矿井火灾是直接威胁煤炭安全生产的主要灾害。根据成因和形成条件，可大致划分为自燃火灾与外源火灾。据统计，在中国，自燃火灾约占矿井火灾总数的90%[78]。而外源火灾主要指电气火灾，多发生于带式输送机输送带、电缆和机电硐室等。
基于机器视觉的自燃火源区域探测法主要采用红外成像仪进行火源识别[11]。通过扫描成像测取温度，可直接观测到高温区域的变化，测温简单、迅速，灵敏度高。红外探测对温度非常灵敏，周围环境温度的变化容易造成探测结果误差。为提高监测准确度，在使用过程中通常需要和其他类型传感器信息进行融合。
矿井电火花会引起热动力灾害，主要包含漏电电火花、感应电火花、壳内电火花等。赵端等[79]提出了基于多源信息融合的煤矿外因火灾判识方法，使用动态加权算法将视频检测信息与多传感器信息融合，并构建了YOLOv5s−as模型。为提升火灾监测预警的准确度，部分学者也将支持向量机（Support Vector Machine，SVM）[80]、人工蜂群法[81]等智能算法应用于矿井带式输送机火灾监测。
煤矿火灾具有偶然性，快速、准确探测早期火灾对于有效减少灾害具有重大意义。Lei Wanzhong等[7]通过提取颜色信息中的火焰区域，设计了一种早期火灾检测系统，利用贝叶斯分类器识别火灾动态特征。F. Mendham等[82]研究发现，相较于传统的CO探测器，基于视频的火灾检测是一种更有效、稳健的方法，可提供及时的火灾检测和预警。张思齐[83]以烟雾作为早期火灾信号，使用光流法预先判断烟雾的主运动方向，并通过研究井下烟雾特征，训练SVM烟雾分类器，实现火灾预判。上述研究均取得了较好的预测效果。除了使用固定装置监测火源外，若井下环境、空间允许，还可使用煤矿火灾巡检机器人执行环境检测任务[84]。
3.2.3 人员安全监测
保障人员安全是矿山开采的首要任务。巷道掘进过程中的高浓度矿尘和噪声使工作人员难以有效识别周围的人员和物体，机车司机和处于观察盲区中的人员面临较大危险，容易导致伤亡事故。此外，煤矿井下存在禁止人员进入的危险区域，需要有效的人员检测手段。
刘春梅等[85]综合考虑了掘进工作面振动大、粉尘浓度高等因素，针对性设计了适用于掘进工作面的人员识别系统，用于监测位于危险区域的作业人员，避免挤伤等事故发生。文献[9]基于图像形态学，提取热红外图像中人脸表面的血管单像素骨架网，实现身份识别，并在此基础上完成了井下人员跟踪与定位。文献[22]基于深度视觉实时获取人体骨骼点图，构建凸体碰撞检测模型，从钻锚机器人控制系统角度出发，提出一种钻锚机器人人机安全避碰方法。上述方法均通过对人员的识别与检测，达到保障安全目的。
3.2.4 输送带异物、撕裂、跑偏等异常监测
带式输送机作为综掘工作面的主要运输装置，在恶劣工况下高强度、连续运行。在驱动张力作用下，输送带易出现纵撕、划伤、跑偏、打滑、托辊损坏等故障。目前，机器视觉技术在运输系统故障智能监测中的应用主要包括以下方面。
1） 钢丝绳芯损伤探测。长距离矿用带式输送机常采用钢绳芯输送带增强抗拉强度。然而，长期使用容易导致内部钢芯锈蚀、断裂、接头伸长等故障，可能导致生产受阻，引发安全事故。M. Alport等[86]提出了基于图像的人工神经网络诊断方法，已应用于南非的 Richards Bay煤炭码头。基于X光视觉探测的方法也得到了应用，如用于接头抽动检测[87]、接头伸长量计算[88]、接头故障筛选[89]等。这些方法可准确检测出钢丝绳芯和接头的故障，为输送带安全运行提供保障。
2） 输送带纵向撕裂识别及定位。煤矿运输中，片状矸石和金属锚杆等硬杂质可能引起输送带纵向撕裂，甚至导致长时间生产中断。目前，主要的视觉探测法包括可见光成像、红外热成像、线激光检测技术等，如图6所示。可见光成像直接获取输送带底部图像，可通过单尺度Retinex算法[90]、多类SVM[91]等检测撕裂。但由于工矿环境恶劣，特别是存在输送带划痕、表面残煤、环境光照变化等，若直接进行边缘、区域提取，上述方法的鲁棒性较差，难以取得较好的检测效果。红外热成像[10]可有效降低环境干扰，Yang Ruiyun等[92]利用单红外相机进行撕裂特征的联通域提取。此外，还可使用多种相机进行信息融合，如乔铁柱[93]将红外图像与可见光图像进行融合，Yu Binchao等[94]利用中红外与长红外双波段图像协同融合，以提高撕裂特征提取的效率与准确度。另一种思路是引入线激光[95]作为强光源来降低环境干扰因素的影响。文献[96]使用2对COMS相机和激光源，扩大了探测面积，使得撕裂特征更加明显。类似地，Li Weiwei等[97]提出了一种基于多组激光器加单目相机的计算机视觉检测算法。为提高检测精准度，还可以使用深度学习算法[98]实现纵向撕裂检测和识别。
![]()
图 6 输送带纵向撕裂的视觉检测方法Figure 6. Visual detection methods for longitudinal tearing of conveyor belts3） 输送带跑偏、打滑监测。除了撕裂外，跑偏、打滑也是带式输送机运行过程中常见的影响较大的故障。基于机器视觉检测输送带跑偏，一般分3步进行：① 输送带区域分割；② 边缘轮廓提取；③ 输送带边缘直线特征提取与跑偏判定。完成检测任务所使用的图像特征也各有不同，如手动设置的感兴趣区域[8]、跑偏角和偏移量特征[99]、直线与轴线的夹角和交点[100]等。针对带式输送机在运送物料过程中的打滑故障，王星[8]利用背景差分和连通区域标记法检测运动目标，通过轨迹跟踪方程和带速模型确定是否存在打滑。带式输送机输送带的全面检测还可采用深度学习方法，如语义分割网络[101]等，以取得较好的应用效果。
4） 输送带异物识别。输送带撕裂通常由输送带严重跑偏或外部尖锐物进入导致。若能在异物进入运输系统的早期精确检测和移除异物，便可有效预防撕裂，保障系统安全运行。相较于传统方法，基于机器视觉和深度学习的异物识别方法检测效率更高、适用范围更广且成本较低，已成为主流方法。G. Saran等[102]采用多模式成像相机生成2幅图像，通过物体的材质和颜色识别异物。吴守鹏[103]提出了一种异物识别模型，结合Faster−RCNN和双向特征金字塔网络，解决了大块矸石、铁器等异物的识别问题。此外，YOLOv4[104]，SSD[105]，CenterNet [106]等智能算法也得到了应用。
5） 托辊异常监测。托辊是矿用带式输送机承载物料和减少摩擦的重要部件。故障托辊可能增加能耗，缩短使用寿命，甚至导致火灾。为弥补传统检测方法的不足，可采用非接触式测量进行托辊状态检测，包括红外热像仪[107]、计算机视觉[108]等。胡长斌[109]利用巡检机器人拍摄视频，通过估算托辊旋转线速度进行异常检测。此外，朱振[110]使用OSTU阈值分割算法和形态学改进法实现故障托辊定位。这些方法为及时发现托辊故障提供了有效手段。
无论在输送带带体还是其零部件的故障监测领域，基于机器视觉的目标识别与定位技术都得到了飞速的发展与应用。实现转载运输系统的故障智能监测，除了在机器内部加装检测装置外，如现场条件允许，还可以借助自主机器人[111-112]、无人机[113]等进行辅助检测。
3.3 机器视觉在装备自动化与智能化中的应用
巷道综合机械化快速掘进是一项系统工程，需要掘进、锚护、运输装备构成“掘−锚−运”一体作业线，三大装备相互配合，实现掘进巷道连续、均衡、高效生产。在此过程中，机器视觉技术发挥着关键作用，通过自动化与智能化装备的应用，提升装备的性能和效率，同时减少人员的直接参与，降低安全风险。机器视觉在装备自动化与智能化中的应用分析见表3。
表 3 机器视觉在装备自动化与智能化中的应用分析Table 3. Application analysis of machine vision in equipment automation and intelligence应用
场景方法原理 当前进展 存在问题 掘进
系统通过特征提取与参数解算，对巷道掘进设备进行监测和控制，实时获取设备状态、位置及可能存在的故障或异常情况，并为掘进机械提供实时导航信息 实现了基于机器视觉的悬臂式掘进机机身定位与截割头位姿检测、掘进工作面稳定性与岩层变化监测预警等；研制了新型掘进类机器人和系统，如护盾式智能掘进机器人系统、综掘巷道掘进机器人系统、煤矿大断面智能快速掘锚成套装备、煤矿高阶智能快速掘进系统等 掘进装备体积较大、结构复杂，成像装置不易安装，光路易被遮挡，会导致成像不完整或质量不佳，影响机器视觉在巷道掘进系统中的应用效果 锚护
系统通过图像处理提取锚护装备的关键特征及支护参数，以识别可能存在的安全隐患或为锚护控制提供参数依据 应用视觉技术，在传统锚护工艺的基础上进行自动化改进，如通过监测支护参数变化提高支护精度，通过智能识别钢带锚孔实现锚具精准控制等；开发出掘锚一体化机、钻锚机器人、浆液喷护机器人等新型装备 锚护系统的检测通常需要实时响应，但图像处理和识别的速度可能受到环境因素、硬件性能和算法复杂度的限制 转载运输系统 通过视觉技术识别输送设备参数、状态、障碍物等，实现转载运输系统的自动化控制和智能化管理，提高运输效率和安全性 通过煤流量检测实现运输系统优化节能，通过目标识别监测运输装备的实时位置和状态，实现运输智能调度；实现运输装备机器人化，开发出钢丝绳牵引式机器人巡检系统、带式输送机检测机器人、煤矸自动分拣机器人等 如何应用多传感器融合技术进一步提高运输装备机器人化的智能程度，保障系统对复杂环境的适应能力 3.3.1 掘进系统
掘进机作为煤巷综合机械化掘进的关键设备，其性能对提高掘进工效和掘进进尺具有重要作用。除悬臂式掘进机机身定位与截割头位姿检测外，在掘进阶段，机器视觉系统还可用于辅助导向和导航，通过识别地质特征、障碍物和地下空间结构[77]，为掘进机械提供实时导向信息，确保掘进轨迹准确无误。同时，视觉传感器还能实时监测掘进工作面的稳定性和岩层变化，提前预警潜在的安全隐患。
除了在已有装备上进行机器人化改造外，部分研发团队也借助视觉技术研制了新型掘进类机器人（图7）。代表性的有西安科技大学研发的护盾式智能掘进机器人系统[57]、中国矿业大学（北京）研发的综掘巷道掘进机器人系统[63]、中国铁建重工集团自主研制的煤矿大断面智能快速掘锚成套装备[114]、中国煤炭科工集团太原研究院有限公司自主研制的煤矿高阶智能快速掘进系统[3]等。
3.3.2 锚护系统
相较于采煤装备，综掘设备机械化水平明显落后。据统计，锚固速度成为制约巷道掘进进度的关键因素，从而导致采掘失衡。因此，提高锚护作业的自动化与智能化水平势在必行。机器视觉在锚护系统中的应用主要有2个方向：
1） 在传统锚护工艺的基础上进行自动化改进。杨健健等[63]对漏顶、片帮等不同畸变特征图像进行检测，补偿因现场条件变化引起的支护参数变化，提高了锚杆支护精度。乔佳伟[115]使用目标识别算法实现钢带锚孔的智能识别和空间定位，为后期锚具的精确控制提供了重要依据。此外，机器视觉还可用于锚固爆破车翼臂定位[116]、柔性复合拱形托盘设计[117]、锚杆松动监测[118]等。
2） 开发掘锚一体化机、钻锚机器人等新型装备。潘丽君等[119]设计了一种自动化锚杆机，通过视觉技术识别巷道顶部预制钢带的预钻孔，将单根锚杆支护时间缩至2 min。马宏伟等[120]采用激光雷达和单目相机设计了龙门钻锚机器人，避免了钻头冠与锚网间的碰撞，确保钻机准确定位。李浩天[23]使用深度视觉传感器重构巷道表面信息，开发了全自动浆液喷射机器人。机器视觉系统的应用极大地提高了锚护作业的效率和质量。
3.3.3 转载运输系统
转载运输系统作为巷道掘进三大主要系统之一，在实现掘支平衡的情况下，实现运输高效协同作业对于提升整体综掘效率意义重大。除用于运输系统运输参数感知与故障智能监测外，机器视觉技术还可用于系统优化节能，提升运输调度的智能化水平。
视觉技术在运输系统优化节能方面的应用本质还是煤流参数监测。郭伟东[121]根据煤流量检测结果实现输送带转速变频调整，达到主运系统节能的目的。运输智能调度方面，成彦颖[122]提出了一种结合边缘结构相似算法和YOLOv3的输送带空载检测方法，为实现智能调度奠定了基础。此外，还可以通过目标识别技术监测运输装备的实时位置和状态，优化运输路径和速度[123]，避免碰撞和堵塞现象，提高运输效率。
运输装备机器人化也是转载运输系统智能化发展的重要方向。秦伟华[124]以带式输送机及其工作环境为主要巡检对象，制定了钢丝绳牵引式机器人巡检方案。G. Garcia等[125]提出了一种融合麦克风、加速度计、激光、摄像机等的新型机器人，用于检测带式输送机结构。Sun Zhiyuan等[126]采用基于机器学习和深度学习的图像识别和机器人控制方法，研究了煤矸自动分拣机器人系统。上述研究中，机器人的智能化和多传感器融合技术成为关键，为提高运输装备的效率、安全性和可持续发展水平提供了有力支持。随着技术不断进步，运输装备的机器人化将迎来更广阔的应用前景，推动运输系统向智能化、自动化的方向发展。
4. 面临的挑战与发展新方向
4.1 面临的挑战
1） 成像视野范围较窄。井下大型装备多，空间狭窄，光路易被遮挡，会导致成像不完整或质量不佳。超广角镜头虽可拓展视角，但会引起畸变校准和标定的难题。通过使用可移动/旋转的视觉平台或增加相机数目，可增大视野范围，但必须解决运动解耦、特征提取与匹配等问题。因此，采取何种方式增大短距视角是井下当前面临的技术难题。
2） 环境适应性问题。煤矿井下全天候人工照明、高浓度矿尘、剧烈振动等恶劣采图条件，都增加了后期图像处理和特征提取的困难。视觉技术在矿井掘进中的应用，需要考虑复杂环境对系统的影响。同样，视觉检测系统的设计与选型除需满足防爆要求，最好还能具备除尘、稳像、光照自适应等功能。
3） 智能化程度尚待提高。视觉系统的智能化程度取决于智能算法的使用。图像特征提取是关键，现有算法参数固定，实际工况变化时，特征提取效果难以保证。在实时性要求较高的场景中，目标检测算法具有一定的滞后性和不确定性。此外，参数解算阶段，如何在模型失效时结合前期图像推算出当前参数，也是目前面临的技术瓶颈。人工智能算法、深度学习、大数据等新一代高新技术的引入，可以为上述问题提供解决思路。
4.2 发展新方向
1） 多传感器信息融合技术。机器视觉在综掘工作面应用具有优势，但低照度、煤尘、水雾等会影响采图质量。可结合其他传感器，如光电传感器、超声波传感器、惯性传感器等，通过制定“视觉测量技术+”检测方案，融合多传感器信息，弥补视觉缺陷，提高系统稳定性和适应性。典型的信息融合方法有神经网络、贝叶斯估计、卡尔曼滤波、D−S证据理论等。在此过程中，如何处理多传感器冗余信息，综合考虑各参数形成可靠决策，是当前研究的热点。
2） 设备群协同控制技术。煤矿综掘系统设备繁多、任务复杂。面向多任务、多系统，要确保高效、有序、智能地完成任务，必须解决多任务最优匹配、并行控制、协同控制等问题。现有方法包括强化学习、遗传算法、Agent算法、P学习、粒子群算法等。在单个子系统智能控制的基础上，如何实现多任务并行与多系统协同控制，是当前重要研究方向之一。将视觉处理与设备群协同控制技术结合，通过图像识别和分析可以辅助实现不同设备之间的协同控制。例如，利用视觉技术对掘进装备和运输装备的位置和运动进行实时监测和控制，从而优化综掘作业中的物料运输和装载。
3） 数字孪生驱动的远程监控技术。现有的巷道监控系统使用的信息源单一、数据量小、可靠性低。数字孪生驱动的远程监控技术以视觉传感器为主，其他多种传感器为辅，在构建的虚拟场景中，可实现稳定、直观的巷道掘进工作面远程监控。但由于数据量剧增，图像传输速度、质量、信息安全面临挑战。因此，如何提高传输效率与实时性，并建设信息安全体系，将成为促进数字孪生技术发展、保障巷道掘进安全生产的重要发展方向。视觉处理技术可以帮助实现真实世界与数字孪生模型之间的数据对齐和更新。将数字孪生技术与视觉处理技术结合，通过实时获取和分析井下图像数据，构建井下场景的数字孪生模型，可实现对综掘过程的远程监控和仿真。
5. 结语
综掘系统视觉处理技术在煤矿开采中具有广阔的应用前景。近年来，随着模式识别、人工智能技术的发展，机器视觉技术在煤矿井下的应用也从最初的安防监控，逐步发展到煤机装备的位姿检测、目标识别、故障检测、三维场景重建、安全监测等多个方面。介绍了综掘工作面视觉处理关键技术及应用现状，总结了机器视觉技术在综掘工作面应用面临的挑战，并提出发展新方向。随着科技的不断进步和创新，机器视觉技术在煤矿综掘工作面的应用将向更加智能、高效和可靠的发展方向，并与各类新技术交叉融合，真正实现煤矿井下无人智能化开采。
-
![]()
图 1 不同文献中的悬臂式掘进机位姿检测透视投影模型
Figure 1. Perspective projection models for the position and posture detection of the boom-type roadheader in different literatures
![]()
图 2 悬臂式掘进机截割头位姿视觉检测模型
Figure 2. Visual detection model for the position and posture of the boom-type roadheader's cutting head
![]()
图 5 围岩变形监测间接标志物
Figure 5. Indirect indicators for surrounding rock deformation monitoring
![]()
图 6 输送带纵向撕裂的视觉检测方法
Figure 6. Visual detection methods for longitudinal tearing of conveyor belts
表 1 各类视觉传感器的工作原理与常见应用场景
Table 1 Working principles and common application scenarios of various visual sensors
视觉传感器 基本原理 优势 劣势 实物 综掘工作面应用 单目视觉系统 小孔成像，利用尺度不变性确定深度 结构简单、成本低、便于标定和识别 通过单张图片无法确定物体的真实大小
KBA127矿用隔
爆型摄像仪位姿检测[4]、目标识别[5]、参数检测[6]、环境监测[7]、设备状态检测[8]等 双目视觉系统 双光热像仪 基于红外热辐射原理，可同时获取场景的可见光信息和温度信息 能见度不受限制、宽波段测量 分辨率有限、成本较高
YRH600B矿用
防爆热像仪人员安全监测[9]、设备状态监测[10]、环境安全评估[11]等 立体视觉相机 由2个单目相机组成，利用三角测量原理估计像素空间坐标 可获取深度信息、基线距越大量程越远 工作视场小、配置与标定复杂、实时性差
STEEReoCAM
立体相机位姿检测[12]、参数测量[13]、巷道三维重建[14]等 多目视觉系统 由多个单目相机从多视点获取同一个目标场景，基于双目测量原理重构像素空间坐标 获取信息丰富、包含冗余信息、解决了双目视觉系统匹配的多义性、匹配与定位精度高 配置与标定更加烦琐、匹配算法更复杂、计算量更大、实时性更差
NileCAM81_
CUOAGX
多摄像头系统几何参数测量[15]、物体表面重建[16]、巷道三维重建[17]、轨迹预测[18]等 结构光相机 由相机和投影装置组成，利用红外结构光/ToF原理，通过发射接收光测距 直接获取RGB图像和深度图像、测量精度高 测量范围窄、噪声大、视野小、易受光源干扰、无法测量透射材质
Realsense 深度
相机 D435导航定位[19]、SLAM[20]、参数测量[21]、行人识别[22]、物体表面三维重建[23]等 
下载: 导出CSV
表 2 机器视觉在安全监测与事故预防中的应用分析
Table 2 Application analysis of machine vision in safety monitoring and accident prevention
应用场景 现有方法及原理 存在问题 解决方法 围岩变形监测 直接法直接拍摄巷道图像，经特征提取与点云配准，重构巷道三维信息；间接法将人工特征标志物固定在巷道表面，通过标志物变化，间接反映巷道变形 直接法监测精度高，但数据处理量大；间接法处理速度快，但数据较为稀疏 将2种方法相结合，提高监测精度与效率 火灾监测 通过提取图像中的火焰、烟雾等特征，或借助红外成像技术，使用机器学习算法或深度学习模型对提取的特征进行分析和识别，以确定是否存在火灾 煤矿火灾具有偶然性，对于早期火灾的识别，精准度与快速性有待提高 借助多源信息融合技术，将视频检测信息与多传感器信息融合，实现火灾预判 人员安全监测 通过图像处理技术识别人体特征，如头部、肢体轮廓、姿势等，分析人员行为动态，监测潜在安全风险和异常情况；或将人员位置和状态信息与预设的安全规则进行比较，触发相应的实时监控和报警机制 井下能见度低、空间狭窄、大型装备多，图像背景复杂多变，干扰人员检测的准确性 结合声音、红外等传感器，实现对矿井环境和人员的多维度监测，提高整体监测可靠性 输送带异常监测 采用可见光成像、红外热成像、结构光成像等，经特征提取与目标识别，实现输送带异物、撕裂、跑偏等异常状态监测 受低照度、高矿尘等环境因素影响，目标识别的准确度难以得到保证 深度学习等智能算法的应用可有效提高识别准确度
下载: 导出CSV
表 3 机器视觉在装备自动化与智能化中的应用分析
Table 3 Application analysis of machine vision in equipment automation and intelligence
应用
场景方法原理 当前进展 存在问题 掘进
系统通过特征提取与参数解算，对巷道掘进设备进行监测和控制，实时获取设备状态、位置及可能存在的故障或异常情况，并为掘进机械提供实时导航信息 实现了基于机器视觉的悬臂式掘进机机身定位与截割头位姿检测、掘进工作面稳定性与岩层变化监测预警等；研制了新型掘进类机器人和系统，如护盾式智能掘进机器人系统、综掘巷道掘进机器人系统、煤矿大断面智能快速掘锚成套装备、煤矿高阶智能快速掘进系统等 掘进装备体积较大、结构复杂，成像装置不易安装，光路易被遮挡，会导致成像不完整或质量不佳，影响机器视觉在巷道掘进系统中的应用效果 锚护
系统通过图像处理提取锚护装备的关键特征及支护参数，以识别可能存在的安全隐患或为锚护控制提供参数依据 应用视觉技术，在传统锚护工艺的基础上进行自动化改进，如通过监测支护参数变化提高支护精度，通过智能识别钢带锚孔实现锚具精准控制等；开发出掘锚一体化机、钻锚机器人、浆液喷护机器人等新型装备 锚护系统的检测通常需要实时响应，但图像处理和识别的速度可能受到环境因素、硬件性能和算法复杂度的限制 转载运输系统 通过视觉技术识别输送设备参数、状态、障碍物等，实现转载运输系统的自动化控制和智能化管理，提高运输效率和安全性 通过煤流量检测实现运输系统优化节能，通过目标识别监测运输装备的实时位置和状态，实现运输智能调度；实现运输装备机器人化，开发出钢丝绳牵引式机器人巡检系统、带式输送机检测机器人、煤矸自动分拣机器人等 如何应用多传感器融合技术进一步提高运输装备机器人化的智能程度，保障系统对复杂环境的适应能力
下载: 导出CSV
-
[1] 王国法. 煤矿智能化最新技术进展与问题探讨[J]. 煤炭科学技术,2022,50(1):1-27. DOI: 10.3969/j.issn.0253-2336.2022.1.mtkxjs202201001 WANG Guofa. New technological progress of coal mine intelligence and its problems[J]. Coal Science and Technology,2022,50(1):1-27. DOI: 10.3969/j.issn.0253-2336.2022.1.mtkxjs202201001
[2] 中国煤炭工业协会. 2022煤炭行业发展年度报告[R/OL]. [2023-08-10]. http://www.coalchina.org.cn/index.php?m=content&;c=index&a=show&catid=464&id=146683. China National Coal Association. 2022 annual report on the development of the coal industry[R/OL]. [2023-08-10]. http://www.coalchina.org.cn/index.php?m=content&;c=index&a=show&catid= 464&id=146683.
[3] 王琦,康红普,王步康,等. 快速掘进工作面围岩分区平行锚固技术[J]. 岩石力学与工程学报,2023,42(11):2739-2752. DOI: 10.13722/j.cnki.jrme.2022.1315 WANG Qi,KANG Hongpu,WANG Bukang,et al. Research on surrounding rock partitioned parallel anchoring technology in rapid heading faces[J]. Chinese Journal of Rock Mechanics and Engineering,2023,42(11):2739-2752. DOI: 10.13722/j.cnki.jrme.2022.1315
[4] 张凯. 基于顶板视觉的掘进机空间位姿检测方法研究[D]. 北京:煤炭科学研究总院,2021. ZHANG Kai. Research on spatial pose detection method of roadheader based on roof vision[D]. Beijing:China Coal Research Institute,2021.
[5] MA Xianmin. Coal gangue image identification and classification with wavelet transform[C]. 2009 Second International Conference on Intelligent Computation Technology and Automation,Changsha,2009:562-565.
[6] 冯媛. 融合感知的带式输送机煤流量监控系统[D]. 淮南:安徽理工大学,2020. FENG Yuan. Coal flow monitoring system of belt conveyor with integrated perception[D]. Huainan:Anhui University of Science & Technology,2020.
[7] LEI Wanzhong,LIU Jingbo. Early fire detection in coalmine based on video processing[C]// YANG G. Proceedings of the 2012 International Conference on Communication,Electronics and Automation Engineering. Berlin:Springer,2013:239-245.
[8] 王星. 基于视觉的煤矿井下带式输送机异常状态监测方法研究[D]. 太原:太原科技大学,2017. WANG Xing. Research on monitoring method for abnormal state of coal mine belt conveyor based on vision [D]. Taiyuan:Taiyuan University of Science and Technology,2017.
[9] 贾倪. 矿井视频人员目标跟踪与煤岩图像识别方法研究[D]. 北京:中国矿业大学(北京),2015. JIA Ni. Research on visual personnel target tracking and coal-rock images recognition methods in coal mine[D]. Beijing:China University of Mining and Technology-Beijing,2015.
[10] SZURGACZ D,ZHIRONKIN S,VÖTH S,et al. Thermal imaging study to determine the operational condition of a conveyor belt drive system structure[J]. Energies,2021,14(11). DOI: 10.3390/en14113258.
[11] TOMESCU C,PRODAN M,VATAVU N,et al. Monitoring the work environment using thermal imaging cameras in order to prevent the self-ignition of coal[J]. Environmental Engineering and Management Journal,2017,16(6):1389-1393. DOI: 10.30638/eemj.2017.150
[12] 张超. 悬臂式掘进机双目视觉与捷联惯导组合定位技术研究[D]. 西安:西安科技大学,2020. ZHANG Chao. Research on integrated positioning technology of boom-type roadheader based on binocular vision and strapdown inertial navigation[D]. Xi'an:Xi'an University of Science and Technology,2020.
[13] ZHANG Lei,HAO Shangkai,WANG Haosheng,et al. Safety warning of mine conveyor belt based on binocular vision[J]. Sustainability,2022,14(20). DOI: 10.3390/SU142013276.
[14] 陈清华,张旭. 基于双目立体匹配的巷道三维重建研究[J]. 激光杂志,2022,43(10):208-212. DOI: 10.14016/j.cnki.jgzz.2022.10.208 CHEN Qinghua,ZHANG Xu. Research on three-dimenional reconstruction of roadway based on binocular stereo matching[J]. Laser Journal,2022,43(10):208-212. DOI: 10.14016/j.cnki.jgzz.2022.10.208
[15] USAMENTIAGA R,GARCÍA D F. Multi-camera calibration for accurate geometric measurements in industrial environments[J]. Measurement,2019,134:345-358. DOI: 10.1016/j.measurement.2018.10.087
[16] 董建伟,李海滨,孔德明,等. 基于多视图立体视觉的煤场三维建模方法研究[J]. 燕山大学学报,2016,40(2):136-141. DOI: 10.3969/j.issn.1007-791X.2016.02.006 DONG Jianwei,LI Haibin,KONG Deming,et al. Research on 3D modeling of coal field based on multi-view stereo vision method[J]. Journal of Yanshan University,2016,40(2):136-141. DOI: 10.3969/j.issn.1007-791X.2016.02.006
[17] JANISZEWSKI M,TORKAN M,UOTINEN L,et al. Rapid photogrammetry with a 360-degree camera for tunnel mapping[J]. Remote Sensing,2022,14(21). DOI: 10.3390/rs14215494.
[18] MAO Qinghua,ZHANG Fei,ZHANG Xuhui,et al. Deviation correction path planning method of full-width horizontal axis roadheader based on improved particle swarm optimization algorithm[J]. Mathematical Problems in Engineering,2023. DOI: 10.1155/2023/3373873.
[19] ZHAI Guodong,ZHANG Wentao,HU Wenyuan,et al. Coal mine rescue robots based on binocular vision:a review of the state of the art[J]. IEEE Access,2020,8:130561-130575. DOI: 10.1109/ACCESS.2020.3009387
[20] RAVAL S,BANERJEE B P,SINGH S K,et al. A preliminary investigation of mobile mapping technology for underground mining[C]. IEEE International Geoscience and Remote Sensing Symposium,Yokohama,2019:6071-6074.
[21] WANG Yuan,GUO Wei,ZHAO Shuanfeng,et al. A scraper conveyor coal flow monitoring method based on speckle structured light data[J]. Applied Sciences,2022,12(14). DOI: 10.3390/app12146955.
[22] 朱蓉军,夏晶,赵思远,等. 钻锚机器人人机安全避碰方法[J]. 西安科技大学学报,2020,40(5):823-830. DOI: 10.13800/j.cnki.xakjdxxb.2020.0510 ZHU Rongjun,XIA Jing,ZHAO Siyuan,et al. Human-robot safety collision avoidance method for drill-anchor robot[J]. Journal of Xi'an University of Science and Technology,2020,40(5):823-830. DOI: 10.13800/j.cnki.xakjdxxb.2020.0510
[23] 李浩天. 矿井巷道喷浆机械手壁面感知技术研究[D]. 徐州:中国矿业大学,2022. LI Haotian. Research on wall sensing technology of mine roadway slurry spraying manipulator[D]. Xuzhou:China University of Mining and Technology,2022.
[24] MORAVEC H. Obstacle avoidance and navigation in the real world by a seeing robot rover[D]. Palo Alto:Stanford University,1980.
[25] YANG Wenjuan,ZHANG Xuhui,MA Hongwei,et al. Geometrically driven underground camera modeling and calibration with coplanarity constraints for a boom-type roadheader[J]. IEEE Transactions on Industrial Electronics,2020,68(9):8919-8929.
[26] 张旭辉,谢楠,张超,等. 悬臂式掘进机截割头位姿视觉测量系统改进[J]. 工矿自动化,2021,47(7):1-7. DOI: 10.13272/j.issn.1671-251x.2021010057 ZHANG Xuhui,XIE Nan,ZHANG Chao,et al. Improvement of vision measurement system for cutting head position of boom-type roadheader[J]. Industry and Mine Automation,2021,47(7):1-7. DOI: 10.13272/j.issn.1671-251x.2021010057
[27] DU Yuxin,TONG Minming,ZHOU Lingling,et al. Edge detection based on Retinex theory and wavelet multiscale product for mine images[J]. Applied Optics,2016,55(34):9625-9637. DOI: 10.1364/AO.55.009625
[28] YANG Wenjuan,ZHANG Xuhui,MA Hongwei,et al. Laser beams-based localization methods for boom-type roadheader using underground camera non-uniform blur model[J]. IEEE Access,2020,8:190327-190341. DOI: 10.1109/ACCESS.2020.3032368
[29] 张旭辉,王恒,沈奇峰,等. 悬臂式掘进机位姿视觉检测系统改进[J]. 工矿自动化,2022,48(5):58-64. DOI: 10.13272/j.issn.1671-251x.2021100051 ZHANG Xuhui,WANG Heng,SHEN Qifeng,et al. Improvement of position and posture measurement system for boom-type roadheader based on machine vision[J]. Journal of Mine Automation,2022,48(5):58-64. DOI: 10.13272/j.issn.1671-251x.2021100051
[30] 崔玉明. 煤矿巷道掘进机视觉/惯性融合自主定位关键技术研究[D]. 徐州:中国矿业大学,2021. CUI Yuming. Key technology research of visual/inertial fusion autonomous positioning for roadheader in coal mine[D]. Xuzhou:China University of Mining and Technology,2021.
[31] 黄喆,燕庆德,邵震宇,等. 基于双相机标靶的直线顶管掘进机导向方法[J]. 激光与光电子学进展,2022,59(4):458-465. HUANG Zhe,YAN Qingde,SHAO Zhenyu,et al. Guiding method of linear pipe jacking machine based on dual camera target[J]. Laser & Optoelectronics Progress,2022,59(4):458-465.
[32] WANG Lixin,HU Chengjun,PAN Gege,et al. Pose measurement technology of roadheader body based on fusion of visual and SINS[J]. Journal of Physics:Conference Series,2022,2363. DOI: 10.1088/1742-6596/2363/1/012014.
[33] YANG Wenjuan,ZHANG Xuhui,MA Hongwei,et al. Infrared LEDs-based pose estimation with underground camera model for boom-type roadheader in coal mining[J]. IEEE Access,2019,7:33698-33712. DOI: 10.1109/ACCESS.2019.2904097
[34] 徐剑坤. 基于机器视觉的巷道变形实时监测预警技术研究[D]. 徐州:中国矿业大学,2012. XU Jiankun. Real-time monitoring and early warning roadway deformation based on machine vision[D]. Xuzhou:China University of Mining and Technology,2012.
[35] DU Yuxin,TONG Minming,LIU Ting,et al. Visual measurement system for roadheaders pose detection in mines[J]. Optical Engineering,2016,55(10). DOI: 10.1117/1.oe.55.10.104107.
[36] DU Yuxin,TONG Minming. Contour recognition of roadheader cutting head based on shape matching[J]. Pattern Analysis and Applications,2019,22:1643-1653. DOI: 10.1007/s10044-019-00813-3
[37] HE Shangmeng,TONG Ziyuan,MA Guobin,et al. Research on stereo vision matching algorithm for rescue robot[C]. International Conference on Robotics and Automation Sciences,Hong Kong,2017:35-38.
[38] 闫鹏鹏. 煤矿巷道复杂场景图像拼接方法研究[D]. 徐州:中国矿业大学,2021. YAN Pengpeng. Research on image stitching method for the complicated scene of coalmine tunnel[D]. Xuzhou:China University of Mining and Technology,2021.
[39] 吕志强. 复杂环境下煤矿皮带运输异物图像识别研究[D]. 徐州:中国矿业大学,2020. LYU Zhiqiang. Research on image recognition of foreign bodies in the process of coal mine belt transportation in complex environment[D]. Xuzhou:China University of Mining and Technology,2020.
[40] 杨冬建. 基于双目视觉的TBM换刀机器人末端定位研究[D]. 大连:大连理工大学,2021. YANG Dongjian. Study on end positioning of TBM cutter changing robot based on binocular vision[D]. Dalian:Dalian University of Technology,2021.
[41] MANSOURI S S,KANELLAKIS C,GEORGOULAS G,et al. Towards MAV navigation in underground mine using deep learning[C]. IEEE International Conference on Robotics and Biomimetics,Kuala Lumpur,2018:880-885.
[42] ZHANG Rongchun,JING Meiru,YI Xuefeng,et al. Dense reconstruction for tunnels based on the integration of double-line parallel photography and deep learning[C]. ISPRS Congress,Nice,2022,43:1117-1123.
[43] YU Rui,FANG Xinqiu,HU Chengjun,et al. Research on positioning method of coal mine mining equipment based on monocular vision[J]. Energies,2022,15(21). DOI: 10.3390/en15218068.
[44] WU Hongzhuang,LIU Songyong,CHENG Cheng,et al. Multiscale variational autoencoder aided convolutional neural network for pose estimation of tunneling machine using a single monocular image[J]. IEEE Transactions on Industrial Informatics,2021,18(8):5161-5170.
[45] 薛旭升,张旭辉,毛清华,等. 基于双目视觉的掘进机器人定位定向方法研究[J]. 西安科技大学学报,2020,40(5):781-789. DOI: 10.13800/j.cnki.xakjdxxb.2020.0505 XUE Xusheng,ZHANG Xuhui,MAO Qinghua,et al. Localization and orientation method of roadheader robot based on binocular vision[J]. Journal of Xi'an University of Science and Technology,2020,40(5):781-789. DOI: 10.13800/j.cnki.xakjdxxb.2020.0505
[46] ZHANG Wentao,ZHAI Guodong,YUE Zhongwen,et al. Research on visual positioning of a roadheader and construction of an environment map[J]. Applied Sciences,2021,11(11). DOI: 10.3390/app11114968.
[47] CHEN Hongyue,YANG Wei,MA Ying,et al. Multi-sensor fusion method for roadheader pose detection[J]. Mechatronics,2021,80. DOI: 10.1016/j.mechatronics.2021.102669.
[48] YANG Jinyong,ZHANG Guanqin,HUANG Zhe,et al. Research on position and orientation measurement method for roadheader based on vision/INS[C]. International Conference on Optical Instruments and Technology,Beijing,2017:25-36.
[49] 谢楠. 单目视觉与激光雷达融合的巷道三维重建与掘进机定位方法[D]. 西安:西安科技大学,2021. XIE Nan. Research on 3D reconstruction and roadheader positioning method of roadway based on monocular vision and laser radar fusion[D]. Xi'an:Xi'an University of Science and Technology,2021.
[50] 杨金永. 煤矿掘进机动态位姿组合式测量方法的研究[D]. 天津:天津科技大学,2018. YANG Jinyong. Study on combined measurement method of dynamic position and orientation for coal mine roadheader[D]. Tianjin:Tianjin University of Science and Technology,2018.
[51] 田原. 基于机器视觉的掘进机空间位姿检测技术研究[J]. 矿山机械,2013,41(2):27-30. DOI: 10.16816/j.cnki.ksjx.2013.02.009 TIAN Yuan. Research on automatic inspection of spatial attitude and position of roadheader based on machine vision technology[J]. Mining & Processing Equipment,2013,41(2):27-30. DOI: 10.16816/j.cnki.ksjx.2013.02.009
[52] 杨文辉. 双护盾硬岩隧道掘进机导向系统关键技术研究[D]. 天津:天津大学,2016. YANG Wenhui. Research on the key techniques of the guidance system of double shield universal compact TBM[D]. Tianjin:Tianjin University,2016.
[53] 杨文娟,张旭辉,张超,等. 基于三激光束标靶的煤矿井下长距离视觉定位方法[J]. 煤炭学报,2022,47(2):986-1001. DOI: 10.13225/j.cnki.jccs.xr21.1762 YANG Wenjuan,ZHANG Xuhui,ZHANG Chao,et al. Long distance vision localization method based on triple laser beams target in coal mine[J]. Journal of China Coal Society,2022,47(2):986-1001. DOI: 10.13225/j.cnki.jccs.xr21.1762
[54] QU Yuanyuan,YANG Teng,LI Tao,et al. Path tracking of underground mining boom roadheader combining BP neural network and state estimation[J]. Applied Sciences,2022,12(10). DOI: 10.3390/app12105165.
[55] OTHER R,RATH G,OLEARY P. Calibration verification of a mining machine using image processing[C]. Machine Vision Applications in Industrial Inspection XI,Santa Clara,2003:59-65.
[56] WANG Suyu,WU Miao. Cutting trajectory planning of sections with complex composition for roadheader[J]. Journal of Mechanical Engineering Science,2019,233(4):1441-1452. DOI: 10.1177/0954406218768840
[57] 张旭辉,赵建勋,张超,等. 悬臂式掘进机视觉伺服截割控制系统研究[J]. 煤炭科学技术,2022,50(2):263-270. DOI: 10.13199/j.cnki.cst.2019-0628 ZHANG Xuhui,ZHAO Jianxun,ZHANG Chao,et al. Study on visual servo control system for cutting of cantilever roadheader[J]. Coal Science and Technology,2022,50(2):263-270. DOI: 10.13199/j.cnki.cst.2019-0628
[58] 张超,张旭辉,张楷鑫,等. 数字孪生驱动掘进机远程自动截割控制技术[J]. 工矿自动化,2020,46(9):15-20,32. DOI: 10.13272/j.issn.1671-251x.17640 ZHANG Chao,ZHANG Xuhui,ZHANG Kaixin,et al. Digital twin driven remote automatic cutting control technology of roadheader[J]. Industry and Mine Automation,2020,46(9):15-20,32. DOI: 10.13272/j.issn.1671-251x.17640
[59] CHELUSZKA P,JAGIEŁA-ZAJĄC A. Validation of a method for measuring the position of pick holders on a robotically assisted mining machine's working unit[J]. Energies,2022,15(1). DOI: 10.3390/en15010295.
[60] JAGIEŁA-ZAJĄC A,CHELUSZKA P. Measurement of the pick holders position on the side surface of the cutting head of a mining machine with the use of stereoscopic vision[C]. Scientific and Technical Conference on Innovative Mining Technologies,Szczyrk,2020:44-54.
[61] CHELUSZKA P,MANN R. Determination of boom vibrations of the road header during cutting based on the analysis of images from high-speed cameras[J]. New Trends in Production Engineering,2019,2(1):37-49. DOI: 10.2478/ntpe-2019-0004
[62] CHELUSZKA P,MANN R. Vibration identification of the roadheader cutting head using high-speed cameras[C]. MATEC Web of Conferences,2019. DOI: 10.1051/matecconf/201925203018.
[63] 杨健健,张强,王超,等. 煤矿掘进机的机器人化研究现状与发展[J]. 煤炭学报,2020,45(8):2995-3005. DOI: 10.13225/j.cnki.jccs.2019.1452 YANG Jianjian,ZHANG Qiang,WANG Chao,et al. Status and development of robotization research on roadheader for coal mines[J]. Journal of China Coal Society,2020,45(8):2995-3005. DOI: 10.13225/j.cnki.jccs.2019.1452
[64] 张红,李晨阳. 基于光学图像的煤矸石识别方法综述[J]. 煤炭工程,2022,54(7):159-163. ZHANG Hong,LI Chenyang. Review on coal gangue identification methods based on optical images[J]. Coal Engineering,2022,54(7):159-163.
[65] 陈雪梅,张晞,徐莉莉,等. 煤与矸石分形维数的差异研究[J]. 煤炭科学技术,2017,45(7):196-199. DOI: 10.13199/j.cnki.cst.2017.07.035 CHEN Xuemei,ZHANG Xi,XU Lili,et al. Study on fractal dimension differences of coal and rock[J]. Coal Science and Technology,2017,45(7):196-199. DOI: 10.13199/j.cnki.cst.2017.07.035
[66] LI Man,DUAN Yong,HE Xianli,et al. Image positioning and identification method and system for coal and gangue sorting robot[J]. International Journal of Coal Preparation and Utilization,2022,42(4/6):1759-1777.
[67] HU Feng,ZHOU Mengran,YAN Pengcheng,et al. Multispectral imaging:a new solution for identification of coal and gangue[J]. IEEE Access,2019,7:169697-169704. DOI: 10.1109/ACCESS.2019.2955725
[68] LIU Qiang,LI Jingao,LI Yusheng,et al. Recognition methods for coal and coal gangue based on deep learning[J]. IEEE Access,2021,9:77599-77610. DOI: 10.1109/ACCESS.2021.3081442
[69] SU Lingling,CAO Xiangang,MA Hongwei,et al. Research on coal gangue identification by using convolutional neural network[C]. 2018 2nd IEEE Advanced Information Management,Communicates,Electronic and Automation Control Conference,Xi'an,2018:810-814.
[70] PU Yuanyuan,APEL D B,SZMIGIEL A,et al. Image recognition of coal and coal gangue using a convolutional neural network and transfer learning[J]. Energies,2019,12(9). DOI: 10.3390/en12091735.
[71] 代伟,赵杰,杨春雨,等. 基于双目视觉深度感知的带式输送机煤量检测方法[J]. 煤炭学报,2017,42(增刊2):547-555. DOI: 10.13225/j.cnki.jccs.2017.0389 DAI Wei,ZHAO Jie,YANG Chunyu,et al. Detection method of coal quantity in belt conveyor based on binocular vision depth perception[J]. Journal of China Coal Society,2017,42(S2):547-555. DOI: 10.13225/j.cnki.jccs.2017.0389
[72] WANG Guimei,LI Xuehui,YANG Lijie. Dynamic coal quantity detection and classification of permanent magnet direct drive belt conveyor based on machine vision and deep learning[J]. International Journal of Pattern Recognition and Artificial Intelligence,2021,35(11). DOI: 10.1142/S0218001421520170.
[73] LI Jiacheng,ZHANG Junsheng,WANG Honglei,et al. Coal flow volume measurement of belt conveyor based on binocular vision and line structured light[C]. IEEE International Conference on Electrical Engineering and Mechatronics Technology,Qingdao,2021:636-639.
[74] 周楠. 基于机器视觉的矿井环境三维重建研究[D]. 徐州:中国矿业大学,2022. ZHOU Nan. Research on 3D reconstruction of mine environment based on machine vision[D]. Xuzhou:China University of Mining and Technology,2022.
[75] 张雄. 视觉计算在煤矿巷道变形监测中的应用研究[D]. 西安:西安科技大学,2015. ZHANG Xiong. Application and research of visual computing for deformation monitoring of coal mine roadway[D]. Xi'an:Xi'an University of Science and Technology,2015.
[76] 李华,雷勇,甘创. 基于视觉辅助的隧道轮廓监测[J]. 机械工程学报,2018,54(1):90-98. LI Hua,LEI Yong,GAN Chuang. Tunnel deformation monitoring based on vision assistant[J]. Journal of Mechanical Engineering,2018,54(1):90-98.
[77] DU Ting,WANG Dongxing,QIAN Xu. Study on 3-dimensional stereoscopic image model in intelligent coal mine[J]. Energy Reports,2022,8:291-299.
[78] 邓军,李贝,王凯,等. 我国煤火灾害防治技术研究现状及展望[J]. 煤炭科学技术,2016,44(10):1-7,101. DOI: 10.13199/j.cnki.cst.2016.10.001 DENG Jun,LI Bei,WANG Kai,et al. Research status and outlook on prevention and control technology of coal fire disaster in China[J]. Coal Science and Technology,2016,44(10):1-7,101. DOI: 10.13199/j.cnki.cst.2016.10.001
[79] 赵端,李涛,董彦强,等. 基于边缘智能的煤矿外因火灾感知方法[J]. 工矿自动化,2022,48(12):108-115. DOI: 10.13272/j.issn.1671-251x.2022080046 ZHAO Duan,LI Tao,DONG Yanqiang,et al. Coal mine external fire detection method based on edge intelligence[J]. Journal of Mine Automation,2022,48(12):108-115. DOI: 10.13272/j.issn.1671-251x.2022080046
[80] 张美金,田宇驰,方志朋. 矿井主运输系统火灾预测的RS−SVM模型[J]. 测控技术,2018,37(9):29-32. DOI: 10.19708/j.ckjs.2018.09.007 ZHANG Meijin,TIAN Yuchi,FANG Zhipeng. RS-SVM model for fire prediction of mine transportation system[J]. Measurement & Control Technology,2018,37(9):29-32. DOI: 10.19708/j.ckjs.2018.09.007
[81] BARROS-DAZA M J,LUXBACHER K D,LATTIMER B Y,et al. Mine conveyor belt fire classification[J]. Journal of Fire Sciences,2022,40(1):44-69. DOI: 10.1177/07349041211056343
[82] MENDHAM F,CLIFF D,HORBERRY T. Field testing and reliability assessment of video based fire detection in coal mining and coal handling environments[C]. The 16th Coal Operators' Conference,Mining Engineering,Wollongong,2016:443-450.
[83] 张思齐. 基于视频图像的煤矿井下烟雾检测[D]. 西安:西安科技大学,2019. ZHANG Siqi. Smoke detection in coal mine based on video image[D]. Xi'an:Xi'an University of Science and Technology,2019.
[84] 毛浩,张建安,解云龙,等. 张家峁煤矿变电所智能巡检机器人系统设计[J]. 煤矿机械,2022,43(4):18-20. DOI: 10.13436/j.mkjx.202204006 MAO Hao,ZHANG Jian'an,XIE Yunlong,et al. Design of intelligent inspection robot system for Zhangjiamao Coal Mine substation[J]. Coal Mine Machinery,2022,43(4):18-20. DOI: 10.13436/j.mkjx.202204006
[85] 刘春梅,李辉. 煤矿开采用掘进机人员识别系统设计与研究[J]. 内蒙古农业大学学报(自然科学版),2020,41(4):76-79. LIU Chunmei,LI Hui. Design of the roadheaders used in the personnel identification system[J]. Journal of Inner Mongolia Agricultural University(Natural Science Edition),2020,41(4):76-79.
[86] ALPORT M,GOVINDER P,PLUM S,et al. Identification of conveyor belt splices and damages using neural networks[J]. Bulk Solids Handling,2001,21(6):622-627.
[87] 方崇全,张荣华. 基于X射线图像的接头抽动算法研究[J]. 煤矿开采,2016,21(4):50-52. DOI: 10.13532/j.cnki.cn11-3677/td.2016.04.013 FANG Chongquan,ZHANG Ronghua. Belt joint twitch algorithm research based on X-ray image[J]. Coal Mining Technology,2016,21(4):50-52. DOI: 10.13532/j.cnki.cn11-3677/td.2016.04.013
[88] 张灿. X光钢丝绳芯输送带接头伸长自动检测算法研究与实现[D]. 天津:天津工业大学,2018. ZHANG Can. Research and implementation of automatic detection algorithm for elongation of steel cord conveyor belt joints[D]. Tianjin:Tianjin University of Technology,2018.
[89] 黄元麒. 基于X光图像的钢丝绳芯输送带接头抽动检测算法研究[D]. 徐州:中国矿业大学,2019. HUANG Yuanqi. Research on joint twitch detection algorithm of steel cord conveyor belts based on X-ray image[D]. Xuzhou:China University of Mining and Technology,2019.
[90] LI Jie,MIAO Changyun. The conveyor belt longitudinal tear on-line detection based on improved SSR algorithm[J]. Optik,2016,127(19):8002-8010. DOI: 10.1016/j.ijleo.2016.05.111
[91] HAO Xiaoli,LIANG Huan. A multi-class support vector machine real-time detection system for surface damage of conveyor belts based on visual saliency[J]. Measurement,2019,146:125-132. DOI: 10.1016/j.measurement.2019.06.025
[92] YANG Ruiyun,QIAO Tiezhu,PANG Yusong,et al. Infrared spectrum analysis method for detection and early warning of longitudinal tear of mine conveyor belt[J]. Measurement,2020,165:107856-107864. DOI: 10.1016/j.measurement.2020.107856
[93] 乔铁柱. 输送带纵向撕裂可见光与红外双目视觉在线检测系统研究[D]. 太原:太原理工大学,2015. QIAO Tiezhu. Binocular vision on-line detection system study for conveyor belt longitudinal tear based on infrared and visible light [D]. Taiyuan:Taiyuan University of Technology,2015.
[94] YU Binchao,QIAO Tiezhu,ZHANG Haitao,et al. Dual band infrared detection method based on mid-infrared and long infrared vision for conveyor belts longitudinal tear[J]. Measurement,2018,120:140-149. DOI: 10.1016/j.measurement.2018.02.029
[95] LYU Zhiwei,ZHANG Xiaoguang,HU Jiangdi,et al. Visual detection method based on line lasers for the detection of longitudinal tears in conveyor belts[J]. Measurement,2021,183. DOI: 10.1016/j.measurement.2021.109800.
[96] LI Xianguo,SHEN Lifang,MING Zixu,et al. Laser-based on-line machine vision detection for longitudinal rip of conveyor belt[J]. Optik,2018,168:360-369. DOI: 10.1016/j.ijleo.2018.04.053
[97] LI Weiwei,LI Chunqing,YAN Fanlei. Research on belt tear detection algorithm based on multiple sets of laser line assistance[J]. Measurement,2021,174. DOI: 10.1016/j.measurement.2021.109047.
[98] ZHANG Mengchao,ZHANG Yuan,ZHOU Manshan,et al. Application of lightweight convolutional neural network for damage detection of conveyor belt[J]. Applied sciences,2021,11(16). DOI: 10.3390/app11167282.
[99] 杨彦利,苗长云,亢伉,等. 输送带跑偏故障的机器视觉检测技术[J]. 中北大学学报(自然科学版),2012,33(6):667-671. DOI: 10.3969/j.issn.1673-3193.2012.06.011 YANG Yanli,MIAO Changyun,KANG Kang,et al. Machine vision inspection technique for conveyor belt deviation[J]. Journal of North University of China(Natural Science Edition),2012,33(6):667-671. DOI: 10.3969/j.issn.1673-3193.2012.06.011
[100] 贾焕. 基于图像处理的输送带撕裂和跑偏检测研究[D]. 太原:太原科技大学,2019. JIA Huan. Research on detection of conveyor belt tearing and deviation based on image processing[D]. Taiyuan:Taiyuan University of Science and Technology,2019.
[101] 胡江迪. 基于视觉的矿用输送带状态监测系统研究[D]. 徐州:中国矿业大学,2021. HU Jiangdi. Research on condition monitoring system of mine conveyor belt state on vision[D]. Xuzhou:China University of Mining and Technology,2021.
[102] SARAN G,GANGULY A,TRIPATHI V,et al. Multi-modal imaging-based foreign particle detection system on coal conveyor belt[J]. Transactions of the Indian Institute of Metals,2022,75(9):2231-2240. DOI: 10.1007/s12666-021-02492-3
[103] 吴守鹏. 基于机器视觉的运煤皮带异物识别方法研究[D]. 徐州:中国矿业大学,2019. WU Shoupeng. Research on detection method of foreign object on coal conveyor belt based on computer vision[D]. Xuzhou:China University of Mining and Technology,2019.
[104] CHEN Yiming,SUN Xu,XU Liang,et al. Application of YOLOv4 algorithm for foreign object detection on a belt conveyor in a low-illumination environment[J]. Sensors,2022,22(18). DOI: 10.3390/s22186851.
[105] WANG Yuanbin,WANG Yujing,DANG Langfei. Video detection of foreign objects on the surface of belt conveyor underground coal mine based on improved SSD[J]. Journal of Ambient Intelligence and Humanized Computing,2023,14:5507-5516. DOI: 10.1007/s12652-020-02495-w
[106] 朱彦存. 基于深度学习的煤矿运煤皮带异物识别研究[D]. 阜新:辽宁工程技术大学,2021. ZHU Yancun. Research on foreign objects recognition of coal transport belt based on deep learning[D]. Fuxin:Liaoning Technical University,2021.
[107] 马宏伟,杨文娟,张旭辉. 基于红外热像的带式输送机监测与预警系统[J]. 激光与红外,2017,47(4):448-452. DOI: 10.3969/j.issn.1001-5078.2017.04.011 MA Hongwei,YANG Wenjuan,ZHANG Xuhui. Monitoring and warning system of belt conveyor based on infrared thermography[J]. Laser & Infrared,2017,47(4):448-452. DOI: 10.3969/j.issn.1001-5078.2017.04.011
[108] 刘宇琦. 基于深度学习的托辊异常检测方法研究[D]. 西安:西安科技大学,2020. LIU Yuqi. Research on abnormal detection method of idler based on deep learning[D]. Xi'an:Xi'an University of Science and Technology,2020.
[109] 胡长斌. 基于视频数据的托辊异常检测研究[D]. 西安:西安科技大学,2021. HU Changbin. Research on abnormal detection of roller based on video data[D]. Xi'an:Xi'an University of Science and Technology,2021.
[110] 朱振. 带式输送机托辊运行状态在线巡检机器人关键技术研究[D]. 阜新:辽宁工程技术大学,2020. ZHU Zhen. Research on the key technology of on-line inspection robot for the running state of belt conveyor roller[D]. Fuxin: Liaoning Technical University,2020.
[111] STACHOWIAK M,KOPERSKA W,STEFANIAK P,et al. Procedures of detecting damage to a conveyor belt with use of an inspection legged robot for deep mine infrastructure[J]. Minerals,2021,11(10). DOI: 10.3390/min11101040.
[112] SZREK J,WODECKI J,BŁAŻEJ R,et al. An inspection robot for belt conveyor maintenance in underground mine-infrared thermography for overheated idlers detection[J]. Applied Sciences,2020,10(14). DOI: 10.3390/app10144984.
[113] CARVALHO R,NASCIMENTO R,D'ANGELO T,et al. A UAV-based framework for semi-automated thermographic inspection of belt conveyors in the mining industry[J]. Sensors,2020,20(8). DOI: 10.3390/s20082243.
[114] 王剑,刘备战,雷亚军,等. 曹家滩煤矿智能快速掘锚成套装备应用[J]. 陕西煤炭,2021,40(1):1-3,40. WANG Jian,LIU Beizhan,LEI Yajun,et al. Application of complete equipment for intelligent rapid excavation and anchoring in Caojiatan Coal Mine[J]. Shaanxi Coal,2021,40(1):1-3,40.
[115] 乔佳伟. 基于机器视觉的煤矿井下锚护作业钢带孔识别研究[D]. 北京:煤炭科学研究总院,2022. QIAO Jiawei. Research on the identification of steel belt holes for underground anchoring operations in coal mines based on machine vision[D]. Beijing:China Coal Research Institute,2022.
[116] 夏毅敏,马劼嵩,张亚洲,等. 基于柔度误差检测的锚杆台车机械臂定位[J]. 华南理工大学学报(自然科学版),2020,48(3):83-90. DOI: 10.12141/j.issn.1000-565X.190251 XIA Yimin,MA Jiesong,ZHANG Yazhou,et al. Bolting jumbo boom positioning based on compliance error detection[J]. Journal of South China University of Technology(Natural Science Edition),2020,48(3):83-90. DOI: 10.12141/j.issn.1000-565X.190251
[117] 韩圳. 煤岩表面粗糙度智能图像识别技术及应用[D]. 徐州:中国矿业大学,2021. HAN Zhen. Intelligent image recognition technology and application of coal rock surface roughness[D]. Xuzhou:China University of Mining and Technology,2021.
[118] 王昱栋. 基于机器视觉的煤矿巷道锚杆支护异常检测[D]. 徐州:中国矿业大学,2021. WANG Yudong. Anomaly detection of anchor bolt support in coal mine roadways based on machine vision[D]. Xuzhou:China University of Mining and Technology,2021.
[119] 潘丽君,张强. 掘锚一体机全自动锚杆钻机的研制[J]. 中国新技术新产品,2022(15):87-90. DOI: 10.13612/j.cnki.cntp.2022.15.024 PAN Lijun,ZHANG Qiang. Development of fully automatic anchor rod drilling machine for integrated excavation and anchoring machine[J]. New Technology & New Products of China,2022(15):87-90. DOI: 10.13612/j.cnki.cntp.2022.15.024
[120] 马宏伟,孙思雅,王川伟,等. 多机械臂多钻机协作的煤矿巷道钻锚机器人关键技术[J]. 煤炭学报,2023,48(1):497-509. DOI: 10.13225/j.cnki.jccs.2022.1589 MA Hongwei,SUN Siya,WANG Chuanwei,et al. Key technology of drilling anchor robot with multi-manipulator and multi-rig cooperation in the coal mine roadway[J]. Journal of China Coal Society,2023,48(1):497-509. DOI: 10.13225/j.cnki.jccs.2022.1589
[121] 郭伟东. 基于激光辅助视觉技术的矿井带式输送机节能优化控制研究[D]. 徐州:中国矿业大学,2021. GUO Weidong. Study on energy-saving optimization control of mine belt conveyor based on laser-assisted vision technology[D]. Xuzhou:China University of Mining and Technology,2021.
[122] 成彦颖. 煤矿井下传送带智能输煤检测的研究[D]. 太原:太原科技大学,2021. CHENG Yanying. Research on intelligent coal conveyor detection in underground coal mine[D]. Taiyuan:Taiyuan University of Science and Technology,2021.
[123] 王雯. 煤矿辅助运输转载容器设计与识别定位技术研究[D]. 太原:太原理工大学,2022. WANG Wen. Research on design and identification and positioning technology of coal mine auxiliary transportation reprint container[D]. Taiyuan:Taiyuan University of Technology,2022.
[124] 秦伟华. 煤矿用带式输送机巡检机器人设计与研究[D]. 太原:太原理工大学,2020. QIN Weihua. Design and research of inspection robot for belt conveyor in coal mine[D]. Taiyuan:Taiyuan University of Technology,2020.
[125] GARCIA G,ROCHA F,TORRE M,et al. ROSI:a novel robotic method for belt conveyor structures inspection[C]. International Conference on Advanced Robotics,Belo Horizonte,2019:326-331.
[126] SUN Zhiyuan,HUANG Linlin,JIA Ruiqing. Coal and gangue separating robot system based on computer vision[J]. Sensors,2021,21(4). DOI: 10.3390/s21041349.
-
期刊类型引用(5)
1. 李孝宇，周明闻，纪晓锋，赵海龙，任丹彤. 面向煤矿巷道变形的视觉测量系统设计与测试. 煤矿机械. 2025(02): 204-206 . 
百度学术
2. 张旭辉，杨骏豪，杨文娟，张超，陈鑫，万继成，刘彦徽，王悦. 基于双目视觉的掘进装备定位系统移站自主标定方法. 工程设计学报. 2025(01): 1-10 . 百度学术
3. 张琳. 计算机视觉技术在电梯安装质量检测中的应用研究. 科学技术创新. 2024(13): 5-8 . 百度学术
4. 周天向，刘道园，杨云博，赵旭晔. 煤矿井下智能化运输系统的优化设计. 内蒙古煤炭经济. 2024(17): 38-40 . 百度学术
5. 万继成，张旭辉，杨文娟，张超，雷孟宇，杜昱阳，董征，杨骏豪. 基于红外LED线型标靶的掘进机视觉定位方法研究. 煤炭学报. 2024(S2): 1173-1183 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 1396
- HTML全文浏览量: 47
- PDF下载量: 112
- 被引次数: 7
