Research on key technologies of 3D laser scanning modeling in fully mechanized working face
-
摘要: 根据综采工作面三维激光扫描模型中煤壁与顶板交线信息,采煤机可自动调整滚筒截割高度,实现煤炭精准开采。现有技术实现了基于工作面激光点云的割煤顶板线自动提取,但提取结果不能直接应用于数字化自主割煤。针对该问题,提出了综采工作面三维激光扫描建模总体方案,并对煤壁与顶板交线提取、标靶球检测、点云拼接及坐标转换等关键技术进行了研究,实现了三维地质坐标系下煤壁与顶板交线信息的近实时获取,该信息可直接发送给采煤机滚筒,为采煤机下一刀截割提供数据参考。通过巡检机器人完成工作面扫描,获取巡检点云;基于煤壁与顶板交线的曲率特性,采用弦法向量法对煤壁与顶板交线进行粗提取;引入数据点法向量与邻域点法向量的夹角信息,通过阈值排除明显的非煤壁与顶板交线点。由于巡检点云与提取的交线信息均位于局部坐标系,通过定位标靶球检测和配准,完成机头点云、机尾点云与巡检点云的拼接,得到工作面联合点云。根据定位标靶球的三维地质坐标与局部坐标,得到坐标间的转换关系,通过坐标转换将联合点云转换到三维地质坐标系下,从而得到三维地质坐标系下的煤壁与顶板交线信息。井下工业性试验结果表明,采用综采工作面三维激光扫描技术提取煤壁与顶板交线的误差在10 cm以内,所有采样点中误差小于4 cm的采样点占比为50%,误差小于8 cm的采样点占比为96.67%。Abstract: According to the boundary information of the coal wall and roof in the 3D laser scanning model of fully mechanized working face, the shearer can automatically adjust the cutting height of the drum to realize the coal precise mining. The existing technology realizes the automatic extraction of the roof line of coal cutting based on the laser point cloud of the working face. But the extraction results cannot be directly applied to the digital automatic coal cutting. In order to solve this problem, the overall scheme of 3D laser scanning modeling for fully mechanized working face is proposed. The key technologies such as boundary extraction of coal wall and roof, target ball detection, point cloud registration and coordinate transformation are studied. The near real-time acquisition of boundary information of coal wall and roof under 3D geological coordinate system is realized. The information can be directly sent to the shearer drum to provide data reference for the next cutting of the shearer. The scanning of the working surface is realized through an inspection robot to obtain the inspection point cloud. Based on the curvature characteristics of the boundary of the coal wall and roof, the string and normal vector method is used to extract the boundary of the coal wall and roof roughly. The angle information between the normal vector of data points and the normal vector of adjacent points is introduced. The obvious intersection points of non coal wall and roof are eliminated through the threshold. As the inspection point cloud and the extracted boundary information are both located in a local coordinate system, the head and tail point clouds and the inspection point cloud are registered through the detection and registration of the positioning target ball. The working face combined point cloud is obtained. According to the 3D geological coordinate and the local coordinate of the positioning target ball, the transformation relation between the coordinates is obtained. The combined point cloud is transformed into the 3D geological coordinate system through coordinate transformation. Therefore, the boundary information of the coal wall and the roof under the 3D geological coordinate system is obtained. The underground industrial test results show that the error of the boundary between the coal wall and roof extracted by 3D laser scanning technology in fully mechanized working face is less than 10 cm. The sampling points with error less than 4 cm account for 50%. The sampling points with error less than 8 cm account for 96.67%.
-
0. 引言
在煤矿井下采掘工作面,工作人员需佩戴安全防护装备,如安全帽、矿灯、口罩、自救器等[1]。这些装备为人员生命安全提供基本保障。实际生产中,一些人员对安全防护装备的重视程度不够,无法有效地使用这些装备来确保自身安全。目前,煤矿企业主要依靠视频监控系统来监测人员是否正确佩戴防护装备[2]。随着深度学习和人工智能技术的不断发展及应用,采用基于深度学习的计算机视觉算法来检测和识别人员安全装备佩戴情况,可有效降低煤矿安全事故发生概率[3],提高煤矿安全生产水平。
在煤矿井下作业环境中,监控摄像头位置固定,且覆盖范围广泛,拍摄距离大,安全防护装备目标在监控画面中的尺寸较小,加之装备颜色与周围环境相近,易受环境变化影响,增加检测难度。因此,实现煤矿井下场景中小目标(如尺寸小于32×32的目标)精准检测,在人员安全防护装备监测中具有重要意义[4]。
目前,目标检测领域广泛采用卷积神经网络模型,如R−CNN(Region-based Convolutional Neural Networks,基于区域的卷积神经网络)、Fast R−CNN(Fast Region-based Convolutional Neural Networks,快速基于区域的卷积神经网络)、Faster R−CNN(Faster Region-based Convolutional Neural Networks,更快的基于区域的卷积神经网络)、SSD(Single Shot MultiBox Detector,单次检测多框检测器)、YOLO等[5-12]。相较于R−CNN系列模型和SSD模型,YOLO系列模型具备出色的高速性能、端到端训练、多尺度融合、自适应锚框等特点,能够高效地将底层位置信息和上层语义信息融合,实现目标检测任务的快速、准确、高效执行,已被学者用于煤矿井下目标检测研究中。崔铁军等[13]采用基于Keras框架的YOLOv4目标检测算法,结合MTCNN(Multi-task Convolutional Neural Networks,多任务卷积神经网络)和FaceNet构成人脸识别模型,对人员是否佩戴防尘口罩进行了高精度的快速检测与识别,检测佩戴防尘口罩人员的AP(Average Precision,平均精度)为92.78%、未佩戴防尘口罩人员的AP为91.63%。李熙尉等[14]针对煤矿井下综采工作面煤尘干扰导致的人员和安全帽检测算法精度低、漏检率高等问题,提出了基于改进YOLOv5s的矿井人员和安全帽检测算法,通过引入CBAM(Convolutional Block Attention Module,卷积块注意力模块)更准确地提取图像关键特征,采用αCIoU损失函数替换原始CIoU损失函数来提升整体目标检测的准确率。曹帅等[15]提出了一种基于YOLOv7−SE的煤矿井下小目标检测方法,通过融合模拟退火算法和k-means++聚类算法优化YOLOv7模型中的初始锚框值,增加新的检测层以减少煤尘干扰,并在骨干网络中引入双层注意力机制强化小目标特征表示,对安全帽和自救器检测的AP分别达到72.5%和64.5%。王科平等[16]提出了一种改进的YOLOv4模型,用于检测综采工作面的大型设备及行人目标,通过在CSPDarkNet53网络中融入残差自注意力模块来提升图像关键目标特征的表达能力和目标检测精度,引入深度可分离卷积以减少模型参数量和计算量,检测AP为92.59%。顾清华等[17]提出了一种基于改进YOLOv5的目标检测算法,采用弱光增强网络Zero−DCE提升模型的泛化能力,引入C−ASPP(Cross-scale Atrous Spatial Pyramid Pooling,跨尺度空洞空间金字塔池化)模块、Transformer算法和双向特征融合金字塔网络来提高模型的特征提取能力和检测性能,对井下人员安全防护装备检测的AP为90.2%,检测速度为81.2帧/s。寇发荣等[18]提出一种YOLOv5改进模型——Ucm−YOLOv5,使用PP−LCNet作为主干网络以加强CPU端的推理速度,取消Focus模块,使用shuffle_block模块替代C3模块以减少计算量,并引入H swish作为激活函数,对井下目标的检测精度较YOLOv5提高11.7%。
在背景复杂、光照条件差的采掘工作面恶劣环境下,小目标检测精度仍有待提高。YOLOv8是YOLO系列的最新版本[19],具有更优的性能和灵活性,能更好地应对井下复杂环境中的目标检测任务。YOLOv8n是YOLOv8系列中更小型、更轻量级的变体,专为速度和资源受限的环境设计。本文提出一种基于改进YOLOv8n的采掘工作面小目标检测方法,通过井下实际监控视频图像验证了改进YOLOv8n模型对井下人员及其佩戴安全防护装备检测的AP优于主流目标检测模型,满足采掘工作面小目标检测精度和实时性要求。
1. 改进YOLOv8n模型
改进YOLOv8n模型结构如图1所示,其中H,W,C分别为输入图像长度、宽度、通道数,S为卷积步长,K为卷积核大小,n为模块个数。输入图像在骨干网络(Backbone)层通过卷积层提取特征和语义信息,这些信息经改进C2f模块(C2f−DSConv)进行深度融合,以提取多尺度特征,增强对小目标和人体细节的感知能力。在Neck层引入PSA(Polarized Self−Attention,极化自注意力)机制,对特征图进行处理,以减少信息损失,提高特征表达能力,从而更好地定位和识别目标。在Head层增设了专门针对小目标的检测头,以扩大模型检测范围,提升对微小目标的感知能力。
1.1 Backbone层改进
在YOLOv8n模型Backbone层的C2f模块中,Bottleneck结构通常采用固定尺寸的卷积核,且每个卷积核的位置是预先设定的,在处理具有复杂或不规则形状的小目标时精度较差。DSConv(Dynamic Snake Convolution,动态蛇形卷积)的卷积核[20]能够根据输入特征图的形状和边界信息进行自适应调整,从而更精确地适应目标物体的形状,提升复杂或不规则形状小目标的处理能力。因此,将C2f模块中的固定卷积替换为DSConv,得到C2f−DSConv模块,如图2所示。输入数据经CBS(Con−BN−Silu)模块进行卷积操作,再经Split模块分割为2个部分,其中一部分经多个 DSConv 模块处理后,与另一部分融合拼接,最终经CBS模块输出。
DSConv卷积的核心在于引入了变形偏移量,这使得卷积核能更灵活地关注目标物体的复杂几何特征。为了有效控制模型学习过程中的变形偏移,避免感知场过度偏离目标,采用迭代策略,为每个目标选择一系列观察点,确保注意力的连续性,同时防止由于过大的变形偏移导致感知场过度扩散[20]。DSConv卷积不仅能感知并适应目标的几何结构,还能自适应关注弯曲或卷曲的结构特征。在煤矿井下应用场景中,人员安全防护装备可能呈现各种形状和大小,且常与其他背景元素重叠,导致检测困难。DSConv的引入使得模型能更加专注于安全防护装备的关键特征,自由贴合其形状学习特征,且在一定约束条件下确保卷积核不会偏离目标结构太远,从而提高检测的准确性和可靠性。
1.2 Neck层改进
由于井下小目标图像的复杂性,YOLOv8n在处理空间和通道计算时计算量和显存需求急剧增加。为了平衡性能与资源消耗,在YOLOv8n的Neck层引入PSA机制。其核心是通过动态聚焦来减少信息损失[21]。PSA机制有并行和顺序2种布局模式。本文采用并行布局模式,如图3所示。其包含多个卷积层(Conv)、池化层(Global Pooling)、激活函数(Softmax)、重塑层(Reshape),采用多个1×1卷积实现通道极化,并使用不同的重塑和池化操作来处理数据。
PSA机制在空间维度和通道维度均没有进行大规模的压缩。在空间维度上,PSA机制保持原始输入图像的大小H×W;在通道维度上,使用了原始通道数C的一半。这使得模型在处理大量数据时能够保持较高的效率。此外,PSA机制在通道和空间分支均采用Softmax和Sigmoid相结合的函数,使得模型能够拟合出细粒度回归结果的输出分布,从而提高检测的准确性。
1.3 Head层改进
YOLOv8n的Head层有3个检测头,在不同尺度上进行目标检测。由于小目标在不同尺度上可能表现出多样化的特征,较浅的网络结构难以充分捕捉这些细微的差别,且微小目标在图像中的占比较小,难以被模型有效捕捉。针对井下环境中小目标检测需求,在YOLOv8n模型中增加1个专门针对微小目标检测的检测头,形成4检测头结构,如图4所示。Detect1为新增的检测头,用于检测大小为160×160的特征图中4×4以上大小的目标。Detect 2—Detect4为原始YOLOv8n中的检测头,分别检测80×80特征图中8×8、40×40特征图中16×16、20×20特征图中32×32以上大小的目标。
Detect1利用来自底层网络的高分辨率特征图生成预测结果,显著提高了对微小目标的敏感度。Detect1的增加可能导致计算量和内存消耗增大,但由于YOLO系列算法具有高并行性,所以并不会显著影响检测的实时性。与原始的3检测头结构相比,4检测头结构通过更深层次的网络结构来捕获复杂的特征,使模型能够更有效地应对目标尺度变化、遮挡等情况,提升井下小目标检测精度。
2. 实验及结果分析
为验证改进YOLOv8n模型对于井下人员安全防护装备这类小目标的检测性能,在实验室环境下进行实验。实验平台配置见表1。
表 1 实验平台配置Table 1. Experimental platform configuration配置 参数 操作系统 Windows10 CPU Intel Core i7−12700K GPU NVIDIA GeForce RTX 3060 内存 32 GiB GPU加速工具 CUDA11.1 采集江苏省某煤矿综采工作面原始监控视频图像,选取其中1 319张图像,按照9∶1的比例划分,其中1 183张作为训练集、136张作为验证集。采用LabelImg工具标注5个类别,分别为人员(person)、安全帽(helmet)、矿灯(lamp)、口罩(mask)、自救器(self-rescuer),如图5所示。标注后的数据集共有8 273个目标框。
改进YOLOv8n模型训练过程中应用PyTorch框架。设置随机梯度下降初始动量为0.937,权值衰减系数为0.000 5,学习率为0.01。使用余弦衰减率调度器。经过100次训练,得到最优模型。
为了验证DSConv、PSA机制、新增检测头的作用,进行消融实验,结果见表2。
从表2可看出,与改进模型相比,原始YOLOv8n模型的精确率、召回率和mAP50(mean Average Precision at 50% Intersection over Union,50%交并比下的平均精度均值)最低。在C2f模块中引入DSConv后,模型精确率和召回率均超过原始YOLOv8n模型,表明C2f−DSConv能够准确捕获井下人员及其佩戴安全防护装备的特征。采用4检测头结构后,精确率、召回率、mAP50分别提高1.1%,4.2%,2.0%,表明4检测头结构通过在不同尺度上进行检测,增大了模型对目标的覆盖范围。引入PSA机制后,精确率、召回率、mAP50分别达89.3%,91.3%,92.4%,在4组模型中最高,验证了改进方法的有效性。另外,改进YOLOv8n模型的检测速度为208帧/s,满足矿井实时检测要求。
在相同数据集上,将改进YOLOv8n模型与Faster−RCNN,YOLOv5s,YOLOv7,YOLOv8n模型进行对比实验,结果如图6所示。可看出改进YOLOv8n模型对人员及其佩戴4种安全防护装备的检测精度均优于其他模型。
表 2 消融实验结果Table 2. Ablation experiment results% YOLOv8n DSConv 检测头 PSA 精确率 召回率 mAP50 √ × × × 86.9 85.9 89.1 √ √ × × 87.4 89.3 89.7 √ √ √ × 88.0 90.1 91.1 √ √ √ √ 89.3 91.3 92.4 5种模型对各类目标检测的AP见表3。可看出与4种对比模型相比,改进YOLOv8n模型对于各类目标检测的AP均最优,特别是检测矿灯和自救器的AP分别达89.9%和90.8%,较YOLOv8n模型分别提升10.1%和5.7%,且对各类别目标检测的mAP达92.4%。
5种模型的检测性能对比见表4。与Faster R−CNN相比,改进YOLOv8n模型的mAP提高13.2%,且参数量和GFLOPs(Giga Floating Point Operations Per Second,每秒十亿次浮点运算)大幅降低,检测速度提高了201 帧/s。与YOLOv5s和YOLOv7相比,改进YOLOv8n模型的mAP分别提高6.8%和6.1%,检测速度分别提升149,66帧/s。与YOLOv8n相比,改进YOLOv8n模型的参数量和GFLOPs略高,但mAP提高3.3%。实验结果验证了改进YOLOv8n模型能够很好地平衡检测时间和准确性。
表 3 不同目标检测模型对5种类别目标检测的AP对比Table 3. Average precision (AP) comparison of detecting five categories by use of different object detection models% 类别 Faster−
RCNNYOLOv5s YOLOv7 YOLOv8n 改进YOLOv8n 人员 84.2 92.9 94.2 97.7 98.3 安全帽 80.7 90.1 91.7 93.7 95.8 矿灯 68.7 76.6 76.3 79.8 89.9 口罩 74.3 82.9 83.9 86.2 87.2 自救器 73.3 81.7 81.4 85.1 90.8 mAP50 79.2 85.6 86.3 89.1 92.4 表 4 不同目标检测模型的检测性能对比Table 4. Comparison of detection performance of different object detection models模型 参数量/MiB GFLOPs mAP/% 检测速度/(帧·s−1) Faster R−CNN 53.0 887.5 79.2 7 YOLOv5s 7.2 16.0 85.6 59 YOLOv7 36.9 104.7 86.3 142 YOLOv8n 3.0 8.1 89.1 457 改进YOLOv8n 3.4 13.3 92.4 208 3. 结论
1) 改进YOLOv8n模型将DSConv和主干网络的C2f模块融合,提高了模型提取多尺度特征的能力;引入PSA机制,使模型能捕获更多的像素级别信息,提升小目标检测效果;采用4检测头结构,增强了对微小目标的检测能力。
2) 实验结果表明,对井下人员及其所佩戴安全帽、矿灯、口罩、自救器进行检测时,改进YOLOv8n模型的AP分别为98.3%,95.8%,89.9%,87.2%,90.8%,均高于主流目标检测模型Faster R−CNN,YOLOv5s,YOLOv7,YOLOv8n。
3) 未来将着重研究在不显著增加计算负担的前提下,提升模型的识别精度。方案包括:① 增加特征提取网络的深度,从而更有效地提取井下特殊环境中人员与安全防护装备特征。② 利用并行计算来提高分类器计算速度,从而更快地匹配识别的特征。
-
表 1 不同技术方案下煤壁与顶板交线提取结果对比
Table 1 Comparison of extraction results of coal wall and roof boundary under different technical schemes
技术方案 占比/% 误差小于4 cm 误差小于8 cm 文献[10]方案 84 96 本文方案 50 96.67 -
[1] 王国法,刘峰,孟祥军,等. 煤矿智能化(初级阶段)研究与实践[J]. 煤炭科学技术,2019,47(8):1-36. DOI: 10.13199/j.cnki.cst.2019.08.001 WANG Guofa,LIU Feng,MENG Xiangjun,et al. Research and practice on intelligent coal mine construction(primary stage)[J]. Coal Science and Technology,2019,47(8):1-36. DOI: 10.13199/j.cnki.cst.2019.08.001
[2] 袁亮,张平松. 煤炭精准开采地质保障技术的发展现状及展望[J]. 煤炭学报,2019,44(8):2277-2284. DOI: 10.13225/j.cnki.jccs.KJ19.0571 YUAN Liang,ZHANG Pingsong. Development status and prospect of geological guarantee technology for precise coal mining[J]. Journal of China Coal Society,2019,44(8):2277-2284. DOI: 10.13225/j.cnki.jccs.KJ19.0571
[3] 李首滨. 智能化开采研究进展与发展趋势[J]. 煤炭科学技术,2019,47(10):102-110. DOI: 10.13199/j.cnki.cst.2019.10.012 LI Shoubin. Progress and development trend of intelligent mining technology[J]. Coal Science and Technology,2019,47(10):102-110. DOI: 10.13199/j.cnki.cst.2019.10.012
[4] 刘晓阳,胡乔森,李慧娟. 基于三维激光扫描技术的巷道顶板监测研究[J]. 中国煤炭,2017,43(7):81-84,107. DOI: 10.3969/j.issn.1006-530X.2017.07.021 LIU Xiaoyang,HU Qiaosen,LI Huijuan. Research on coal mine roof monitoring based on three-dimensional laser scanning technology[J]. China Coal,2017,43(7):81-84,107. DOI: 10.3969/j.issn.1006-530X.2017.07.021
[5] DUNN M,REID P,MALOS J. Development of a protective enclosure for remote sensing applications—case study:laser scanning in underground coal mines[J]. Resources,2020,9(5):1-10.
[6] 原长锁,王峰. 综采工作面透明化开采模式及关键技术[J]. 工矿自动化,2022,48(3):11-15,31. DOI: 10.13272/j.issn.1671-251x.2021110048 YUAN Changsuo,WANG Feng. Transparent mining mode and key technologies of fully mechanized working face[J]. Journal of Mine Automation,2022,48(3):11-15,31. DOI: 10.13272/j.issn.1671-251x.2021110048
[7] 王国法,杜毅博. 智慧煤矿与智能化开采技术的发展方向[J]. 煤炭科学技术,2019,47(1):1-10. DOI: 10.13199/j.cnki.cst.2019.01.001 WANG Guofa,DU Yibo. Development direction of intelligent coal mine and intelligent mining technology[J]. Coal Science and Technology,2019,47(1):1-10. DOI: 10.13199/j.cnki.cst.2019.01.001
[8] 谷彬,赵云飞. 自主智能割煤技术在榆家梁煤矿43101综采工作面的实践应用[J]. 能源科技,2020,18(7):29-32. GU Bin,ZHAO Yunfei. Practical application of autonomous intelligent coal-cutting technology in the fully-mechanized working face 43101 of Yujialiang Coal Mine[J]. Energy Science and Technology,2020,18(7):29-32.
[9] 李森,王峰,刘帅,等. 综采工作面巡检机器人关键技术研究[J]. 煤炭科学技术,2020,48(7):218-225. DOI: 10.13199/j.cnki.cst.2020.07.022 LI Sen,WANG Feng,LIU Shuai,et al. Study on key technology of patrol robots for fully-mechanized mining face[J]. Coal Science and Technology,2020,48(7):218-225. DOI: 10.13199/j.cnki.cst.2020.07.022
[10] 姜龙飞,毛善君,李梅,等. 基于激光点云的割煤顶板线提取技术研究[J]. 煤炭科学技术,2022,50(6):286-291. DOI: 10.13199/j.cnki.cst.BMC20-010 JIANG Longfei,MAO Shanjun,LI Mei,et al. Research on extraction technology of coal wall and roof boundary based on laser point cloud[J]. Coal Science and Technology,2022,50(6):286-291. DOI: 10.13199/j.cnki.cst.BMC20-010
[11] 张冰容. 基于特征分析的点云数据逆向建模研究[D]. 保定: 华北电力大学, 2021. ZHANG Bingrong. Research on reverse modeling of point cloud data based on feature analysis[D]. Baoding: North China Electric Power University, 2021.
[12] 程旭. 复杂零件三维重建与点云配准技术研究[D]. 武汉: 华中科技大学, 2019. CHENG Xu. Research on 3D reconstruction and point cloud registration technology of complex parts[D]. Wuhan: Huazhong University of Science and Technology, 2019.
[13] 李自胜. 点云数据处理与特征识别关键技术研究[D]. 成都: 西南交通大学, 2017. LI Zisheng. Studies on key technology of data processing and feature recognition in point clouds[D]. Chengdu: Southwest Jiaotong University, 2017.
[14] 余汪江. 基于激光雷达的无人驾驶汽车动态障碍物检测与识别研究[D]. 哈尔滨: 哈尔滨工业大学, 2020. YU Wangjiang. Research on dynamic obstacles detection and recognition of driverless vehicles based on lidar[D]. Harbin: Harbin Institute of Technology, 2020.
[15] 童子良. 空间散乱三维点云数据处理与规则曲面点云拟合[D]. 淮南: 安徽理工大学, 2021. TONG Ziliang. Spatial scattered 3D point cloud data processing and regular surface point cloud fitting[D]. Huainan: Anhui University of Science and Technology, 2021.
-
期刊类型引用(2)
1. 问永忠,贾澎涛,夏敏高,张龙刚,王伟峰. 基于改进YOLOv8n的井下人员多目标检测. 工矿自动化. 2025(01): 31-37+77 . 本站查看
2. 罗维平,张哲. 基于改进YOLOv8的织物疵点检测算法. 黄河科技学院学报. 2025(02): 23-30 . 百度学术
其他类型引用(0)