基于线扫描原理的煤矿巷道变形测量系统

杨洪涛, 于印, 许吉禅, 沈梅, 陆广慧

杨洪涛,于印,许吉禅,等. 基于线扫描原理的煤矿巷道变形测量系统[J]. 工矿自动化,2022,48(7):113-117, 148. DOI: 10.13272/j.issn.1671-251x.2022060012
引用本文: 杨洪涛,于印,许吉禅,等. 基于线扫描原理的煤矿巷道变形测量系统[J]. 工矿自动化,2022,48(7):113-117, 148. DOI: 10.13272/j.issn.1671-251x.2022060012
YANG Hongtao, YU Yin, XU Jichan, et al. Coal mine roadway deformation measurement system based on line scanning principle[J]. Journal of Mine Automation,2022,48(7):113-117, 148. DOI: 10.13272/j.issn.1671-251x.2022060012
Citation: YANG Hongtao, YU Yin, XU Jichan, et al. Coal mine roadway deformation measurement system based on line scanning principle[J]. Journal of Mine Automation,2022,48(7):113-117, 148. DOI: 10.13272/j.issn.1671-251x.2022060012

基于线扫描原理的煤矿巷道变形测量系统

基金项目: 安徽省重点研究与开发计划项目(202004a07020046)。
详细信息
    作者简介:

    杨洪涛(1972—),男,福建莆田人,教授,博士,博士研究生导师,研究方向为精密测试技术、仪器精度理论及应用、自动化测控系统,E-mail:lloid@163.com

  • 中图分类号: TD322

Coal mine roadway deformation measurement system based on line scanning principle

  • 摘要: 针对采用三维激光扫描技术测量煤矿巷道变形存在有效扫描距离受限、获取的点云密度低、细节缺失严重、测量精度和效率低等问题,提出了一种基于线扫描原理的煤矿巷道变形测量系统。该系统通过巷道测量机器人的测量相机拍摄线扫描激光器投射出的光平面在巷道表面的光条图像;对光条图像使用线结构光光条中心提取技术,获取光条中心坐标,并将光条中心坐标代入通过光平面标定技术拟合的光平面方程,求解出测量相机坐标系下巷道表面的光条图像点云数据;由旋转电动机带动线扫描激光器和测量相机同步转动,获取巷道全部点云数据;采用多组追踪相机拍摄机器人上的靶标图像,实现机器人位姿连续不间断地追踪与测量;结合机器人位姿测量结果对巷道全部点云数据进行拼接,重构煤矿巷道点云;利用点云切片对煤矿巷道点云进行处理,实现煤矿巷道变形快速测量。实验结果表明,该系统测量误差小于7 mm,具有操作简单、灵活性高、测量速度快、测量范围广及测量精度高等特点。
    Abstract: When 3D laser scanning technology is used in measuring coal mine roadway deformation, there are problems of limited effective scanning distance, low density of acquired point cloud, serious lack of details, low measurement accuracy and low efficiency. In order to solve these problems, a coal mine roadway deformation measurement system based on line scanning principle is proposed. The system shoots a light strip image of a light plane projected by a line scanning laser on the roadway's surface through a measurement robot's measurement camera. The line structured light strip center extraction technology is used for light strip images to obtain the light strip center coordinates. The light strip center coordinates are substituted into the light plane equation fitted by the light plane calibration technology. The light strip image point cloud data of the roadway surface under the measurement camera coordinate system are solved. The rotary motor drives the line scanning laser and the measurement camera to rotate synchronously to obtain all the point cloud data of the roadway. The multiple groups of tracking cameras are used to capture the target image on the robot, so as to realize the continuous tracking and measurement of the robot's pose. Combined with the robot pose measurement results, all the point cloud data of the roadway are spliced to reconstruct the point cloud of the coal mine roadway. The point cloud slice is used to process the point cloud of the coal mine roadway to realize the rapid measurement of coal mine roadway deformation. The experimental results show that the measurement error of the system is less than 7 mm. The system has the characteristics of simple operation, high flexibility, fast measurement speed, wide measurement range and high measurement precision.
  • 煤矿巷道受地质环境和开采技术等因素影响会产生变形甚至破坏[1-2],精确的巷道变形测量对于保障煤矿安全生产具有重要意义[3-4]。煤矿巷道变形测量方法可分为接触式测量和非接触式测量,其中非接触式测量方法具有测量速度快、测量范围广、测量数据丰富等优点,成为目前研究热点。王海军等[5]、郭良林等[6]利用三维激光扫描技术获取煤矿巷道点云信息,并对点云进行拼接和滤波处理,从而对工作面巷道进行三维重建,实现巷道变形监测。金卓等[7]利用三维激光扫描技术与圆柱形投影面巷道建模方法,构建矿井巷道三维立体模型,实现巷道围岩变形监测。刘晓阳等[8]利用三维激光扫描技术对巷道顶板进行监测,采用非均匀压缩法对获取的巷道点云数据进行简化处理,通过基于巷道点云数据分割的断面提取进行巷道变形分析。然而上述研究存在有效扫描距离受限、获取的点云密度低、细节缺失严重、测量精度和效率低等问题。针对上述问题,本文提出了一种基于线扫描原理的煤矿巷道变形测量系统,可重构数据丰富、精度高的巷道点云,并通过点云切片实现巷道变形监测,具有操作简单、灵活性高、测量速度快、测量范围广及测量精度高等特点。

    基于线扫描原理的煤矿巷道变形测量系统主要包括巷道测量机器人和机器人位姿追踪系统,如图1所示。巷道测量机器人由线扫描激光器、测量相机、自主规划路径车、旋转电动机和靶标组成,其中靶标采用发光LED材质棋盘格制作,可克服煤矿井下粉尘、灯光等因素的影响;机器人位姿追踪系统由安装在巷道两侧的多组追踪相机组成。

    图  1  基于线扫描原理的煤矿巷道变形测量系统组成
    Figure  1.  Composition of coal mine roadway deformation measurement system based on line scanning principle

    整个煤矿巷道内沿巷道测量机器人运动方向布置多组追踪相机,以巷道左侧第1组追踪相机的光心为原点Ow,沿追踪相机光轴方向为Zw轴,沿垂直光轴向右方向为Xw轴,沿垂直光轴向下方向为Yw轴,建立世界坐标系OwXwYwZw;以测量相机的光心为原点O,沿测量相机光轴方向为Z轴,沿垂直光轴向右方向为X轴,沿垂直光轴向下方向为Y轴,建立测量相机坐标系OXYZ。当机器人在巷道内移动测量时,追踪相机实时测量靶标图像,实现对机器人全巷道无死角、长距离、不间断地追踪与位姿精确测量。机器人测量巷道前,利用相机参数标定技术获取测量相机参数。机器人测量巷道时,由旋转电动机带动线扫描激光器和测量相机同步转动,线扫描激光器投射出的光平面与巷道表面交汇于1个光条,测量相机同步拍摄巷道表面的光条图像。对光条图像使用线结构光光条中心提取技术,获取光条中心坐标,并将光条中心坐标代入通过光平面标定技术拟合的光平面方程,求解出测量相机坐标系下巷道表面的光条图像点云数据,再结合机器人位姿测量结果将点云数据转换到世界坐标系,实现点云数据坐标归一化。将归一化后的点云数据进行拼接,重构精确的煤矿巷道点云,并利用点云切片技术实现煤矿巷道变形测量。

    为建立准确的相机成像几何模型,本文采用基于平面棋盘格的标定算法[9],通过对不同角度拍摄的二维平面棋盘格角点进行计算处理,完成相机参数标定。

    由于测量相机拍摄到的光条图像是具有一定像素宽度的光条图像,为得到精确的光条点云坐标,需提取光条中心的亚像素坐标。本文采用骨架提取算法[10]对光条图像进行二值化预处理,对二值化图像像素点进行细化处理,得到像素宽度极低的像素线条。之后使用自适应阈值的加权灰度重心法[11]处理像素线条,求解像素线条截面灰度值的质心坐标,最终得到满足精度要求的光条中心坐标。

    确定线扫描激光器投射出的光平面与测量相机的空间位置关系是煤矿巷道变形测量的关键环节,影响重构的煤矿巷道点云的精确性。本文采用光平面标定技术对线扫描激光器投射出的光平面与测量相机的空间位置关系进行参数求解,最终拟合出光平面方程。

    线扫描激光器投射出的光平面与棋盘格标定板交汇于1个光条,保持线扫描激光器投射出的光平面不变,通过多次改变棋盘格标定板位姿,获取不同位置光条中心上所有特征点在测量相机坐标系下的坐标,采用最小二乘法拟合出测量相机坐标系下光平面方程[12-13]

    $$ ax+by+c {\textit{z}} +d=0 $$ (1)

    式中:abcd为系数;(x,y,z)为光平面上任一空间点在测量相机坐标系下的三维坐标。

    为保证煤矿巷道点云坐标的唯一性,需要对煤矿巷道空间位置进行约束[14]。如图1(a)所示,空间点p处于线扫描激光器投射出的光平面上,同时点p在测量相机拍摄图像上的对应点为p1。设世界坐标系下点p坐标为(xwywzw),则

    $$ \left\{ {\begin{array}{*{20}{c}} {s\left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{r}} {{f_x}}&0&{{u_0}}&0 \\ 0&{{f_y}}&{{v_0}}&0 \\ 0&0&0&0 \end{array}} \right]\left[ {\begin{array}{*{20}{r}} {{x_{\rm{w}}}} \\ {{y_{\rm{w}}}} \\ {{ {\textit{z}} _{\rm{w}}}} \\ 1 \end{array}} \right]} \\ {a{x_{\rm{w}}} + b{y_{\rm{w}}} + c{ {\textit{z}} _{\rm{w}}} + d = 0} \end{array}} \right. $$ (2)

    式中:s为比例因子;(uv)为点p1坐标;fxfy分别为测量相机XY轴方向焦距长度;(u0v0)为图像主点像素坐标。

    通过求解式(2),计算出空间点p的唯一坐标,同理求解多组空间点的坐标并进行拼接,进而重构煤矿巷道点云。

    在世界坐标系下将多组煤矿巷道点云的起始位置坐标统一,并进行点云切片处理,比较投影到XwOwZw平面上具有相同坐标点云的Yw轴坐标,获得煤矿巷道变形量[15]。可设置不同的切片厚度、数量、间距等参数,满足实际不同场景巷道的监测需求,从而提高测量精度。

    $$ l = \frac{{{Z_{{\rm{w}}{\rm{max}} }} - {Z_{{\rm{w}}{\rm{min}} }}}}{n} $$ (3)

    式中:l为切片间距;ZwmaxZwmin分别为世界坐标系Zw轴方向的最大值与最小值;n为切片数量。

    为验证基于线扫描原理的煤矿巷道变形测量系统的有效性,搭建了实验平台,如图2所示。实验平台主要包括:3 m×2 m×2 m(长×宽×高)的模拟巷道;分辨率为640×480、30万像素的测量相机;波长为650 nm的线扫描激光器;规格为8×6的棋盘格;Windows10 64 bit操作系统的计算机。实验采用VS2017作为开发平台,结合OpenCV4.1计算机视觉库和CloudCompare软件编写实验程序。

    图  2  实验平台
    Figure  2.  Experimental platform

    (1) 通过测量相机拍摄多幅不同位置棋盘格标定板的图像,对图像中棋盘格的角点进行检测与提取,标定测量相机具体参数。保持线扫描激光器投射出的光平面不变,测量相机拍摄多幅不同位置棋盘格标定板上光条图像,提取光条中心坐标,拟合出光平面方程,完成光平面标定。

    (2) 巷道测量机器人到达模拟巷道的待测区域,测量相机拍摄线扫描激光器投射在模拟巷道表面的光条图像,在旋转电动机的控制下完成待测区域的全部测量。

    (3) 将拍摄的光条图像导入计算机,对光条图像进行二值化预处理,提取预处理后光条图像中光条中心坐标,结合巷道测量机器人位姿测量结果,重构模拟巷道点云,并进行点云切片处理,实现巷道变形测量。

    (1) 参数标定。测量相机参数标定结果见表1

    表  1  测量相机参数标定结果
    Table  1.  Calibration results of measurement camera parameters
    参数标定结果
    测量相机X轴方向焦距长度/mm747.924 697 190 578 5
    测量相机Y轴方向焦距长度/mm736.549 011 060 198 0
    图像主点像素坐标/pixel(691.827 974 297 265 9,
    371.736 751 442 043 2)
    镜头径向畸变系数(0.086 71,0.965 99,1.622 98)
    镜头切向畸变系数(0.009 27,0.006 03)
    下载: 导出CSV 
    | 显示表格

    通过对16幅棋盘格标定板图像中光条中心上的特征点进行提取,将所有特征点坐标转换到测量相机坐标系下,通过特征点坐标拟合光平面(图3),光平面方程为

    $$ 0.981 \; 9x+0.004 \; 9y+0.189 \; 4{\textit{z}}+145.318=0 $$ (4)
    图  3  拟合的光平面
    Figure  3.  Fitted light plane

    图3可看出,特征点基本分布在拟合得到的光平面上,表明拟合的光平面方程误差较小,满足精度要求。

    (2) 模拟巷道点云重构。使用巷道测量机器人对模拟巷道进行测量,对测量相机拍摄的模拟巷道表面光条图像进行处理,重构模拟巷道点云,如图4所示。可看出重构的局部光条点云数量丰富且连续清晰,重构的模拟巷道点云形状结构与模拟巷道形状结构基本一致。

    图  4  模拟巷道点云重构效果
    Figure  4.  Simulated roadway point cloud reconstruction effect

    (3) 模拟巷道变形分析。对模拟巷道设置不同程度的变形量(即模拟巷道变形实际值),重构不同变形量下模拟巷道点云,并进行点云切片,如图5所示,获得对应的模拟巷道变形测量值,见表2

    表  2  模拟巷道变形测量结果
    Table  2.  Simulated roadway deformation measurement results mm
    巷道变形前实际值巷道变形后实际值巷道变形前测量值巷道变形后测量值巷道变形实际值巷道变形测量值测量误差
    1 800.0001 780.0001 837.4621 810.52120.00026.9416.941
    1 780.0001 750.0001 810.5211 773.58530.00036.9366.936
    1 750.0001 710.0001 773.5851 726.70440.00046.8816.881
    1 710.0001 650.0001 726.7041 660.08560.00066.6196.619
    1 650.0001 570.0001 660.0851 574.08380.00086.0026.002
    下载: 导出CSV 
    | 显示表格
    图  5  不同变形量下模拟巷道点云切片
    Figure  5.  Simulated roadway point cloud slices under different deformations

    图5可看出,随着模拟巷道变形量增加,点云切片在变形处的变形趋势更加明显,表明系统可有效监测巷道变形。从表2可看出,系统测量误差小于7 mm。

    基于线扫描原理的煤矿巷道变形测量系统通过巷道测量机器人获取煤矿巷道点云数据,结合机器人位姿追踪系统的测量结果对点云数据进行拼接,精确重构煤矿巷道点云,并对重构的煤矿巷道点云进行切片处理,实现煤矿巷道变形快速测量。实验结果表明,该系统测量误差小于7 mm,可用于具备煤矿巷道表面类似结构的大型曲面三维模型点云重构与变形监测。

  • 图  1   基于线扫描原理的煤矿巷道变形测量系统组成

    Figure  1.   Composition of coal mine roadway deformation measurement system based on line scanning principle

    图  2   实验平台

    Figure  2.   Experimental platform

    图  3   拟合的光平面

    Figure  3.   Fitted light plane

    图  4   模拟巷道点云重构效果

    Figure  4.   Simulated roadway point cloud reconstruction effect

    图  5   不同变形量下模拟巷道点云切片

    Figure  5.   Simulated roadway point cloud slices under different deformations

    表  1   测量相机参数标定结果

    Table  1   Calibration results of measurement camera parameters

    参数标定结果
    测量相机X轴方向焦距长度/mm747.924 697 190 578 5
    测量相机Y轴方向焦距长度/mm736.549 011 060 198 0
    图像主点像素坐标/pixel(691.827 974 297 265 9,
    371.736 751 442 043 2)
    镜头径向畸变系数(0.086 71,0.965 99,1.622 98)
    镜头切向畸变系数(0.009 27,0.006 03)
    下载: 导出CSV

    表  2   模拟巷道变形测量结果

    Table  2   Simulated roadway deformation measurement results mm

    巷道变形前实际值巷道变形后实际值巷道变形前测量值巷道变形后测量值巷道变形实际值巷道变形测量值测量误差
    1 800.0001 780.0001 837.4621 810.52120.00026.9416.941
    1 780.0001 750.0001 810.5211 773.58530.00036.9366.936
    1 750.0001 710.0001 773.5851 726.70440.00046.8816.881
    1 710.0001 650.0001 726.7041 660.08560.00066.6196.619
    1 650.0001 570.0001 660.0851 574.08380.00086.0026.002
    下载: 导出CSV
  • [1] 曾正良. 巷道变形破坏的因素及控制方法[J]. 煤炭技术,2008,27(4):141-143.

    ZENG Zhengliang. Foadway on factors of laneways distorted and control methods reasonable[J]. Coal Technology,2008,27(4):141-143.

    [2] 姜阔胜,李良和,韩刘帮,等. 基于激光雷达技术的矿井巷道变形在线监测[J]. 北京信息科技大学学报(自然科学版),2020,35(5):1-4.

    JIANG Kuosheng,LI Lianghe,HAN Liubang,et al. On-line monitoring of mine tunnel deformation based on laser radar technology[J]. Journal of Beijing Information Science and Technology University(Natural Sciences),2020,35(5):1-4.

    [3] 王国法,杜毅博. 智慧煤矿与智能化开采技术的发展方向[J]. 煤炭科学技术,2019,47(1):1-10.

    WANG Guofa,DU Yibo. Development direction of intelligent coal mine and intelligent mining technology[J]. Coal Science and Technology,2019,47(1):1-10.

    [4] 徐剑坤,彭威,王震威. 巷道变形数字摄影测量实验研究[J]. 煤矿安全,2013,44(10):63-65.

    XU Jiankun,PENG Wei,WANG Zhenwei. Experimental study on roadway deformation measuring based on digital photogrammetry[J]. Safety in Coal Mines,2013,44(10):63-65.

    [5] 王海军,刘再斌,雷晓荣,等. 煤矿巷道三维激光扫描关键技术及工程实践[J]. 煤田地质与勘探,2022,50(1):109-117.

    WANG Haijun,LIU Zaibin,LEI Xiaorong,et al. Key technologies and engineering practice of 3D laser scanning in coal mine roadways[J]. Coal Geology & Exploration,2022,50(1):109-117.

    [6] 郭良林,周大伟,张德民,等. 基于激光点云的巷道变形监测及支护研究[J]. 煤矿安全,2020,51(8):178-183.

    GUO Lianglin,ZHOU Dawei,ZHANG Demin,et al. Research on deformation monitoring and supporting of tunnel based on laser point cloud[J]. Safety in Coal Mines,2020,51(8):178-183.

    [7] 金卓,王占利,张自宾. 基于三维激光扫描的矿井开拓巷道围岩变形测量技术研究[J]. 应用激光,2020,40(6):1120-1125.

    JIN Zhuo,WANG Zhanli,ZHANG Zibin. Research on measurement technology of surrounding rock deformation of mine development roadway based on 3D laser scanning[J]. Applied Laser,2020,40(6):1120-1125.

    [8] 刘晓阳,胡乔森,李慧娟. 基于三维激光扫描技术的巷道顶板监测研究[J]. 中国煤炭,2017,43(7):81-84,107.

    LIU Xiaoyang,HU Qiaosen,LI Huijuan. Research on coal mine roof monitoring based on three-dimensional laser scanning technology[J]. China Coal,2017,43(7):81-84,107.

    [9] 古鑫桐,鲁东明,刁常宇. 复杂背景下棋盘格角点亚像素识别[J]. 计算机工程与应用,2010,46(26):145-147,169.

    GU Xintong,LU Dongming,DIAO Changyu. Rapid chessboard corner extraction in complex background[J]. Computer Engineering and Applications,2010,46(26):145-147,169.

    [10] 席剑辉,包辉. 基于改进质心法的激光条纹中心提取算法[J]. 火力与指挥控制,2019,44(5):149-153.

    XI Jianhui,BAO Hui. Laser stripe center extraction algorithm based on improved centroid method[J]. Fire Control & Command Control,2019,44(5):149-153.

    [11] 张小艳,王晓强,白福忠,等. 基于改进灰度重心法的光带中心提取算法[J]. 激光与红外,2016,46(5):622-626. DOI: 10.3969/j.issn.1001-5078.2016.05.022

    ZHANG Xiaoyan,WANG Xiaoqiang,BAI Fuzhong,et al. Optical belt center extraction algorithm based on improved grayscale center of gravity method[J]. Laser and Infrared,2016,46(5):622-626. DOI: 10.3969/j.issn.1001-5078.2016.05.022

    [12] 周富强,张广军,江洁. 线结构光视觉传感器的现场标定方法[J]. 机械工程学报,2004,40(6):169-173. DOI: 10.3321/j.issn:0577-6686.2004.06.033

    ZHOU Fuqiang,ZHANG Guangjun,JIANG Jie. Field calibration method for line structured light vision sensor[J]. Journal of Mechanical Engineering,2004,40(6):169-173. DOI: 10.3321/j.issn:0577-6686.2004.06.033

    [13] 张瑞峰,舒子芸,南刚雷. 一种新的线结构光标定方法[J]. 激光与光电子学进展,2019,56(22):82-89.

    ZHANG Ruifeng,SHU Ziyun,NAN Ganglei. Calibration method for line-structured light[J]. Laser & Optoelectronics Progress,2019,56(22):82-89.

    [14] 郭晶晶,贺赛先. 手持式激光扫描仪激光点云数据拼接方法[J]. 电光与控制,2018,25(1):88-91.

    GUO Jingjing,HE Saixian. A laser point cloud data splicing method for hand-held laser scanners[J]. Electronics Optics & Control,2018,25(1):88-91.

    [15] 杨俊哲,姜龙飞,李梅,等. 基于激光点云的掘进工作面三维场景重建技术研究[J]. 煤炭科学技术,2021,49(增刊1):40-45.

    YANG Junzhe,JIANG Longfei,LI Mei,et al. Research on extraction technology of coal wall and roof boundary based on laser point cloud[J]. Coal Science and Technology,2021,49(S1):40-45.

  • 期刊类型引用(3)

    1. 陈晓伟,陈雷,李猛,胡成军,宋磊,袁鹏喆. 一种长巷道形变监测中轴线提取及断面构建方法. 工矿自动化. 2024(02): 35-41 . 本站查看
    2. 戴文祥,陈雷,闫鹏飞,王利欣,李波,袁鹏喆. 基于三维激光扫描的煤矿巷道形变监测方法. 工矿自动化. 2023(10): 61-67+95 . 本站查看
    3. 杨洪涛,何健,张双双,沈梅. 基于GWO模糊PI的永磁同步电机动态性能优化. 安徽理工大学学报(自然科学版). 2022(05): 1-8 . 百度学术

    其他类型引用(2)

图(5)  /  表(2)
计量
  • 文章访问数:  275
  • HTML全文浏览量:  45
  • PDF下载量:  35
  • 被引次数: 5
出版历程
  • 收稿日期:  2022-06-02
  • 修回日期:  2022-07-16
  • 网络出版日期:  2022-07-03
  • 刊出日期:  2022-08-08

目录

/

返回文章
返回