Coal mine roadway environment-oriented LiDAR and IMU fusion positioning and mapping method
-
摘要: 针对煤矿井下喷浆表面、对称巷道等引起移动机器人自主导航定位与建图失效问题，提出了一种面向煤矿巷道环境的激光雷达(LiDAR)与惯性测量单元（IMU)融合的实时定位与建图方法。首先对原始点云进行分割，利用IMU预积分位姿去除原始点云非线性运动畸变，并对得到的点云进行线、面特征提取。然后将相邻帧的线、面特征进行匹配，在分层位姿估计过程中融合IMU预积分所得到的位姿初值，减少计算迭代次数，提高特征点匹配的精度，解算出当前帧的位姿。最后向因子图中插入局部地图因子、IMU因子、关键帧因子，对位姿进行优化约束，对关键帧与局部地图进行匹配，通过八叉树结构实现地图构建。为验证所提方法的定位性能与建图效果，搭建了Autolabor 、VLP−16 LiDAR和Ellipse−N IMU的实验平台进行验证，并与LeGO−LOAM、LIO−SAM方法进行定性定量对比分析。结果表明：① 在煤矿巷道环境中，面向煤矿巷道环境的LiDAR与IMU融合的实时定位与建图方法三轴方向的绝对定位误差的均值和中值均小于32 cm；对X轴的位姿估计精度最高，其累计误差为1.65 m，位置偏差为2.97 m，建图效果整体良好，建图轨迹未发生漂移；构建的点云地图在完整性和几何结构真实性方面均有着优秀的表现，可以直观反映巷道环境的实际情况，具有良好的鲁棒性。这是因为点云匹配之后进行了分层位姿估计，多因子优化可有效降低全局累计误差，对轨迹精度和地图的一致性提升具有重要作用。② 在楼道走廊环境中，面向煤矿巷道环境的LiDAR与IMU融合的实时定位与建图方法三轴的误差均小于1.01 m，误差均值为5~15 cm，误差范围小，精度高；累计位置偏差仅为1.67 m；完整性与环境匹配均有良好的性能。这是由于通过增加关键帧因子，插入因子图对其新增节点相关变量进行优化，降低了位姿估计漂移，定位与建图精度相对较高。Abstract: The failure of autonomous navigation, positioning and mapping of the mobile robot is caused by the shotcrete surface and symmetrical roadway in coal mine. In order to solve this problem, a real-time positioning and mapping method based on LiDAR and IMU fusion is proposed for the roadway environment in the coal mine. Firstly, the original point cloud is segmented. The IMU pre-integration pose is used to remove the nonlinear motion distortion of the original point cloud. The line and surface feature extraction is carried out on the obtained point cloud. Secondly, the line and surface features of adjacent frames are matched. The initial pose value obtained by IMU pre-integration is fused in the hierarchical pose estimation process. The calculation iteration times are reduced, the matching precision of feature points is improved, and the pose of the current frame is solved. Finally, the local map factor, IMU factor and key frame factor are inserted into the factor graph to optimize and constrain the pose. The key frame is matched with the local map, and the map construction is realized through an octree structure. In order to verify the positioning performance and mapping effect of the proposed method, the experimental platforms of Autolabor, VLP-16 LiDAR and Ellipse-N IMU are built. The qualitative and quantitative comparison between the proposed method and LeGO-LOAM and LIO-SAM methods is carried out. The results show the following points. ① In the coal mine roadway environment, the average and median of the absolute positioning error in the three axes direction of the real-time positioning and mapping method based on LiDAR and IMU fusion are less than 32 cm. The position and attitude estimation precision in the X-axis is the highest, with a cumulative error of 1.65 m and a position deviation of 2.97 m. The overall mapping effect is good, and the mapping track does not drift. The point cloud map constructed has excellent performance in integrity and geometric structure authenticity. The map can directly reflect the actual situation of the roadway environment, and has good robustness. This is because hierarchical pose estimation is performed after point cloud matching. The multi-factor optimization can effectively reduce the global cumulative error, which plays an important role in improving track precision and map consistency. ② In the corridor environment, the three-axis error of the real-time positioning and mapping method based on LiDAR and IMU fusion for the coal mine roadway environment is less than 1.01 m. The average error is 5~15 cm, with small error range and high precision. The accumulated position deviation is only 1.67 m. Integrity and environment matching have good performance. This is because by adding keyframe factors and inserting factor graphs to optimize the related variables of the newly added nodes, the drift of pose estimation is reduced. The positioning and mapping precision is relatively high.
-
0. 引言
煤矿安全生产监控系统中子系统种类较多，各个子系统的设备型号繁杂[1-2]。随着井下开采区域不断扩大，新老设备共存的情况一直存在，缺乏统一的通信协议与数据标准，形成“信息孤岛”，设备信息异构导致数据语义完备性低及信息交互数据碎片化。因此需解决煤矿安全生产监控系统数据信息共享问题。
针对目前煤矿普遍存在的“信息孤岛”问题，文献[3-4]提出一种基于资源模型和受限应用协议的智慧矿山信息交互方法。文献[5]提出一种通过智能网关将异构协议转换为统一协议的方法，在井下实现信息交互。文献[6]提出利用CORBA组件对煤矿系统进行集成。文献[7-8]提出一种基于物联网的安全监控集成平台。我国煤矿信息化建设中，各个子系统基本实现了网络集成，但所获得的海量数据无法有效共享，集成分析无法进行。
OPC UA（OLE for Process Control Unified Architecture，用于过程控制的OLE统一架构）通过建立节点信息模型描述生产设备复杂的数据结构，通过统一的数据接口，为生产提供可互操作、高性能且包含丰富语义信息的通信模式[9]。OPC UA是对OPC工业标准的技术补充，可实现对所有使用OPC UA协议的设备进行相互访问和控制[10]。煤矿OPC UA研发目前处于起步阶段，综采、通风、排水等部分控制系统已通过OPC UA协议开发通信接口进行数据接入，解决了现场异构设备通信协议不同带来的数据集成和传输问题[11-13]。由于OPC UA具有平台独立性、可扩展性、可互操作性、高可靠性、可连接互联网等特点[14]，本文在分析煤矿安全生产监控系统实际设备与信息模型映射关系的基础上，提出了一种基于OPC UA的煤矿安全生产监控系统信息模型，该模型采用统一的格式和语言进行描述，实现煤矿新老设备、不同厂家设备之间的无障碍信息共享，从而使煤矿生产中各个子系统的数据实现语义互通，统一展示给用户。
1. OPC UA简介
1.1 OPC UA架构
OPC UA采用SOA（Service-Oriented Architecture，面向服务架构），将数据访问、事件报警等功能集成在地址空间中，使用HTTP信道SOAP（Simple Object Access Protocol，简单对象访问协议）编码格式的网络服务。OPC UA保留了OPC的客户端/服务器架构，拥有暴露信息的服务器和使用信息的客户端，以此来实现应用程序之间的信息交互。
相比于OPC，OPC UA最大的创新是增加了信息建模功能。例如，在OPC中甲烷传感器仅提供甲烷浓度，而在OPC UA中不仅能采集到甲烷浓度，还可获得甲烷传感器的类型、编号等具体信息。OPC UA信息建模过程中，将需要采集信息的设备或系统作为对象，提取对象的属性构建信息模型。信息模型由节点和节点之间的引用组成，节点可分为对象、变量和方法等8种类型，引用体现了节点之间的层次关系，节点和引用共同构成信息模型中的节点网络。信息模型在OPC UA服务器的地址空间中供客户端访问，如图1所示。
1.2 OPC UA建模流程
OPC UA建模流程：① 获取需求；② 建立信息模型；③ 实例化信息模型；④ 转换为XML（Extensible Markup Language，可扩展标记语言）格式。
根据应用场景并结合领域规范，获取设备的类型、属性和设备之间的关系，这是信息模型建立的前提，也是信息模型能够与应用现场相结合的关键。信息模型最终采用XML文件描述，具有良好的通用性，支持跨平台使用。
1.3 OPC UA信息传输
OPC UA服务器与客户端之间经通信栈完成网络层的信息传输。通信栈由编码层、安全层和传输层组成，数据编码采用二进制或XML格式，通过TCP（Transmission Control Protocol，传输控制协议）进行网络连接。客户端与服务器之间上下文通信过程如图2所示。首先，建立Socket套接字，客户端向服务器发送连接请求，服务器返回响应消息，建立TCP层的初始连接。然后，打开安全通道，将套接字与安全通道绑定，进行信息加密。最后，客户端发送会话请求，服务器返回响应后建立并激活会话，开始上下文通信。
![]()
图 2 客户端与服务器之间上下文通信过程Figure 2. Context communication process between client and server2. 煤矿安全生产监控系统信息模型
煤矿安全生产监控系统按功能可分为煤矿安全监控系统、煤矿井下人员位置监控系统、矿井火灾监控系统、煤矿带式输送机监控系统、煤矿供电系统、瓦斯抽采监控系统等。由于煤矿安全生产监控系统规模大、设备复杂，在对其进行信息建模时，应满足可扩展性、完整性要求。根据煤矿安全生产监控系统相关信息和OPC UA信息模型通用建模规则，得出煤矿安全生产监控系统实际设备与信息模型的映射关系，如图3所示。
![]()
图 3 实际设备与信息模型的映射关系Figure 3. Mapping relationship between actual equipment and information model信息模型基础结构如图4所示。将按功能划分的各个子系统和组成子系统的设备定义为组件，将各个子系统称为功能组件集（简称功能集），设备称为设备组件集（简称设备集），各个组件所包含的所有数据信息的集合称为属性集。各个组件都可通过属性集进行描述，属性集和组件之间允许嵌套和继承。功能集中各功能组件通过静态属性集及动态属性集进行描述（根据信息数据的性质，将属性集分为静态属性集和动态属性集，静态属性表示设备固有的属性，例如设备的编号、名称，采集数据的类型等，动态属性表示系统开启时变化的数据，例如水泵排水量、通风机运行状态、各类传感器采集的实时数据等）。在信息模型基础结构确定的基础上，对煤矿安全生产监控系统进行数字化和模型化描述，形成信息模型。
基于OPC UA的煤矿安全生产监控系统信息模型整体架构如图5所示。由于不同子系统的功能及所包含的设备不同，建立模型的信息也不同。当煤矿安全生产监控系统中需要扩展新的功能时，在功能集进行扩展，构建新的模块化组件。当子系统中需要增添新的设备时，可在设备集中增加新的组件，保证信息模型的可扩展性。
![]()
图 5 基于OPC UA的煤矿安全生产监控系统信息模型整体架构Figure 5. Overall structure of information model of coal mine safety production monitoring system based on OPC UA以瓦斯抽采监控系统信息模型为例，其由属性集和设备集组成，主要描述井下瓦斯体积分数和实际设备运行状态。静态属性包括系统编号、系统组成、系统功能等；动态属性包括抽采管道状态、抽放站环境状态、设备状态、供气管道状态和储气罐状态。抽采管道状态主要包括抽采管路中CH4体积分数、流量、压力、CO体积分数等；抽放站环境状态主要包括瓦斯抽放泵站室内和井下临时抽放泵站下风侧CH4体积分数、O2体积分数等；设备状态主要包括电动机温度、抽采泵轴温度、抽采泵运行/停止、电流、电压等；供气管道状态主要包括管道正压、温度、CH4体积分数、流量供气阀开度等；储气罐状态主要包括密封水位、密封水温、罐内CH4体积分数等。设备集包含甲烷传感器、氧气传感器、风压传感器等用于数据采集的传感器，用于数据分析处理与数据传输的控制器及用于执行数据处理结果的光电报警器、甲烷断电仪、甲烷闭锁装置。依据设备集中设备类型，建立瓦斯抽采监控系统信息模型，如图6所示，各个设备的属性可由父级设备的属性继承而来，也可扩展设备的自身属性。
瓦斯抽采监控系统信息模型仅为抽象的框架，在进行信息模型实例化过程中需要基于实际系统中的设备和功能，按照图6中的类别对框架中各类信息进行填充，形成具有实际意义的信息模型对象。根据传感器的属性进行建模，各个传感器对象可以直接继承传感器类型的属性。以甲烷传感器和氧气传感器为例，对其信息模型进行实例化，如图7所示。
UaModeler提供了地址空间的图形设计，可对信息模型进行图形化设计，用户可快捷地在图形用户界面中添加节点和节点间的引用，快速实现复杂模型，并且可用创建的信息模型自动生成对应的XML文件[15]。因此，采用UaModeler建立传感器信息模型并实例化。建立图形化结构的信息模型后，利用UaModeler自动生成对应信息模型的XML描述文件，并将其导入OPC UA服务器的地址空间。
3. 测试验证
为了验证基于OPC UA的煤矿安全生产监控系统信息模型的可行性，根据信息模型可通过地址空间向客户端展示的原理，使用第三方客户端UaExpert连接服务器对信息模型进行测试。测试过程所生成的XML描述文件向OPC UA服务器地址空间映射，并运行OPC UA服务器，利用OPC UA客户端读取服务器地址空间，获取信息模型的全部内容。对信息模型测试时，可通过节点变化来判断信息模型是否开发成功。
在Python环境使用asyncua搭建OPC UA服务器，服务器成功启动后，运行第三方客户端UaExpert，输入服务器地址连接到服务器。在UaExpert客户端界面（图8）中，瓦斯抽采监控系统信息模型中的传感器信息均在左侧列表中，点击最右侧窗口可显示节点的基本属性信息，说明服务器加载地址空间成功。
测试结果表明，所建立的信息模型可根据映射规则实现在OPC UA地址空间的映射，并通过OPC UA客户端访问服务器的地址空间，获取各个煤矿安全生产监控子系统中任意对象的属性，验证了使用信息模型实现信息互联互通的可行性。
4. 结论
（1） 以煤矿安全生产监控系统为研究对象，从实际设备与信息模型的映射关系出发，构建了基于OPC UA的煤矿安全生产监控系统信息模型。通过UaModeler实现对信息模型的编辑，在服务器地址空间内实现信息模型实例化，并使用UaExpert验证了信息模型的可行性。
（2） 构建的信息模型具有可扩展性、语义完备性高等特点，能够解决煤矿安全生产监控系统中各子系统难以信息共享的问题。
-
![]()
图 6 场景A（参考点A0—A9）和场景B（参考点B0—B5）的坐标真值
Figure 6. Coordinate ture value of scenario A (reference points A0-A9) and scenario B (reference points B0-B5)
![]()
图 7 场景A、B的绝对定位误差分布
Figure 7. Absolute positioning error distribution of scenarios A and B
![]()
图 8 煤矿巷道场景A 中3种方法建图结果与轨迹
Figure 8. Mapping results and tracks of three methods in coal mine roadway scenarios A
![]()
图 9 楼道走廊场景B中3种方法建图结果与轨迹
Figure 9. Mapping results and tracks of three methods in corridor scenarios B
表 1 实测数据
Table 1 Measured data
数据集 地物
类型移动
目标轨迹
长度/m高差/cm 最大位移
速度/（m·s−1）煤矿巷道A 防护装置 无 279 15 0.8 楼道走廊B 室内建筑 少量 221 10 1.5 
下载: 导出CSV
表 2 3种方法的累计误差
Table 2 Cumulative error of there methods
场景 方法 ΔX/m ΔY/m ΔZ/m 位置
偏差/mA LeGO−LOAM 13.10 16.56 44.39 49.16 LIO−SAM 2.10 1.88 3.04 4.15 本文方法 1.65 1.75 1.74 2.97 B LeGO−LOAM 1.42 1.13 2.33 2.95 LIO−SAM 2.21 3.15 1.05 3.99 本文方法 0.94 0.94 1.01 1.67
下载: 导出CSV
-
[1] 文虎,刘洋,郑学召,等. 矿山救援机器人群设计[J]. 工矿自动化,2019,45(9):34-39. DOI: 10.13272/j.issn.1671-251x.17476 WEN Hu,LIU Yang,ZHENG Xuezhao,et al. Design of mine rescue robot group[J]. Industry and Mine Automation,2019,45(9):34-39. DOI: 10.13272/j.issn.1671-251x.17476
[2] 翟国栋,任聪,王帅,等. 多尺度特征融合的煤矿救援机器人目标检测模型[J]. 工矿自动化,2020,46(11):54-58. DOI: 10.13272/j.issn.1671-251x.2020050033 ZHAI Guodong,REN Cong,WANG Shuai,et al. Object detection model of coal mine rescue robot based on multi-scale feature fusion[J]. Industry and Mine Automation,2020,46(11):54-58. DOI: 10.13272/j.issn.1671-251x.2020050033
[3] 孙金礼,陈杰. 煤矿井下巷道贯通测量精度分析及技术方法[J]. 煤炭科学技术,2010,38(6):112-114,66. DOI: 10.13199/j.cst.2010.06.72.sunjl.025 SUN Jinli,CHEN Jie. Analysis and technical method of linkage survey accruacy for underground mine roadway[J]. Coal Science and Technology,2010,38(6):112-114,66. DOI: 10.13199/j.cst.2010.06.72.sunjl.025
[4] 胡建胜. 煤矿全站仪导线测量误差分析及技术措施研究[J]. 能源技术与管理,2018,43(4):170-172. DOI: 10.3969/j.issn.1672-9943.2018.04.070 HU Jiansheng. Study on error analysis and technical measures of total station traverse measurement in coal mine[J]. Energy Technology and Management,2018,43(4):170-172. DOI: 10.3969/j.issn.1672-9943.2018.04.070
[5] LI D,YAO Yuan,SHAO Zhenfeng,et al. From digital earth to smart earth[J]. Chinese Science Bulletin,2014,59(8):722-733. DOI: 10.1007/s11434-013-0100-x
[6] 蒋萍. LiDAR/IMU组合导航定位算法研究[D]. 南昌: 南昌大学, 2021. JIANG Ping. Research on LiDAR/IMU integrated navigation and positioning algorithm[D]. Nanchang: Nanchang University, 2021.
[7] CHEN Chi,YANG Bisheng,TIAN Mao,et al. Automatic registration of vehicle-borne mobile mapping laser point cloud and sequent panoramas[J]. Acta Geodaetica et Cartographica Sinica,2018,47(2):215.
[8] 陈先中,刘荣杰,张森,等. 煤矿地下毫米波雷达点云成像与环境地图导航研究进展[J]. 煤炭学报,2020,45(6):2182-2192. DOI: 10.13225/j.cnki.jccs.zn20.0316 CHEN Xianzhong,LIU Rongjie,ZHANG Sen,et al. Development of millimeter wave radar imaging and SLAM in underground coal mine environment[J]. Journal of China Coal Society,2020,45(6):2182-2192. DOI: 10.13225/j.cnki.jccs.zn20.0316
[9] DEBEUNNE C,VIVET D. A review of visual-LiDAR fusion based simultaneous localization and mapping[J]. Sensors(Basel,Switzerland),2020,20(7):2068.
[10] CADENA C,CARLONE L,CARRILLO H,et al. Past,present,and future of simultaneous localization and mapping:toward the robust-perception age[J]. IEEE Transactions on Robotics,2016,32(6):1309-1332. DOI: 10.1109/TRO.2016.2624754
[11] 种一帆,冀杰,宫铭钱,等. 半直接法与IMU融合的双目视觉里程计[J]. 西南师范大学学报(自然科学版),2021,46(2):112-120. CHONG Yifan,JI Jie,GONG Mingqian,et al. A stereo visual odometry aided by IMU based on semi-direct method[J]. Journal of Southwest China Normal University(Natural Science Edition),2021,46(2):112-120.
[12] ZHANG Ji,SINGH S. Low-drift and real-time lidar odometry and mapping[J]. Autonomous Robots,2017,41(2):401-416. DOI: 10.1007/s10514-016-9548-2
[13] 周治国,曹江微,邸顺帆. 3D激光雷达SLAM算法综述[J]. 仪器仪表学报,2021,42(9):13-27. DOI: 10.19650/j.cnki.cjsi.J2107897 ZHOU Zhiguo,CAO Jiangwei,DI Shunfan. Overview of 3D Lidar SLAM algorithms[J]. Chinese Journal of Scientific Instrument,2021,42(9):13-27. DOI: 10.19650/j.cnki.cjsi.J2107897
[14] SHAN T X, ENGLOT B, MEYERS D, et al. LIO-SAM: tightly-coupled lidar inertial odometry via smoothing and mapping[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）, Las Vegas, 2021: 5135-5142.
[15] HEMANN G, SINGH S, KAESS M. Long-range GPS-denied aerial inertial navigation with LIDAR localization[C]. IEEE/RSJ International Conference on Inetlligent Robots & Systems, Daejeon, 2016: 1659-1666.
[16] YE Haoyang, CHEN Yuying, LIU Ming, et al. Tightly coupled 3d lidar inertial odometry and mapping[C]. International Conference on Robotics and Automation（ICRA）, Montreal, 2019: 3144-3150.
[17] GENTIL C L,VIDAL-CALLLEJJA T,HUANG Shoudong. IN2LAAMA:inertial lidar localization autocalibration and mapping[J]. IEEE Transactions on Robotics,2021,37(1):275-290. DOI: 10.1109/TRO.2020.3018641
[18] KULKARNI M, DHARMADHIKARI M, TRANZATTO M, et al. Autonomous teamed exploration of subterranean environments using legged and aerial robots[C]. International Conference on Robotics and Automatioan（ICRA）, Philadelphia, 2022: 3306-3313.
[19] FRANK N, TILMAN K, ROBERT K, et al. Mc2SLAM: real-time inertial lidar odometry using two-scan motion compensation[C]. German Conference on Pattern Recognition, Cham, 2018: 60-72.
[20] REN Zhuli,WANG Liguan,BI Lin. Robust GICP-based 3D LiDAR SLAM for underground mining environment[J]. Sensors (Basel Switzerland),2019,19(13):2915. DOI: 10.3390/s19132915
[21] SHAN Tixiao, ENGLOT B. LeGO-LOAM: lightweight and ground-optimized lidar odometry and mapping on variable terrain[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）, Madrid, 2019: 4758-4765.
[22] ZHAO Yue,ZHANG Jian,FU Chiwing,et al. KD-Box:line-segment-based KD-tree for interactive exploration of large-scale time-series data[J]. IEEE Transactions on Visualization and Computer Graphics,2021,28(1):890-900.
-
期刊类型引用(10)
1. 李明，刘亦娟，邹仕强，孙银辉，杨思兵. 韩家村选煤厂电力智能监控系统研究与应用. 中国煤炭. 2024(02): 84-89 . 
百度学术
2. 苏雄，李小龙，贺杰伟. 基于三维GIS的煤矿数据集成自动化监测系统. 自动化与仪表. 2024(03): 121-125 . 百度学术
3. 陈旺，马强，刘治红. 基于数字孪生的车间生产数据感知方法设计及实现. 现代制造工程. 2024(07): 49-60 . 百度学术
4. 徐善智，刘国鹏，翟志伟，林异凤，张文芳. 基于物联网的瓦斯管道输送监控系统设计. 煤矿机械. 2023(09): 178-181 . 百度学术
5. 张晨，安成，谢春雷，孙志杰. 以标准化信息模型打造煤矿综采工作面智能化生产系统. 信息技术与标准化. 2023(11): 69-73 . 百度学术
6. 李伟，叶鸥，刘辉，黄天尘. 基于数字孪生技术的大型煤矿远程智能监控研究. 计算机测量与控制. 2023(11): 204-211 . 百度学术
7. 刘辉，张晓利，黄天尘，赵堃. 基于改进RBF数据融合算法的煤矿井下安全监控研究. 计算机测量与控制. 2023(11): 173-180 . 百度学术
8. 杨征，杨小勇，王宇，龚韩君，祝捷，侯刚，杨斐文，方乾. 区域安全评估模型在煤矿安全管理中的应用研究. 工矿自动化. 2023(12): 94-101+129 . 本站查看
9. 朱延涛. 智能化选煤厂工业通讯平台的研究应用. 煤炭加工与综合利用. 2022(07): 31-33+37 . 百度学术
10. 李国民，章鳌，贺耀宜，高文，黄综浏. 智能矿井多元监控数据集成关键技术研究. 工矿自动化. 2022(08): 127-130+146 . 本站查看
其他类型引用(7)
计量
- 文章访问数: 354
- HTML全文浏览量: 35
- PDF下载量: 64
- 被引次数: 17
