SLAM技术及其在矿山无人驾驶领域的研究现状与发展趋势

崔邵云, 鲍久圣, 胡德平, 袁晓明, 张可琨, 阴妍, 王茂森, 朱晨钟

崔邵云,鲍久圣,胡德平,等. SLAM技术及其在矿山无人驾驶领域的研究现状与发展趋势[J]. 工矿自动化,2024,50(10):38-52. DOI: 10.13272/j.issn.1671-251x.2024070010
引用本文: 崔邵云,鲍久圣,胡德平,等. SLAM技术及其在矿山无人驾驶领域的研究现状与发展趋势[J]. 工矿自动化,2024,50(10):38-52. DOI: 10.13272/j.issn.1671-251x.2024070010
CUI Shaoyun, BAO Jiusheng, HU Deping, et al. Research status and development trends of SLAM technology in autonomous mining field[J]. Journal of Mine Automation,2024,50(10):38-52. DOI: 10.13272/j.issn.1671-251x.2024070010
Citation: CUI Shaoyun, BAO Jiusheng, HU Deping, et al. Research status and development trends of SLAM technology in autonomous mining field[J]. Journal of Mine Automation,2024,50(10):38-52. DOI: 10.13272/j.issn.1671-251x.2024070010

SLAM技术及其在矿山无人驾驶领域的研究现状与发展趋势

基金项目: 江苏省科技成果转化专项资金项目(BA2023035);煤矿采掘机械装备国家工程实验室开放课题项目(GCZX-2023-01);江苏高校优势学科建设工程资助项目(PAPD)。
详细信息
    作者简介:

    崔邵云(1999—),男,山西晋城人,硕士研究生,主要研究方向为煤矿井下激光SLAM,E-mail:1055462124@qq.com

    通讯作者:

    鲍久圣(1979—),男,安徽桐城人,教授,博士,博士研究生导师,主要研究方向为矿山运输及其智能化,E-mail: cumtbjs@cumt.edu.cn

  • 中图分类号: TD67

Research status and development trends of SLAM technology in autonomous mining field

  • 摘要: 无人驾驶是矿山智能化关键技术之一,其中即时定位与地图构建(SLAM)技术是实现无人驾驶的关键环节。为推动SLAM技术在矿山无人驾驶领域的发展,对SLAM技术原理、成熟地面SLAM方案、现阶段矿山SLAM研究现状、未来矿山SLAM发展趋势进行了探讨。根据SLAM技术所使用的传感器,从视觉、激光及多传感器融合3个方面分析了各自的技术原理及相应框架,指出视觉和激光SLAM技术通过单一相机或激光雷达实现,存在易受环境干扰、无法适应复杂环境等缺点,多传感器融合SLAM是目前最佳的解决方法。探究了目前矿山SLAM技术的研究现状,分析了视觉、激光、多传感器融合3种SLAM技术在井工煤矿、露天矿山的适用性与研究价值,指出多传感器融合SLAM是井工煤矿领域的最佳方案,SLAM技术在露天矿山领域研究价值不高。基于现阶段井下SLAM技术存在的难点(随时间及活动范围积累误差、各类场景引起的不良影响、各类传感器无法满足高精度SLAM算法的硬件要求),提出矿山无人驾驶领域SLAM技术未来应向多传感器融合、固态化、智能化方向发展。
    Abstract: Autonomous driving is identified as one of the key technologies for mining intelligence, with simultaneous localization and mapping (SLAM) technology serving as a key link to realize autonomous driving. To advance the development of SLAM technology in autonomous mining, this paper discusses the principles of SLAM technology, mature ground SLAM solutions, the current research status of mining SLAM, and future development trends. Based on the sensors employed in SLAM technology, the study analyzes the technical principles and corresponding frameworks from three aspects: vision, laser, and multi-sensor fusion. It is noted that visual and laser SLAM technologies, which utilize single cameras or LiDAR, are susceptible to environmental interference and cannot adapt to complex environments. Multi-sensor fusion SLAM emerges as the most effective solution. The research examines the status of mining SLAM technology, analyzing the applicability and research value of visual, laser, and multi-sensor fusion SLAM technologies in underground coal mines and open-pit mines. It concludes that multi-sensor fusion SLAM represents the optimal research approach for underground coal mines, while the research value of SLAM technology in open-pit mines is limited. Based on the challenges identified in underground SLAM technology, such as accumulated errors over time and activity range, adverse effects from various scenes, and the inadequacy of various sensors to meet the hardware requirements for high-precision SLAM algorithms, it is proposed that future developments in SLAM technology for autonomous mining should focus on multi-sensor fusion, solid-state solutions, and intelligent development.
  • 无人驾驶是矿山智能化关键技术之一[1],主要包括环境感知、定位建图、规划决策、自动控制等几大部分[2],其中定位建图主要为无人驾驶系统提供地图及位姿信息。地图包含周围环境信息,是无人驾驶系统执行后续规划决策的重要依据,需要随环境变化而实时更新;位姿信息包括无人驾驶设备相对于全局地图的位置及姿态,需要在设备行驶过程中实时更新。对于无人驾驶系统而言,定位建图需确保实时性。同时,地图构建需首先明确自身位姿,将此刻获取的环境信息增加至地图;定位的前提在于环境信息与地图信息的匹配。由此即时定位与地图构建(Simultaneous Localization and Mapping, SLAM)技术应运而生,为无人驾驶实时定位建图提供了强有力的支撑。地面无人驾驶领域针对SLAM技术已展开多年研究,并取得了丰富成果。而矿山无人驾驶领域的SLAM技术尚处于理论研究及实验室验证阶段,具有明显的滞后性。

    为推动SLAM技术在矿山无人驾驶领域的发展,明确未来的研究方向,本文系统总结了SLAM技术研究现状及未来发展趋势。首先阐述了SLAM技术的原理及框架;其次从视觉、激光、多传感器融合3个方面归纳总结了地面主流的SLAM方案,为矿山SLAM技术发展提供可借鉴模板;然后重点探讨了SLAM技术在矿山无人驾驶领域的研究现状,提出以多传感器融合SLAM作为井工煤矿的首选方案;最后结合相关硬件及技术的发展趋势,归纳总结矿山无人驾驶SLAM技术的发展方向。

    SLAM的概念由R. C. Smith和P. Cheeseman[3]于1986年提出,发展至今已有近40 a,SLAM使无人驾驶设备在未知环境中同时实现自身定位与环境地图构建[4]。SLAM系统框架分为数据预处理、前端里程计、后端优化、回环检测和地图构建5个部分,如图1所示。通过数据预处理对环境感知传感器获取的数据进行噪声剔除、有用信息(点云特征、图像灰度等)提取。将预处理后的数据交由前端里程计处理分析,通过特征匹配等手段快速估算相邻数据帧之间无人驾驶设备的位姿变换,此时估计位姿存在误差。后端优化负责全局轨迹优化,得出精确位姿,以构建全局一致性地图。在后端优化过程中,回环检测重复执行,识别相同场景,以实现闭环数据关联,消除前端里程计累计误差。

    图  1  SLAM系统框架
    Figure  1.  Simultaneous localization and mapping(SLAM) system framework

    SLAM技术所使用的环境感知传感器包括相机、激光雷达、惯性测量单元(Inertial Measurement Unit,IMU)等,根据传感器不同将其分为基于相机的视觉SLAM技术、基于激光雷达的激光SLAM技术、多传感器融合SLAM技术[5]

    以相机为基础传感器的视觉SLAM技术获取周围环境信息,经过前后端处理完成位姿估计与地图构建。凭借相机自身成本低、安装方便及所获取环境信息丰富等优点,视觉SLAM技术始终是无人驾驶领域的研究热点[6],众多学者围绕其展开研究。

    文献[7]提出单目即时定位与地图构建(Monocular Simultaneous Localization and Map-ping,Mono−SLAM)算法,实现了30 Hz的视觉实时定位与建图功能。Mono−SLAM首先利用特征检测子与特征描述子实现图像特征提取,然后根据所提取信息确定相邻帧相似特征,最后通过计算相似特征的坐标转换关系完成位姿估计及地图构建。但是Mono−SLAM位姿估计与建图的逐帧优化在同线程执行,计算量较大,仅适合处理环境中的稀疏特征,以建立稀疏地图(图2 (a));未形成“回环检测”的概念,造成误差随算法运行时间及距离不断积累,导致位姿精度、地图质量无法保证。

    图  2  视觉SLAM建图类型
    Figure  2.  Visual SLAM mapping types

    文献[8]针对上述问题,以多线程、关键帧的全新思路提出并行跟踪与地图构建(Parallel Tracking and Mapping,PTAM),其将相机位姿优化及构建地图划分为2个独立线程同时执行,以降低计算压力,节省时间;引入关键帧的概念,基于少量的关键帧图像优化位姿与地图,在不影响精度的同时大幅降低计算量,进一步确保SLAM的实时性。“多线程”及“关键帧”概念为后续相关研究提供了可借鉴思路,在SLAM发展过程中影响深远。但是,累计误差问题仍未得到有效处理,大环境下易产生地图漂移等现象。

    文献[9]针对PTAM的累计误差问题,提出基于词袋模型的回环检测线程,构建了包含位姿估计、地图构建及回环检测三独立线程的基于方向加速分割测试特征检测子和旋转二进制鲁棒独立特征描述子的即时定位与地图构建(Oriented Features from Accelerated Segment Test and Rotated Binary Robust Independent Elementary Features Simultaneous Localization and Mapping,ORB−SLAM)框架(图3)。相较于PTAM,ORB−SLAM框架完善,功能齐全,具有良好的实时性及精度。经过多年发展,ORB−SLAM凭借卓越的性能已成为特征点法视觉SLAM的代表技术之一。不过其仅支持单目相机,易产生尺度漂移、旋转估计失效等问题。随着双目相机、RGB−D相机的成熟,文献[10]提出ORB−SLAM2,增加了双目及RGB−D相机的接口,拓宽了系统的应用范围。同时,由于双目相机及RGB−D相机可以提供深度信息,尺度漂移等问题得到有效抑制。但是ORB−SLAM2所建立的地图较为稀疏,无法还原空间结构,更适合解决对地图密度要求不高的SLAM问题。

    图  3  ORB−SLAM框架
    Figure  3.  Oriented features from accelerated segment test and rotated binary robust independent elementary features simultaneous localization and mapping(ORB-SLAM) framework

    Mono−SLAM、PTAM及ORB−SLAM系列算法可归纳为一类以特征提取与匹配为核心的特征点法视觉SLAM,是视觉SLAM发展较早的一类技术,目前理论已相对成熟。但是由于此类SLAM技术特征提取及匹配大量占用计算资源,且性能受环境特征、光照变化、动态物体等影响,应用范围较窄,仅适合特征明显、光照稳定的小尺度环境。

    针对上述问题,仅提取图像灰度值而无需特征匹配的直接法视觉SLAM技术被提出,并成为当下主要的研究方向。文献[11]在Mono−SLAM和PTAM的基础上提出密集跟踪与地图构建(Density Tracking and Mapping,DTAM),首次实现了基于图像灰度值的位姿估计和地图构建。假设相邻图像帧之间的灰度值不变,根据灰度值是否相同确定相邻图像帧的像素点对应关系,最终通过计算相似像素点坐标关系实现SLAM功能[12]。由于灰度值保留了环境丰富的颜色信息,DTAM可以复原周围环境,构建稠密地图(图2 (b))。但是,大量像素点灰度值的提取工作需要借助高性能的GPU才可完成,对硬件要求较高;当相邻图像帧灰度值变化较大时,像素点灰度值匹配难度加大,性能将断崖式下降。

    为降低直接法视觉SLAM对高性能硬件的要求,同时解决大尺度场景下的定位建图问题,文献[13]提出了大尺度直接单目即时定位与地图构建(Large-Scale Direct Monocular Simultaneous Localization and Mapping,LSD−SLAM),框架如图4所示。LSD−SLAM采取关键帧的思路,仅利用满足阈值条件的关键帧图像进行位姿估计与地图构建,可大大减少计算量。由于其主要对关键帧图像进行优化处理,环境的深度信息存在缺失,构建的地图类型为半稠密地图(图2 (c)),并且同样受限于直接法工作原理,对相机曝光参数、环境亮度变化敏感,当相机快速运动或环境亮度变化明显时极有可能失效。

    图  4  LSD−SLAM框架
    Figure  4.  Large-scale direct monocular simultaneous localization and mapping (LSD-SLAM )framework

    以DTAM、LSD−SLAM为代表的直接法视觉SLAM可控制建图的稠密程度,较特征点法单一的稀疏建图更具优越性,同时灰度值匹配机制使得其在特征缺失场景下仍具备较强的位姿估计和建图能力。但是,直接法视觉SLAM的性能同样受动态物体影响,无法应用于动态场景。

    针对动态环境中视觉SLAM的应用问题,文献[14]通过卷积神经网络预测环境深度,弥补单目相机视觉SLAM在动态环境中深度估计的不足,最终呈现的位姿估计精度明显优于LSD−SLAM。文献[15]将语义分割网络与ORB−SLAM2结合,借助环境语义信息对动态物体进行剔除,提升算法在动态场景的定位精度及鲁棒性。由于深度学习往往需要大量训练成本及高性能GPU,当下较难部署于嵌入式平台,是未来亟待解决的问题。

    激光SLAM以激光雷达为基础传感器感知环境信息,经后续数据处理实现定位建图。由于激光雷达具有测距精度高、不受环境光照影响等优点,不少学者展开了激光SLAM技术的研究。

    前期的激光SLAM研究主要为2D激光SLAM研究。文献[16]将SLAM问题分解为位姿估计和地图特征后验估计2个子问题,前者基于粒子滤波实现,后者基于扩展卡尔曼滤波实现。以此思路构建的快速即时定位与地图构建(Fast Simultaneous Localization and Mapping,Fast−SLAM)可处理非线性系统,构建环境的平面地图。但是,算法执行后期粒子耗散现象严重,导致定位及构图精度骤降。目前已逐渐被淘汰。谷歌提出的Cartographer算法[17]较Fast−SLAM框架更加完善,新增传感器同步等多种功能。其通过创建子图的方式提高数据匹配精度和效率,得到的大量子图可保留丰富的环境信息,有助于大场景建图;在回环检测环节采用分支定界法提升回环检测速度。目前,Cartographer算法是鲁棒性最佳的开源SLAM算法之一,但该算法的计算资源消耗较大,且完整复杂的框架学习难度较大。

    在应用场景相对简单及3D激光雷达技术尚不成熟、成本相对较高的情况下,Fast−SLAM、Cartographer等仅可建立基于2D平面地图(图5 (a))的2D激光SLAM,可满足基本的定位和建图需求,现已成为室内服务机器人、扫地机器人等功能单一智能体的首选定位方案。但是伴随着无人驾驶系统环境感知需求的不断提升及3D激光雷达技术逐渐成熟,可建立基于3D环境地图(图5 (b))的3D激光SLAM成为更具发展前景的定位建图方式。

    图  5  激光SLAM建图类型
    Figure  5.  Laser SLAM mapping types

    文献[18]提出激光雷达里程计与地图构建(LiDAR Odometry and Mapping,LOAM)算法(图6),将定位和建图的复杂问题进行划分,以2种频率、精度不同的算法执行,一种高频率但低精度算法用于激光里程计,估计相邻激光雷达扫描帧的运动,另一种算法以低频率高精度的方式,借助激光里程计获取的运动信息消除点云畸变,对点云进行精确匹配并注册至地图,最终将低频率高精度算法结果即所构建的地图以低频率输出,2种算法的融合结果即估计位姿以高频输出,实现快速定位与高精度建图。但是其框架中不包括后端优化与回环检测环节,易在大尺度场景、空旷环境下出现漂移现象。

    图  6  LOAM框架
    Figure  6.  LiDAR odometry andmapping (LOAM) framework

    文献[19]针对LOAM无回环检测的缺点,提出轻量级地面优化激光里程计与地图构建(Lightweight and Groud-Optimized Lidar Odometry and Mapping,LeGo−LOAM),利用关键帧及局部数据帧构建回环检测所需的Loop−Submap(回环子图)。除此之外,LeGo−LOAM新增地面分割环节,先对激光雷达获取的点云数据进行地面分割,然后将地面点云与非地面点云区分后进行特征匹配,可降低点云数据处理量,满足实时性的同时实现更高精度的位姿估计。但是当地面具有明显坑洼特征,地面分割可能出现漏检或误检,导致算法精度降低。

    文献[20]针对LOAM无法直接应用至固态激光雷达的问题,充分考虑固态激光雷达Livox小视场的特点,通过优化LOAM特征提取环节,提出用于Livox的激光里程计与地图构建(LiDAR Odometry and Mapping for Livox,LOAM−Livox)算法(图7),将激光SLAM的应用研究由单一的传统机械旋转式激光雷达拓展至固态激光雷达。

    图  7  LOAM−Livox框架
    Figure  7.  LiDAR odometry and mapping for Livox (LOAM-Livox) framework

    伴随着深度学习的大规模流行,学者们开始研究基于深度学习的3D激光SLAM算法。文献[21]在LOAM基础上引入语义分割概念和回环检测模块,实现大尺度环境下语义地图的建立。文献[22]引入RangeNet++构建的SuMa++算法,可利用语义分割网络输出的语义信息剔除环境中的动态物体,抗干扰能力较强。文献[23]构建了第1个端到端的3D激光里程计框架,通过单一神经网络模型即可完成全流程的位姿估计,并且精度可媲美LOAM,但其实时性较差。深度学习在激光SLAM中的应用使得精度提升不再需要繁杂的配准、回环检测算法,但其资源消耗较大,对于硬件性能不高的无人驾驶智能体而言,不具备应用条件。

    视觉或激光SLAM技术通过单一相机或激光雷达即可实现,但是单一传感器存在易受环境干扰、无法适应复杂环境等缺点,多传感器融合是目前最佳的解决方法。

    文献[24]基于图优化提出IMU与单目相机融合的单目视觉惯性导航系统(Visual Inertial Navigation System – Monocular,VINS−Mono),框架如图8所示。VINS−Mono前端引入IMU预积分模型,基于相机与IMU的同步量测实时校正视觉估计位姿,后端基于滑动窗口进行图优化,即只根据一定时间间隔内的量测信息进行优化,抑制累计误差的同时避免过度增加计算负担。在VINS−Mono基础上,文献[25-26]分别提出用于移动设备的视觉惯性导航系统(Visual Inertial Navigation System for Mobile Devices,VINS−Mobile)及融合视觉惯性导航系统(Visual Inertial Navigation System – Fusion,VINS−Fusion),前者可应用至移动设备端提供定位,后者支持双目相机,应用范围进一步拓展。不足之处在于,VINS系列算法基于灰度不变假设,且IMU仅能提供短时间的精确位姿,无法长时间应用于光照变化明显场景。

    图  8  VINS−Mono框架
    Figure  8.  Visual inertial navigation system-monocular(VINS-Mono) framework

    文献[27]采用激光雷达−IMU融合的方案,在LeGo−LOAM基础上提出基于平滑与建图的激光−惯性里程计(Lidar-Inertial Odometry via Smoothing and Mapping,LIO−SAM)算法(图9)。其后端引入因子图的概念,各类型数据可作为约束因子对定位建图进行优化,为后续融合其他传感器提供了更为宽泛的接口。凭借良好的性能及易扩展的框架,LIO−SAM成为目前广为人知的多传感器融合算法。不过在退化场景及非结构化场景下,该算法会由于长时间缺少有效精确的观测而失效。

    图  9  LIO−SAM框架
    Figure  9.  Lidar-inertial odometry via smoothing and mapping (LIO-SAM) framework

    为进一步提高SLAM算法的鲁棒性,文献[28]提出一种由激光雷达−相机−IMU融合的基于平滑与建图的激光−视觉−惯性里程计(Lidar-Visual-Inertial Odometry via Smoothing and Mapping,LVI−SAM)算法(图10),由激光雷达与IMU组合成为激光雷达−IMU系统(LiDAR-IMU System,LIS),相机与IMU组合为视觉−IMU系统(Visual-IMU System,VIS)。LIS与VIS既相互独立(可在对方系统失效时独立工作)又相互辅助(LIS提供VIS缺失的深度信息,VIS提供准确的初始位姿),因此该算法具有极佳的鲁棒性。

    图  10  LVI−SAM框架
    Figure  10.  Lidar-visual-inertial odometry via smoothing and mapping(LVI-SAM) framework

    目前,主流的多传感器方案主要包括相机−IMU、激光雷达−IMU及激光雷达−相机−IMU。融合传感器类型越多,构建的SLAM算法鲁棒性越强,但融合难度及成本更高。因此,多传感器融合方案应根据实际应用场景进行选择。

    在深度学习与SLAM算法结合的大趋势下,有部分学者基于多传感器融合SLAM算法开展了相关研究。文献[29]将VGG−16卷积神经网络用于VINS−Mono回环检测环节,有效降低了回环检测累计误差。文献[30]将PointPillars网络应用至动态特征点的检测,便于去除动态目标并恢复静态特征点,理论上减轻了动态环境对激光−IMU融合SLAM的干扰,提高了激光里程计的鲁棒性。

    上文未提及的常见多传感器融合SLAM方案见表1

    表  1  上文未提及的常见多传感器融合SLAM方案
    Table  1.  Common multi-sensor fusion SLAM solutions
    多传感器融合SLAM方案 所属类型 优点 缺点
    激光−惯性里程计与地图构建[31] 激光雷达−IMU 率先开源的激光雷达与IMU融合方案 计算效率不高
    激光−惯性状态估计器[32] 激光雷达−IMU 相较LIO−mapping运行速度提高近1个数量级 复杂程度高
    快速激光−惯性里程计系列[33-35] 激光雷达−IMU 轻量级定位建图,运行效率高;Faster−LIO
    可应用至固态激光雷达
    牺牲了一定精度;更适合小尺度场景
    固态激光雷达−惯性里程计与地图构建[36] 激光雷达−IMU 适用于固态激光雷达的融合方案 狭窄长廊特征匹配退化严重
    激光−惯性里程计与地图构建[37] 激光雷达−IMU 可消除动态物体影响;低漂移;强鲁棒性 实时性较差
    基于关键帧的视觉−惯性SLAM系统[38] 相机−IMU 轨迹估计精确 无回环检测;无法构建环境地图
    基于方向加速分割测试特征检测子和
    旋转二进制鲁棒独立特征描述子的
    视觉−惯性SLAM系统[39]
    相机−IMU 通过融合IMU数据解决快速运动下
    特征点丢失的问题
    无法长时间应用至光照变化明显、
    欠特征场景
    基于方向加速分割测试特征检测子和
    旋转二进制鲁棒独立特征描述子的
    即时定位与地图构建[40]
    相机−IMU 定位精度、实时性好 快速运动场景存在特征丢失问题;
    大尺度场景计算消耗量大
    视觉−激光里程计与地图构建[41] 激光雷达−相机−IMU 精度高;鲁棒性好 无“回环检测”
    激光−单目视觉里程计[42] 激光雷达−相机−IMU 环境信息丰富,便于后续语义分割等操作 精度低于V−LOAM
    稳健实时的激光−惯性−视觉联合估计[43-45] 激光雷达−相机−IMU 实时性强;可拓展性优秀 计算资源需求大
    快速激光−惯性−视觉里程计[46] 激光雷达−相机−IMU 计算效率高;鲁棒性好 硬件要求高
    下载: 导出CSV 
    | 显示表格

    煤炭行业作为我国的支柱型能源行业,是我国国民经济的重要组成部分。但煤炭开采环境复杂、条件恶劣导致相关企业招工难、留工难,推动无人驾驶技术应用成为解决这一难题的首要举措。SLAM作为无人驾驶的关键技术,是矿山无人驾驶领域重要的研究方向。根据应用场景(图11)的不同,当前的SLAM技术在矿山无人驾驶领域的研究可分为面向井工煤矿与面向露天矿山2类。

    图  11  矿山应用场景
    Figure  11.  Mining application scenarios

    井工煤矿深处地下,GNSS信号缺失,而UWB,RFID,WiFi等定位方式均需铺设配套设施,维护成本高。因此相关学者针对井下特殊环境,对凭借设备自身传感器即可实现定位建图的SLAM技术进行了研究。

    由于煤矿井下光照明暗交替,以相机为核心传感器的视觉SLAM技术应用具有先天不足。因此,井下视觉SLAM技术相关研究较少,仅有部分学者就如何优化现有视觉SLAM技术开展了相关研究。

    由于视觉SLAM技术的核心在于图像间的特征匹配,改善图像质量是井下视觉SLAM技术优化的首要举措。文献[47]在视觉SLAM关键图像帧选取环节,引入包括几何结构、特征点均匀分布等多重约束,以提高关键图像帧的质量,增强特征匹配、回环检测等鲁棒性与精度。关键图像帧选取流程如图12所示。

    图  12  文献[47]提出的关键帧选取流程
    Figure  12.  Keyframe selection flow proposed in literature [47]

    文献[48]将图像增强算法应用于视觉SLAM图像处理环节,并针对经过增强处理后的图像存在泛白、光晕的问题,提出改进双边滤波的Retinex算法,进一步改善图像质量,算法流程如图13所示。

    图  13  文献[48]提出的改进双边滤波Retinex算法流程
    Figure  13.  Flow of improved bilateral filtering Retinex algorithm proposed by literature [48]

    文献[49]根据现有的特征检测子、特征描述子及匹配算法得出多种组合方案,并通过多组试验对5种组合方案的关键点匹配数量、耗时及准确度等3项指标进行评价。综合考虑3项指标与实际应用需求后,选择采用不同的方案分别实现视觉SLAM的离线地图构建与实时定位功能:将匹配准确度更高的SURF(Speeded - Up Robust Features,加速稳健特征)+FLANN(Fast Library for Approximate Nearest Neighbors,快速最近邻搜索库)组合用于离线状态地图构建,特征匹配耗时较短的GFTT(Good Features to Track,良好特征追踪)+BRIEF(Binary Robust Independent Elementary Features,二进制鲁棒独立基本特征)+BF(Brute Force,暴力匹配)组合用于实时重定位。但双组合方案将增加视觉SLAM的复杂程度,不利于其拓展应用。

    提高图像质量或更改特征匹配方案的优化方法一定程度上改善了视觉SLAM在井下应用的效果。但现有的优化方案存在以下问题:① 优化方案将增加原SLAM算法的复杂程度,计算资源及硬件要求提高,不便于井下部署。② 相机易受光照条件影响的固有缺陷始终无法彻底改变,导致视觉SLAM在井工煤矿环境应用受限。③ 煤矿地面颠簸造成的图像畸变、长距离巷道导致的特征缺失等问题进一步加剧视觉SLAM技术的应用难度。因此,笔者认为以相机为核心传感器的视觉SLAM方案并不适用于井工煤矿领域。

    激光雷达不受光照影响、抗干扰能力强的优点使得激光SLAM相较于视觉SLAM在井工煤矿领域的应用难度更低。因此,煤矿智能化领域的多数学者以井下激光SLAM为研究方向开展了相关研究。2006年,文献[50]利用高精度激光扫描仪实现了煤矿巷道三维模型重建,验证了激光扫描技术在井下环境应用的可行性。但受限于技术成熟度,仅实现了离线状态下的环境地图构建,并通过手持装备实现,未搭载至可移动设备。2015年,文献[51]对蒙特卡罗定位算法与贝叶斯栅格地图构建算法进行研究、分析后,提出了用于井下搜救机器人的定位与建图算法。但未意识到后端优化、回环检测的重要性,因此框架存在功能单一、定位建图精度不高、鲁棒性不强等缺陷。

    针对框架不完善的问题,部分学者提出以成熟且完整的地面激光SLAM框架为基础进行适应性优化的解决方案。目前,主要的优化方式有2种。

    1) 以不同点云配准方法提高激光SLAM点云匹配精度。文献[52]以井下搜救机器人为研究对象,开展了井下激光SLAM研究,如图14所示。基于激光点云满足正态分布的假设,其将正态分布变换(Normal Distributions Transform,NDT)理论应用至激光SLAM的特征匹配、回环检测、位姿图优化等多处需点云配准的环节,取代传统迭代最近点(Iterative Closest Point,ICP)方法。NDT实际上是一种基于高斯分布的统计配准方法,通过匹配点云的高斯分布函数进行点云配准,受环境噪声、特征缺失等影响较小,因此可提高SLAM算法在井下特征缺失场景的点云配准精度及鲁棒性。不过由于NDT需对点云进行离散化处理,计算量较大,计算速度相对较慢。

    图  14  文献[52]提出的基于NDT的激光SLAM框架
    Figure  14.  Normal distributions transform(NDT )-based laser SLAM framework proposed in literature [52]

    文献[53]采用广义迭代最近点(Generalized Iterative Closest Point,GICP)方法取代传统的ICP方法,对激光SLAM的点云进行配准,如图15所示。相较于ICP方法,GICP可通过点到点、点到面的方式确定对应激光点云点集,因此配准精度更高,可应对井下巷道等特征缺失场景。但是GICP仍高度依赖最近点搜索匹配,当空间点云密集导致搜索量成倍增加时,算法计算效率降低,无法实时运行。

    图  15  文献[53]提出的基于GICP的激光SLAM框架
    Figure  15.  Generalized iterative closest point(GICP)-based laser SLAM framework proposed by literature [53]

    文献[54]针对煤矿长直巷道环境退化问题,提出NDT与ICP方法结合的双配准冗余机制,同时获取点云集合的几何特征及概率分布特征,以此提高激光SLAM在特征缺失场景下点云匹配的准确率,进一步提高位姿估计精度。然而双配准冗余机制增加了SLAM系统的复杂程度。

    2) 针对特定激光SLAM算法在井下应用存在的局限性进行优化。文献[55]针对井下环境中Fast−SLAM的应用难题开展研究,提出利用粒子群优化算法对采样粒子质量进行改善,保证粒子多样性,缓解粒子耗散问题,并在此基础上基于图论优化全局地图及位姿,精度得到进一步提高。但是全局优化的做法势必导致计算速度降低,实时性无法得到充分保证。文献[56]通过求解局部最优的方式维持小基数粒子群,避免占用过多内存,同时设置有效粒子数阈值作为重采样判断依据,以避免粒子丧失多样性,较好地平衡了Fast−SLAM自身计算资源消耗与建图精度之间的关系。为进一步提高煤矿巡检机器人在巷道等结构相似场景的位姿估计精度,将自适应蒙特卡罗定位算法与优化Fast−SLAM算法结合。尽管机器人的定位建图精度及鲁棒性有所加强,但是2类算法同时运行导致计算资源占有量增多,对机器人硬件要求更高。文献[57]针对Fast−SLAM易受煤矿复杂地形噪声影响等问题开展研究。利用二阶中心差分粒子滤波方法取代扩展卡尔曼滤波方法,将一阶泰勒精度提高至二阶,同时避免了复杂的雅可比矩阵计算;然后,引入次优渐消因子动态优化滤波增益,抑制煤矿环境噪声对SLAM状态估计的影响。但其并未考虑粒子耗散问题,仅适合煤矿井下小范围使用。

    针对基于占有栅格的地图构建(Grid Mapping,Gmapping)的井下应用问题,文献[58]引入量子粒子群优化算法,长期保持粒子的多样性,缓解粒子耗散问题。不过,其将Gmapping作为地图构建算法,定位功能主要通过蒙特卡罗定位算法实现,存在计算资源占用率高等问题。

    随着鲁棒性更强的Cartographer算法被提出,学者开始对其进行优化研究。文献[59]针对井下巷道长距离相似场景下Cartographer回环检测常出现的误检现象,提出将Lazy Decision策略引入回环检测环节,等待更多验证回环闭合的环境数据,确保全局优化的准确性。然而此举导致算法计算时间延长,实时性不佳。文献[60]在LeGO−LOAM基础上,针对井工煤矿存在的斜井场景,借助激光点云高度差信息实现坡面点云检测,将其与水平地面点云同时进行分割;为克服井下特征缺失的问题,新增人工路标作为定位特征,但此做法增加了基础设施建设成本,提高了SLAM技术的实际应用门槛。文献[61]以LeGO−LOAM为研究对象,针对其回环检测模块进行改进,通过SegMatch算法实现高频率的回环检测(图16)。SegMatch算法不依赖环境特征,即使处于大规模非结构化的井下环境仍能可靠运行,为SLAM算法提供更为精确的回环检测。但是,单一激光SLAM在复杂煤矿环境的特征检测与匹配性能仍有待进一步提高,采用多传感器融合改善井下定位建图成为首选方案。

    图  16  改进LeGO−LOAM框架
    Figure  16.  Improved LeGO-LOAM framework

    井下多传感器融合方案与路面相同,包括相机−IMU、激光雷达−IMU、相机−激光雷达−IMU 3种。针对3种融合方案,学者分别以不同方式开展了相关研究。

    文献[62]在VINS−Mono框架基础上,以融合点线特征的方法应对井下特征缺失场景,提高SLAM特征匹配的鲁棒性;充分利用IMU采集数据,一方面用以消除相机因矿井地面坑洼产生的图像畸变,另一方面可在视觉里程计失效时提供短时精确的位姿信息,进一步增强SLAM的环境适应性。文献[62]建立的SLAM框架如图17所示。

    图  17  井下相机−IMU融合SLAM框架
    Figure  17.  Underground Camera-IMU fusion SLAM framework

    文献[63]基于ORB−SLAM2实现相机−IMU融合SLAM,为自制煤矿探测机器人提供精确的位姿估计。此外,引入语义分割方法对巷道内存在的动态物体进行剔除,避免对特征匹配环节产生干扰。这是井工煤矿领域较早将深度学习等智能算法应用至SLAM技术的案例,为后续井下SLAM方法研究提供了新的策略与方向。

    然而煤矿井下存在长距离昏暗场景,此场景下视觉里程计失准、IMU误差逐渐累计,导致相机−IMU融合SLAM方案失效,无法满足煤矿井下全场景使用,通用性较差。

    文献[64-67]采用激光雷达−IMU融合方案,一方面通过IMU测量数据消除由于井下路面颠簸导致的激光点云畸变,提高SLAM精度,另一方面在激光雷达突然失效的情形下,由IMU为无人驾驶系统提供短时高精度的位姿数据,增强算法的鲁棒性。井下激光雷达−IMU融合SLAM框架如图18所示。

    图  18  井下激光雷达−IMU融合SLAM框架
    Figure  18.  Underground LiDAR-IMU fusion SLAM framework

    文献[68]为进一步提高激光雷达−IMU融合SLAM的位姿估计准确性,提出一种动态提取特征点的方法,根据煤矿环境变化动态调整特征提取阈值,尽可能在环境特征退化处保留更多特征点,用于局部位姿估计。由于特征点通常以曲率作为判断依据,在长直巷道等曲率变化不突出的场景下仍存在特征提取匹配难题,定位建图仍可能漂移失准。

    文献[69]以LIO−SAM为基础,对其特征提取、特征匹配及回环检测进行全面改进。特征提取方面借助可描述物体表面细节信息的表面法向量进行点云区分,并引入快速点特征直方图局部描述子进一步增强特征提取的鲁棒性;特征匹配分为粗配准与精配准2个阶段,由粗配准提供初始转换关系,避免精配准阶段的ICP算法陷入局部最优;回环检测基于高效的Scan Context实现。改进后的LIO−SAM算法在模拟36 m狭长走廊试验中呈现出不错的应用效果,但实际煤矿环境中的狭长巷道长达千米,算法的实际效果有待进一步验证。

    通过相机−IMU、激光雷达−IMU的融合一定程度上消除了井下复杂工况导致的相机图像畸变、激光点云畸变等问题,使得二者适用于井工煤矿特定场景。同时,IMU的加入令SLAM算法在核心传感器暂时失效的情况下仍可输出高精度的位姿信息。但是,相机−IMU融合SLAM在长时间无光环境中易失效,不具备井下全场景应用的能力;而激光雷达−IMU受井下单一特征影响较大,在长距离巷道场景下定位建图精度有待提升。于是,相机−激光雷达−IMU融合SLAM方案的研究越来越广泛。

    文献[70]基于LVI−SAM框架开展多源信息融合的巷道建图定位研究。针对原LVI−SAM系统视觉RGB信息受煤矿井下光照影响明显的问题,引入图像深度信息,提高视觉子系统在暗光照条件下的鲁棒性,避免完全失效。为提高视觉回环检测的适应性,提出一种结合视觉特征信息及其空间拓扑信息的视觉词袋模型,通过更多信息匹配改善语义分割效果,避免回环检测的误检、漏检;但随着空间尺度变大,环境地图语义信息将加重存储空间负担。

    文献[71]借鉴LVI−SLAM算法框架,提出激光雷达、相机、IMU三者融合的井下SLAM方案(图19),分别构成LIO及VIO子系统。考虑到视觉SLAM在煤矿环境的局限性,最终以LIO为主、VIO为辅完成同时定位与建图工作,VIO可信赖权重根据环境光照条件动态调整。

    图  19  井下相机−激光雷达−IMU融合SLAM框架
    Figure  19.  Underground Camera-LiDAR-IMU fusion SLAM framework

    文献[72]采取不同的策略,通过激光雷达、视觉、IMU无差别提供位姿变化估计值,自适应选取最优位姿作为定位建图依据;针对视觉在井下应用的不足,引入自适应Gamma校正和限制对比度的自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)图像增强算法,提升视觉特征点提取数量和匹配质量。经狭长走廊及煤矿井下环境试验验证,文献[72]所提方法具备较好的定位精度,并可真实反映周围环境信息。

    传感器融合种类越多,SLAM鲁棒性越强,但融合难度及成本越高,需根据应用场景确定最终方案。在井工煤矿领域,安全性是SLAM技术应用的前提,因此相机−激光雷达−IMU融合方案更符合实际需求。

    相较于井工煤矿领域,露天矿山具有开阔环境,可利用全球导航卫星系统实现无人驾驶设备定位。因此,针对露天矿山领域的SLAM研究相对较少。

    文献[73]采用激光雷达与IMU融合SLAM实现露天矿无人驾驶车辆的定位与建图。与常规激光雷达−IMU融合策略相同,借助IMU消除激光点云运动畸变,同时建立激光点云与IMU测量残差函数,对位姿估计进行联合优化。

    文献[74-75]针对露天矿区大场景下点云数据计算复杂问题,利用栅格地图方法进行地面点云分割,并借助高度信息对斜坡点云进行有效分割。在此基础上,其结合LIO−SAM框架重新构建了矿山环境的SLAM算法。文献[76]采用迭代扩展卡尔曼滤波(Iterative Extended Kalman Filter,IEKF)进行激光雷达与IMU数据融合,基于因子图进行优化,提出适用于露天矿山环境的LiDAR/IMU紧耦合SLAM算法。文献[77]重点考虑露天矿山颠簸地面致使的点云畸变加剧现象,利用IMU测量数据对畸变进行校正,并通过多次ICP匹配进行进一步去畸变处理,提高SLAM的精度及鲁棒性。

    SLAM技术起初为运行在室内环境的机器人而设计,作为GNSS信号丢失场景的替补定位手段。受限于传感器的感知范围,SLAM技术并不适合开阔露天矿山场景。因此,SLAM技术在露天矿山领域研究价值不高。

    分析矿山无人驾驶SLAM技术的研究现状可知,井工煤矿领域的SLAM技术更具研究价值,故仅总结现阶段井下SLAM技术存在的难点。

    1) 煤矿环境方面。井工煤矿属于大规模复杂环境,范围大且存在多类型场景。因此,SLAM技术一方面需减少误差随时间及活动范围的积累,另一方面需克服各类场景引起的不良影响,如光照变化明显导致的视觉失效、长直且无纹理巷道导致的特征匹配失败、颠簸路面引起的图像点云畸变等。这导致井下全场景同时定位与建图难度远超地面。

    2) 可使用硬件方面。煤矿安全准入规则要求:各类传感器均需有相应资质的煤安认证。现阶段大多数相关研究所使用的传感器无法直接应用至井下,且当前具备煤安认证的相关传感器性能较差,无法满足高精度SLAM算法对硬件的要求。这导致井下SLAM技术的应用难度较高。

    1) 由于井工煤矿环境存在时空变换特性,井下SLAM技术应具有较强的环境适应性。目前主流的相机−激光雷达−IMU融合SLAM方案仍无法避免粉尘、水雾影响。未来可尝试通过融入强穿透力的毫米波雷达克服这一缺点,使得SLAM技术更具鲁棒性。

    2) 目前SLAM技术所使用的激光雷达以机械旋转式架构为主,仅有少数学者针对新兴的固态激光雷达进行研究。与机械旋转式相比,固态激光雷达具有结构简单、体积小、成本低等优点,是未来激光雷达的研发方向。矿山无人驾驶领域学者应针对固态激光雷达展开SLAM技术研究,降低SLAM应用成本及难度。

    3) 分析SLAM技术研究现状可知,现阶段针对井下特殊环境的优化策略主要是通过图像增强技术、点云配准技术等改善特征匹配、回环检测等SLAM核心环节的精度,模式相对固化。机器学习、深度学习等人工智能技术的发展为SLAM技术发展提供了新的思路。针对特征匹配、回环检测等SLAM核心环节,未来可借助人工智能技术取代传统的ICP、NDT等匹配算法,取得更为准确的匹配效果;同时为环境地图赋予更多语义信息,便于无人驾驶设备更深层次地理解所处环境,执行更为智能的操作,助力煤矿智能化发展。

  • 图  1   SLAM系统框架

    Figure  1.   Simultaneous localization and mapping(SLAM) system framework

    图  2   视觉SLAM建图类型

    Figure  2.   Visual SLAM mapping types

    图  3   ORB−SLAM框架

    Figure  3.   Oriented features from accelerated segment test and rotated binary robust independent elementary features simultaneous localization and mapping(ORB-SLAM) framework

    图  4   LSD−SLAM框架

    Figure  4.   Large-scale direct monocular simultaneous localization and mapping (LSD-SLAM )framework

    图  5   激光SLAM建图类型

    Figure  5.   Laser SLAM mapping types

    图  6   LOAM框架

    Figure  6.   LiDAR odometry andmapping (LOAM) framework

    图  7   LOAM−Livox框架

    Figure  7.   LiDAR odometry and mapping for Livox (LOAM-Livox) framework

    图  8   VINS−Mono框架

    Figure  8.   Visual inertial navigation system-monocular(VINS-Mono) framework

    图  9   LIO−SAM框架

    Figure  9.   Lidar-inertial odometry via smoothing and mapping (LIO-SAM) framework

    图  10   LVI−SAM框架

    Figure  10.   Lidar-visual-inertial odometry via smoothing and mapping(LVI-SAM) framework

    图  11   矿山应用场景

    Figure  11.   Mining application scenarios

    图  12   文献[47]提出的关键帧选取流程

    Figure  12.   Keyframe selection flow proposed in literature [47]

    图  13   文献[48]提出的改进双边滤波Retinex算法流程

    Figure  13.   Flow of improved bilateral filtering Retinex algorithm proposed by literature [48]

    图  14   文献[52]提出的基于NDT的激光SLAM框架

    Figure  14.   Normal distributions transform(NDT )-based laser SLAM framework proposed in literature [52]

    图  15   文献[53]提出的基于GICP的激光SLAM框架

    Figure  15.   Generalized iterative closest point(GICP)-based laser SLAM framework proposed by literature [53]

    图  16   改进LeGO−LOAM框架

    Figure  16.   Improved LeGO-LOAM framework

    图  17   井下相机−IMU融合SLAM框架

    Figure  17.   Underground Camera-IMU fusion SLAM framework

    图  18   井下激光雷达−IMU融合SLAM框架

    Figure  18.   Underground LiDAR-IMU fusion SLAM framework

    图  19   井下相机−激光雷达−IMU融合SLAM框架

    Figure  19.   Underground Camera-LiDAR-IMU fusion SLAM framework

    表  1   上文未提及的常见多传感器融合SLAM方案

    Table  1   Common multi-sensor fusion SLAM solutions

    多传感器融合SLAM方案 所属类型 优点 缺点
    激光−惯性里程计与地图构建[31] 激光雷达−IMU 率先开源的激光雷达与IMU融合方案 计算效率不高
    激光−惯性状态估计器[32] 激光雷达−IMU 相较LIO−mapping运行速度提高近1个数量级 复杂程度高
    快速激光−惯性里程计系列[33-35] 激光雷达−IMU 轻量级定位建图,运行效率高;Faster−LIO
    可应用至固态激光雷达
    牺牲了一定精度;更适合小尺度场景
    固态激光雷达−惯性里程计与地图构建[36] 激光雷达−IMU 适用于固态激光雷达的融合方案 狭窄长廊特征匹配退化严重
    激光−惯性里程计与地图构建[37] 激光雷达−IMU 可消除动态物体影响;低漂移;强鲁棒性 实时性较差
    基于关键帧的视觉−惯性SLAM系统[38] 相机−IMU 轨迹估计精确 无回环检测;无法构建环境地图
    基于方向加速分割测试特征检测子和
    旋转二进制鲁棒独立特征描述子的
    视觉−惯性SLAM系统[39]
    相机−IMU 通过融合IMU数据解决快速运动下
    特征点丢失的问题
    无法长时间应用至光照变化明显、
    欠特征场景
    基于方向加速分割测试特征检测子和
    旋转二进制鲁棒独立特征描述子的
    即时定位与地图构建[40]
    相机−IMU 定位精度、实时性好 快速运动场景存在特征丢失问题;
    大尺度场景计算消耗量大
    视觉−激光里程计与地图构建[41] 激光雷达−相机−IMU 精度高;鲁棒性好 无“回环检测”
    激光−单目视觉里程计[42] 激光雷达−相机−IMU 环境信息丰富,便于后续语义分割等操作 精度低于V−LOAM
    稳健实时的激光−惯性−视觉联合估计[43-45] 激光雷达−相机−IMU 实时性强;可拓展性优秀 计算资源需求大
    快速激光−惯性−视觉里程计[46] 激光雷达−相机−IMU 计算效率高;鲁棒性好 硬件要求高
    下载: 导出CSV
  • [1] 鲍久圣,刘琴,葛世荣,等. 矿山运输装备智能化技术研究现状及发展趋势[J]. 智能矿山,2020,1(1):78-88.

    BAO Jiusheng,LIU Qin,GE Shirong,et al. Research status and development trend of intelligent technologies for mine transportation equipment[J]. Journal of Intelligent Mine,2020,1(1):78-88.

    [2] 鲍久圣,张牧野,葛世荣,等. 基于改进A*和人工势场算法的无轨胶轮车井下无人驾驶路径规划[J]. 煤炭学报,2022,47(3):1347-1360.

    BAO Jiusheng,ZHANG Muye,GE Shirong,et al. Underground driverless path planning of trackless rubber tyred vehicle based on improved A* and artificial potential field algorithm[J]. Journal of China Coal Society,2022,47(3):1347-1360.

    [3]

    SMITH R C,CHEESEMAN P. On the representation and estimation of spatial uncertainty[J]. The International Journal of Robotics Research,1986,5(4):56-68. DOI: 10.1177/027836498600500404

    [4] 刘铭哲,徐光辉,唐堂,等. 激光雷达SLAM算法综述[J]. 计算 机工程与应用,2024,60(1):1-14. DOI: 10.54254/2755-2721/60/20240821

    LIU Mingzhe,XU Guanghui,TANG Tang,et al. Review of SLAM based on lidar[J]. Computer Engineering and Applications,2024,60(1):1-14. DOI: 10.54254/2755-2721/60/20240821

    [5]

    HUANG Leyao. Review on LiDAR-based SLAM techniques[C]. International Conference on Signal Processing and Machine Learning,Stanford,2021:163-168.

    [6] 李云天,穆荣军,单永志. 无人系统视觉SLAM技术发展现状简析[J]. 控制与决策,2021,36(3):513-522.

    LI Yuntian,MU Rongjun,SHAN Yongzhi. A survey of visual SLAM in unmanned systems[J]. Control and Decision,2021,36(3):513-522.

    [7]

    DAVISON A J,REID I D,MOLTON N D,et al. MonoSLAM:real-time single camera SLAM[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):1052-1067. DOI: 10.1109/TPAMI.2007.1049

    [8]

    KLEIN G,MURRAY D. Parallel tracking and mapping for small AR workspaces[C]. 6th IEEE and ACM International Symposium on Mixed and Augmented Reality,Nara,2007:225-234.

    [9]

    MUR-ARTAL R,MONTIEL J M M,TARDOS J D. ORB-SLAM:a versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics,2015,31(5):1147-1163. DOI: 10.1109/TRO.2015.2463671

    [10]

    MUR-ARTAL R,TARDOS J D. ORB-SLAM2:an open-source SLAM system for monocular,stereo,and RGB-D cameras[J]. IEEE Transactions on Robotics,2017,33(5):1255-1262. DOI: 10.1109/TRO.2017.2705103

    [11]

    NEWCOMBE R A,LOVEGROVE S J,DAVISON A J. DTAM:dense tracking and mapping in real-time[C]. International Conference on Computer Vision,Barcelona,2011:2320-2327.

    [12] 张继贤,刘飞. 视觉SLAM环境感知技术现状与智能化测绘应用展望[J]. 测绘学报,2023,52(10):1617-1630.

    ZHANG Jixian,LIU Fei. Review of visual SLAM environment perception technology and intelligent surveying and mapping application[J]. Acta Geodaetica et Cartographica Sinica,2023,52(10):1617-1630.

    [13]

    ENGEL J,STUCKLER J,CREMERS D. Large-scale direct SLAM with stereo cameras[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,Hamburg,2015:1935-1942.

    [14]

    TATENO K,TOMBARI F,LAINA I,et al. CNN-SLAM:real-time dense monocular SLAM with learned depth prediction[C]. IEEE Conference on Computer Vision and Pattern Recognition,Honolulu,2017:6243-6252.

    [15] 尹鋆泰. 动态场景下基于深度学习的视觉SLAM技术研究[D]. 北京:北京邮电大学,2023.

    YIN Juntai. Research on visual SLAM technology based on deep learning in dynamic scene[D]. Beijing:Beijing University of Posts and Telecommunications,2023.

    [16]

    MONTEMERLO M,THRUN S,KOLLER D,et al. FastSLAM:a factored solution to the simultaneous localization and mapping problem[J]. American Association for Artificial Intelligence,2002. DOI: 10.1007/s00244-005-7058-x.

    [17]

    HESS W,KOHLER D,RAPP H,et al. Real-time loop closure in 2D LIDAR SLAM[C]. IEEE International Conference on Robotics and Automation,Stockholm,2016:1271-1278.

    [18]

    ZHANG Ji,SINGH S. LOAM:lidar odometry and mapping in real-time[J]. Robotics:Science and Systems,2014. DOI: 10.15607/RSS.2014.X.007.

    [19]

    SHAN Tixiao,ENGLOT B. LeGO-LOAM:lightweight and ground-optimized lidar odometry and mapping on variable terrain[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,Madrid,2018:4758-4765.

    [20]

    LIN Jiarong,ZHANG Fu. Loam livox:a fast,robust,high-precision LiDAR odometry and mapping package for LiDARs of small FoV[C]. IEEE International Conference on Robotics and Automation,Paris,2020:3126-3131.

    [21]

    LI Lin,KONG Xin,ZHAO Xiangrui,et al. SA-LOAM:semantic-aided LiDAR SLAM with loop closure[C]. IEEE International Conference on Robotics and Automation,Xi'an,2021:7627-7634.

    [22]

    CHEN X,MILIOTO A,PALAZZOLO E,et al. SuMa++:efficient LiDAR-based semantic SLAM[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,Macau,2019:4530-4537.

    [23]

    WANG Guangming,WU Xinrui,JIANG Shuyang,et al. Efficient 3D deep LiDAR odometry[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2023,45(5):5749-5765.

    [24]

    QIN Tong,LI Peiliang,SHEN Shaojie. VINS-mono:a robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics,2018,34(4):1004-1020. DOI: 10.1109/TRO.2018.2853729

    [25]

    LI Peiliang,QIN Tong,HU Botao,et al. Monocular visual-inertial state estimation for mobile augmented reality[C]. International Symposium on Mixed and Augmented Reality,Nantes,2017:11-21.

    [26]

    QIN Tong,PAN Jie,GAO Shaozu,et al. A general optimization-based framework for local odometry estimation with multiple sensors[EB/OL]. (2019-01-11)[2024-06-22]. https://arxiv.org/abs/1901.03638.

    [27]

    SHAN Tixiao,ENGLOT B,MEYERS D,et al. LIO-SAM:tightly-coupled lidar inertial odometry via smoothing and mapping[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,Las Vegas,2020:5135-5142.

    [28]

    SHAN Tixiao,ENGLOT B,RATTI C,et al. LVI-SAM:tightly-coupled lidar-visual-inertial odometry via smoothing and mapping[C]. IEEE International Conference on Robotics and Automation,Xi'an,2021:5692-5698.

    [29] 祝晓轩. 基于单目相机与IMU融合的SLAM系统研究[D]. 青岛:青岛大学,2023.

    ZHU Xiaoxuan. Research on SLAM system based on monocular camera and IMU fusion[D]. Qingdao:Qingdao University,2023.

    [30] 秦晓辉,周洪,廖毅霏,等. 动态环境下基于时序滑动窗口的鲁棒激光SLAM系统[J]. 湖南大学学报(自然科学版),2023,50(12):49-58.

    QIN Xiaohui,ZHOU Hong,LIAO Yifei,et al. Robust laser SLAM system based on temporal sliding window in dynamic scenes[J]. Journal of Hunan University(Natural Sciences),2023,50(12):49-58.

    [31]

    YE Haoyang,CHEN Yuying,LIU Ming. Tightly coupled 3D lidar inertial odometry and mapping[C]. International Conference on Robotics and Automation,Montreal,2019:3144-3150.

    [32]

    QIN Chao,YE Haoyang,PRANATA C E,et al. LINS:a lidar-inertial state estimator for robust and efficient navigation[C]. IEEE International Conference on Robotics and Automation,Paris,2020:8899-8906.

    [33]

    XU Wei,ZHANG Fu. FAST-LIO:a fast,robust LiDAR-inertial odometry package by tightly-coupled iterated Kalman filter[J]. IEEE Robotics and Automation Letters,2021,6(2):3317-3324. DOI: 10.1109/LRA.2021.3064227

    [34]

    XU Wei,CAI Yixi,HE Dongjiao,et al. FAST-LIO2:fast direct LiDAR-inertial odometry[J]. IEEE Transactions on Robotics,2022,38(4):2053-2073. DOI: 10.1109/TRO.2022.3141876

    [35]

    BAI Chunge,XIAO Tao,CHEN Yajie,et al. Faster-LIO:lightweight tightly coupled lidar-inertial odometry using parallel sparse incremental voxels[J]. IEEE Robotics and Automation Letters,2022,7(2):4861-4868. DOI: 10.1109/LRA.2022.3152830

    [36]

    LI Kailai,LI Meng,HANEBECK U D. Towards high-performance solid-state-LiDAR-inertial odometry and mapping[J]. IEEE Robotics and Automation Letters,2021,6(3):5167-5174. DOI: 10.1109/LRA.2021.3070251

    [37]

    ZHAO Shibo,FANG Zheng,LI Haolai,et al. A robust laser-inertial odometry and mapping method for large-scale highway environments[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,Macau,2019:1285-1292.

    [38]

    LEUTENEGGER S,LYNEN S,BOSSE M,et al. Keyframe-based visual–inertial odometry using nonlinear optimization[J]. The International Journal of Robotics Research,2015,34(3):314-334. DOI: 10.1177/0278364914554813

    [39]

    MUR-ARTAL R,TARDOS J D. Visual-inertial monocular SLAM with map reuse[J]. IEEE Robotics and Automation Letters,2017,2(2):796-803. DOI: 10.1109/LRA.2017.2653359

    [40]

    CAMPOS C,ELVIRA R,RODRIGUEZ J J G,et al. ORB-SLAM3:an accurate open-source library for visual,visual-inertial,and multimap SLAM[J]. IEEE Transactions on Robotics,2021,37(6):1874-1890. DOI: 10.1109/TRO.2021.3075644

    [41]

    ZHANG Ji,SINGH S. Visual-lidar odometry and mapping:low-drift,robust,and fast[C]. IEEE International Conference on Robotics and Automation,Seattle,2015:2174-2181.

    [42]

    GRAETER J,WILCZYNSKI A,LAUER M. LIMO:lidar-monocular visual odometry[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,Madrid,2018:7872-7879.

    [43]

    LIN Jiarong,ZHENG Chunran,XU Wei,et al. R(2)LIVE:a robust,real-time,LiDAR-inertial-visual tightly-coupled state estimator and mapping[J]. IEEE Robotics and Automation Letters,2021,6(4):7469-7476. DOI: 10.1109/LRA.2021.3095515

    [44]

    LIN Jiarong,ZHANG Fu. R3LIVE++:a robust,real-time,RGB-colored,LiDAR-rnertial-visual tightly-coupled state estimation and mapping package[C]. International Conference on Robotics and Automation,Philadelphia,2022:10672-10678.

    [45]

    LIN Jiarong,ZHANG Fu. R3LIVE++:a robust,real-time,radiance reconstruction package with a tightly-coupled LiDAR-inertial-visual state estimator[J]. IEEE transactions on pattern analysis and machine intelligence,2024. DOI: 10.1109/TPAMI.2024.3456473.

    [46]

    HENG Chunran,ZHU Qingyan,XU Wei,et al. FAST-LIVO:fast and tightly-coupled sparse-direct LiDAR-inertial-visual odometry[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,Kyoto,2022:4003-4009.

    [47] 高毅楠,姚顽强,蔺小虎,等. 煤矿井下多重约束的视觉SLAM关键帧选取方法[J]. 煤炭学报,2024,49(增刊1):472-482.

    GAO Yinan,YAO Wanqiang,LIN Xiaohu,et al. Visual SLAM keyframe selection method with multiple constraints in underground coal mines[J]. Journal of China Coal Society,2024,49(S1):472-482.

    [48] 冯玮,姚顽强,蔺小虎,等. 顾及图像增强的煤矿井下视觉同时定位与建图算法[J]. 工矿自动化,2023,49(5):74-81.

    FENG Wei,YAO Wanqiang,LIN Xiaohu,et al. Visual simultaneous localization and mapping algorithm of coal mine underground considering image enhancement[J]. Journal of Mine Automation,2023,49(5):74-81.

    [49] 马宏伟,王岩,杨林. 煤矿井下移动机器人深度视觉自主导航研究[J]. 煤炭学报,2020,45(6):2193-2206.

    MA Hongwei,WANG Yan,YANG Lin. Research on depth vision based mobile robot autonomous navigation in underground coal mine[J]. Journal of China Coal Society,2020,45(6):2193-2206.

    [50]

    HUBER D F,VANDAPEL N. Automatic three-dimensional underground mine mapping[J]. The International Journal of Robotics Research,2006,25(1):7-17. DOI: 10.1177/0278364906061157

    [51] 安震. 自主导航搜救机器人关键技术研究[D]. 沈阳:东北大学,2015.

    AN Zhen. Research on key technologies of autonomous navigation search and rescue robot[D]. Shenyang:Northeastern University,2015.

    [52]

    LI Menggang,ZHU Hua,YOU Shaoze,et al. Efficient laser-based 3D SLAM for coal mine rescue robots[J]. IEEE Access,2019,7:14124-14138. DOI: 10.1109/ACCESS.2018.2889304

    [53]

    REN Zhuli,WANG Liguan,BI Lin. Robust GICP-based 3D LiDAR SLAM for underground mining environment[J]. Sensors,2019,19(13). DOI: 10.3390/s19132915.

    [54] 邹筱瑜,黄鑫淼,王忠宾,等. 基于集成式因子图优化的煤矿巷道移动机器人三维地图构建[J]. 工矿自动化,2022,48(12):57-67,92.

    ZOU Xiaoyu,HUANG Xinmiao,WANG Zhongbin,et al. 3D map construction of coal mine roadway mobile robot based on integrated factor graph optimization[J]. Journal of Mine Automation,2022,48(12):57-67,92.

    [55] 许鹏程. 基于粒子群优化的煤矿井下机器人FASTSLAM算法研究[D]. 北京:煤炭科学研究总院,2017.

    XU Pengcheng. Research on FASTSLAM algorithm of coal mine underground robot based on particle swarm optimization[D]. Beijing:China Coal Research Institute,2017.

    [56] 杨林,马宏伟,王岩,等. 煤矿巡检机器人同步定位与地图构建方法研究[J]. 工矿自动化,2019,45(9):18-24.

    YANG Lin,MA Hongwei,WANG Yan,et al. Research on method of simultaneous localization and mapping of coal mine inspection robot[J]. Industry and Mine Automation,2019,45(9):18-24.

    [57] 代嘉惠. 大功率本安驱动煤矿救援机器人定位与建图算法研究[D]. 重庆:重庆大学,2019.

    DAI Jiahui. Study on localization and mapping algorithm of high-power intrinsically safe coal mine rescue robot[D]. Chongqing:Chongqing University,2019.

    [58] 李仲强. 煤矿救援机器人自主建图和导航技术研究[D]. 淮南:安徽理工大学,2019.

    LI Zhongqiang. Research on self-construction and navigation technology of coal mine rescue robot[D]. Huainan:Anhui University of Science and Technology,2019.

    [59] 李芳威,鲍久圣,王陈,等. 基于LD改进Cartographer建图算法的无人驾驶无轨胶轮车井下SLAM自主导航方法及试验[J/OL]. 煤炭学报:1-12[2024-06-22]. https://doi.org/10.13225/j.cnki.jccs.2023.0731.

    LI Fangwei,BAO Jiusheng,WANG Chen,et al. Unmanned trackless rubber wheeler based on LD improved Cartographer mapping algorithm underground SLAM autonomous navigation method and test[J/OL]. Journal of China Coal Society:1-12[2024-06-22]. https://doi.org/10.13225/j.cnki.jccs.2023.0731.2023.0731.

    [60] 顾清华,白昌鑫,陈露,等. 基于多线激光雷达的井下斜坡道无人矿卡定位与建图方法[J]. 煤炭学报,2024,49(3):1680-1688.

    GU Qinghua,BAI Changxin,CHEN Lu,et al. Localization and mapping method for unmanned mining trucks in underground slope roads based on multi-line lidar[J]. Journal of China Coal Society,2024,49(3):1680-1688.

    [61] 薛光辉,李瑞雪,张钲昊,等. 基于激光雷达的煤矿井底车场地图融合构建方法研究[J]. 煤炭科学技术,2023,51(8):219-227.

    XUE Guanghui,LI Ruixue,ZHANG Zhenghao,et al. Lidar based map construction fusion method for underground coal mine shaft bottom[J]. Coal Science and Technology,2023,51(8):219-227.

    [62]

    ZHU Daixian,JI Kangkang,WU Dong,et al. A coupled visual and inertial measurement units method for locating and mapping in coal mine tunnel[J]. Sensors,2022,22(19):7437. DOI: 10.3390/s22197437

    [63] 汪雷. 煤矿探测机器人图像处理及动态物体去除算法研究[D]. 徐州:中国矿业大学,2020.

    WANG Lei. Research on image processing and dynamic object removal algorithm of coal mine detection robot[D]. Xuzhou:China University of Mining and Technology,2020.

    [64]

    YANG Xin,LIN Xiaohu,YAO Wanqiang,et al. A robust LiDAR SLAM method for underground coal mine robot with degenerated scene compensation[J]. Remote Sensing,2022,15(1). DOI: 10.3390/RS15010186.

    [65]

    YANG Lin,MA Hongwei,NIE Zhen,et al. 3D LiDAR point cloud registration based on IMU preintegration in coal mine roadways[J]. Sensors,2023,23(7). DOI: 10.3390/S23073473.

    [66] 司垒,王忠宾,魏东,等. 基于IMU−LiDAR紧耦合的煤矿防冲钻孔机器人定位导航方法[J]. 煤炭学报,2024,49(4):2179-2194.

    SI Lei,WANG Zhongbin,WEI Dong,et al. Positioning and navigation method of underground drilling robot for rock-burst prevention based on IMU-LiDAR tight coupling[J]. Journal of China Coal Society,2024,49(4):2179-2194.

    [67] 李猛钢,胡而已,朱华. 煤矿移动机器人LiDAR/IMU紧耦合SLAM方法[J]. 工矿自动化,2022,48(12):68-78.

    LI Menggang,HU Eryi,ZHU Hua. LiDAR/IMU tightly-coupled SLAM method for coal mine mobile robot[J]. Journal of Mine Automation,2022,48(12):68-78.

    [68] 董志华,姚顽强,蔺小虎,等. 煤矿井下顾及特征点动态提取的激光SLAM算法研究[J]. 煤矿安全,2023,54(8):241-246.

    DONG Zhihua,YAO Wanqiang,LIN Xiaohu,et al. LiDAR SLAM algorithm considering dynamic extraction of feature points in underground coal mine[J]. Safety in Coal Mines,2023,54(8):241-246.

    [69] 薛光辉,张钲昊,张桂艺,等. 煤矿井下点云特征提取和配准算法改进与激光SLAM研究[J/OL]. 煤炭科学技术:1-12[2024-06-22]. http://kns.cnki.net/kcms/detail/11.2402.TD.20240722.1557.003.html.

    XUE Guanghui,ZHANG Zhenghao,ZHANG Guiyi,et al. Improvement of point cloud feature extraction and alignment algorithms and LiDAR SLAM in coal mine underground[J/OL]. Coal Science and Technology:1-12[2024-06-22]. http://kns.cnki.net/kcms/detail/11.2402.TD.20240722.1557.003.html.

    [70] 李栋. 基于多源信息融合的巷道语义地图构建与复用方法研究[D]. 苏州:苏州大学,2022.

    LI Dong. A Method of construction and reuse of roadway semantic map based on multi-source information fusion[D]. Suzhou:Soochow University,2022.

    [71] 陈步平. 矿用搜救机器人多源信息融合SLAM方法研究[D]. 徐州:中国矿业大学,2023.

    CHEN Buping. Research on SLAM method of multi-source information fusion for mine search and rescue robot[D]. Xuzhou:China University of Mining and Technology,2023.

    [72] 马艾强,姚顽强. 煤矿井下移动机器人多传感器自适应融合SLAM方法[J]. 工矿自动化,2024,50(5):107-117.

    MA Aiqiang,YAO Wanqiang. Multi sensor adaptive fusion SLAM method for underground mobile robots in coal mines[J]. Journal of Mine Automation,2024,50(5):107-117.

    [73] 滕睿. 露天矿运输车辆无人驾驶关键技术研究[D]. 阜新:辽宁工程技术大学,2023.

    TENG Rui. Research on key technologies of unmanned driving of transport vehicles in open-pit mine[D]. Fuxin:Liaoning Technical University,2023.

    [74] 张清宇,崔丽珍,李敏超,等. 倾斜地面3D点云快速分割算法[J]. 无线电工程,2024,54(2):447-456.

    ZHANG Qingyu,CUI Lizhen,LI Minchao,et al. A fast segmentation algorithm for 3D point cloud on inclined ground[J]. Radio Engineering,2024,54(2):447-456.

    [75] 张清宇. 煤矿环境下LiDAR/IMU融合定位算法研究与实现[D]. 包头:内蒙古科技大学,2023.

    ZHANG Qingyu. Research and implementation of LiDAR/IMU fusion positioning algorithm in coal mine environment[D]. Baotou:Inner Mongolia University of Science & Technology,2023.

    [76] 马宝良,崔丽珍,李敏超,等. 露天煤矿环境下基于LiDAR/IMU的紧耦合SLAM算法研究[J]. 煤炭科学技术,2024,52(3):236-244.

    MA Baoliang,CUI Lizhen,LI Minchao,et al. Study on tightly coupled LiDAR-Inertial SLAM for open pit coal mine environment[J]. Coal Science and Technology,2024,52(3):236-244.

    [77] 李慧,李敏超,崔丽珍,等. 露天煤矿三维激光雷达运动畸变算法研究[J/OL]. 煤炭科学技术:1-12[2024-06-22]. http://kns.cnki.net/kcms/detail/11.2402.td.20240325.1558.006.html.

    LI Hui,LI Minchao,CUI Lizhen,et al. Research on 3D LiDAR motion distortion algorithm for open-pit coal mine[J/OL]. Coal Science and Technology:1-12[2024-06-22]. http://kns.cnki.net/kcms/detail/11.2402.td.20240325.1558.006.html.

图(19)  /  表(1)
计量
  • 文章访问数:  884
  • HTML全文浏览量:  82
  • PDF下载量:  62
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-07-02
  • 修回日期:  2024-10-27
  • 网络出版日期:  2024-09-28
  • 刊出日期:  2024-10-24

目录

/

返回文章
返回