基于集成式因子图优化的煤矿巷道移动机器人三维地图构建

邹筱瑜, 黄鑫淼, 王忠宾, 房东圣, 潘杰, 司垒

邹筱瑜,黄鑫淼,王忠宾,等. 基于集成式因子图优化的煤矿巷道移动机器人三维地图构建[J]. 工矿自动化,2022,48(12):57-67, 92. DOI: 10.13272/j.issn.1671-251x.2022100041
引用本文: 邹筱瑜,黄鑫淼,王忠宾,等. 基于集成式因子图优化的煤矿巷道移动机器人三维地图构建[J]. 工矿自动化,2022,48(12):57-67, 92. DOI: 10.13272/j.issn.1671-251x.2022100041
ZOU Xiaoyu, HUANG Xinmiao, WANG Zhongbin, et al. 3D map construction of coal mine roadway mobile robot based on integrated factor graph optimization[J]. Journal of Mine Automation,2022,48(12):57-67, 92. DOI: 10.13272/j.issn.1671-251x.2022100041
Citation: ZOU Xiaoyu, HUANG Xinmiao, WANG Zhongbin, et al. 3D map construction of coal mine roadway mobile robot based on integrated factor graph optimization[J]. Journal of Mine Automation,2022,48(12):57-67, 92. DOI: 10.13272/j.issn.1671-251x.2022100041

基于集成式因子图优化的煤矿巷道移动机器人三维地图构建

基金项目: 国家自然科学基金资助项目 (62273349,61903330,62176258,52174152,52204179);国家重点研发计划项目(2020YFB1314200);中央高校基本科研业务费专项资金资助项目(2021YCPY0111);中国博士后科学基金资助项目(2021M693416);江苏省高校优势学科建设工程资助项目(PAPD)。
详细信息
    作者简介:

    邹筱瑜(1990—),女,四川自贡人,副教授,博士,主要研究方向为矿山装备运维、移动机器人定位与导航,E-mail:zouxiaoyu@cumt.edu.cn

    通讯作者:

    王忠宾(1972—),男,安徽萧县人,教授,博士,主要研究方向为矿山装备机器人化,E-mail:wzbcmee@163.com

  • 中图分类号: TD67

3D map construction of coal mine roadway mobile robot based on integrated factor graph optimization

  • 摘要: 煤矿井下移动机器人作业精度严重依赖于同步定位与建图 (SLAM) 技术的准确性。井下长直巷道存在特征缺失、光照条件差等问题,导致激光里程计和视觉里程计易失效,因而限制了传统SLAM方法在煤矿巷道的有效应用,且目前SLAM方法的研究主要聚焦于多传感融合建图方法,较少关注激光 SLAM 方法建图精度的提升。针对上述问题,面向移动机器人在煤矿巷道的建图需求,提出了一种基于集成式因子图优化的煤矿巷道移动机器人三维地图构建方法,采用前端构建和后端优化的策略,设计了前端点云配准模块和基于滤波、图优化的后端构建方法,使建图结果更准确、适应性更强。针对煤矿长直巷道环境退化导致三维激光点云配准精度低的问题,融合迭代最近点 (ICP) 和正态分布变换 (NDT)算法,兼顾点云几何特征和概率分布特征,设计了集成式前端点云配准模块,实现了点云的精确配准。针对三维激光 SLAM 后端优化问题,研究了基于位姿图和因子图优化的后端构建方法,构建了集成 ICP和NDT 相对位姿因子的因子图优化模型,以准确估计移动机器人位姿。分别利用公开数据集 KITTI和模拟巷道点云数据集对三维地图构建方法在不同工况下的性能进行了实验验证。公开数据集 KITTI上的实验结果表明:在全局一致性上,该方法与传统基于特征点匹配的A−LOAM方法和基于平面分割及特征点提取的LeGO−LOAM方法具有相似的性能,在建图局部精度上优于其他2种方法。模拟巷道点云数据集上的实验结果表明:该方法具有显著优势,通过因子图优化,可得到一致性较高的三维地图,提升了煤矿巷道三维地图构建的精度及鲁棒性,解决了井下长直巷道特征点缺失、激光里程计失效的难题。
    Abstract: The working precision of mobile robots in coal mines seriously depends on the accuracy of simultaneous localization and mapping (SLAM) technology. There are some problems such as feature missing and poor lighting conditions in long and straight underground roadway. The problems lead to the failure of the laser odometer and visual odometer. The result limits the effective application of traditional SLAM method in coal mine roadway. At present, the research of the SLAM method mainly focuses on the multi-sensor fusion mapping method. There is a lack of research on the improvement of the mapping precision of the laser SLAM method. In order to solve the above problems, facing the mapping requirements of mobile robot in coal mine roadway, a 3D map construction method of coal mine roadway mobile robot based on integrated factor graph optimization is proposed. The method adopts the strategy of front-end construction and back-end optimization. The method designs a front-end point cloud registration module and a back-end construction method based on filtering and graph optimization. Therefore, the mapping result is more accurate and adaptable. The environmental degradation in coal mine long and straight roadway leads to the low registration precision of 3D laser point cloud. In order to solve the above problem, integrating iterative closest point (ICP) and normal-distributions transform (NDT) algorithms, taking into account the geometric characteristics and probability distribution characteristics of point clouds, an integrated front-end point cloud registration module is designed, which realizes the accurate registration of point clouds. Inview of the back-end optimization problem of 3D laser SLAM, the back-end construction method based on pose map and factor map optimization is studied. The factor map optimization model integrating ICP and NDT relative pose factors is constructed to accurately estimate the pose of the mobile robot. The performance of the proposed method of 3D map construction under different working conditions is verified by using the open dataset KITTI and the simulated roadway point cloud dataset. The experimental results on the open dataset KITTI show the following points. In terms of global consistency, this method has similar performance with the traditional A-LOAM method based on feature point matching and the LeGO-LOAM method based on plane segmentation and feature point extraction. It is superior to the other two methods in the local precision of mapping. The experimental results on the simulated roadway point cloud dataset show the following points. This method has significant advantages, through factor map optimization, a 3D map with high consistency can be obtained. The precision and robustness of 3D map construction of coal mine roadway are improved. The problems of the feature point missing and laser odometer failure in long straight underground roadway are solved.
  • 刮板输送机是煤矿井下运输煤炭的主要设备。在刮板输送机运行过程中,一旦链槽内落入钢板、钢索、锚杆等刚性铁质异物,会加速刮板、链条等部件的磨损和疲劳,甚至会造成刮板停顿、链条断裂等故障,影响煤矿正常生产。此外,刮板输送机在高速运行时具有较大惯性,若落入链条间隙的铁质异物飞出,则会引发人员伤亡等严重事故,是工作面安全隐患之一。

    近年来,很多研究者利用机器视觉对铁质异物的智能识别进行研究,并取得了一定成果。任国强等[1]提出了一种Fast_YOLOv3算法,采用反卷积网络算法解决目标样本不均衡问题,实现了异物识别。杜京义等[2]将DarkNet22−DS轻量化网络植入Jetson Xavier NX开发板中,通过金字塔系统实现异物识别。吴守鹏等[3]设计了基于Faster−RCNN的异物辨识模块,利用双重监督特征金字塔网络(Feature Pyramid Networks,FPN)的特征融合技术实现异物识别。王卫东等[4]构建了一种能够减小背景干扰影响的语义分割网络,实现了铁质异物识别。王燕等[5]提出了基于帧内差分法和Select−Shape算子的大块铁质异物探测方法,实现了异物识别。上述研究主要存在以下局限性:① 检测精度与图像特征紧密相关,适应性较差。井下存在大量水雾和粉尘,光照情况多变,且刮板输送机上的铁质异物形状、大小各异,识别难度大。② 无法区分异物类别与数量,如无法有效区分锚杆、钢板、头盔、角铁和铁锹等。

    针对上述问题,本文提出一种基于改进掩码区域卷积神经网络(Mask Region-Convolutional Neural Network,Mask R−CNN)的刮板输送机铁质异物多目标检测方法。对Mask R−CNN进行改进,并通过自标注的刮板输送机铁质异物图像数据集对改进Mask R−CNN模型进行训练和测试,以提升铁质异物检测精度。

    刮板输送机铁质异物多目标检测具体流程如图1所示。首先,采集刮板输送机铁质异物图像并制作数据集,对图像进行标注,然后进行格式转换。其次,将改进Mask R−CNN模型部署于本地计算机,输入数据集,对模型进行训练。然后,当模型的损失值收敛时停止训练并保存训练模型。最后,通过测试数据集对训练模型进行测试。

    图  1  刮板输送机铁质异物多目标检测流程
    Figure  1.  Multi-object detection process of iron foreign bodies in scraper conveyor

    Mask R−CNN是经典的两阶段网络框架。第1个阶段扫描异物图像,生成可能含有异物目标的区域;第2个阶段进行分类,并生成掩码和边界框[6-7]。Mask R−CNN模型结构如图2所示。该模型是对Fast RCNN改进得到的,在原来输出的分类结果(预测框的标签)和回归结果(预测框的坐标位置)基础上,通过全卷积网络(Fully Convolutional Networks,FCN)增加一个输出,即物体掩码Mask。3个输出结果是平行支路关系。这种简化的网络结构可提高运算速度和异物目标识别率。

    图  2  Mask R−CNN模型结构
    Figure  2.  Structure of mask region-convolutional neural network model

    Mask R−CNN可采用多样化特征提取框架,本文采用ResNet−50特征提取器获取铁质异物图像特征。这种深度残差网络能够将前面某一数据层的输出直接作为后面数据层的输入[8],跳过卷积网络。这就意味着前面某层的特征贡献在后面部分的特征层中占据更大比例,使得浅层特征在深层中得到重用,能够较好地解决特征提取过程中训练集准确率随着网络深度增加而下降的问题。

    刮板输送机上的铁质异物是小尺度目标,为加强模型对小尺度目标的识别效果,本文采用FPN进行特征融合,引入一条从上到下的路径,保证同时拥有高层的语义特征(如类别、属性等)和低层的轮廓特征(如颜色、轮廓、纹理等),以提高铁质异物识别精度[9]。FPN结构如图3所示。P1—P4为不同尺寸的特征图,C1—C3为特征融合后的特征图,以C3为例,其中含有低层特征图P2和高层特征图C2的多重图像特征。

    图  3  FPN结构
    Figure  3.  Structure of feature pyramid networks

    区域特征聚集网络通过收集图像特征和候选区域特征,依据预测框的位置坐标,将对应的图像区域转换为特定尺寸的特征图[10],作为后续全连接层的输入,而后进行目标类别判定、边框和掩码覆盖的回归操作。回归操作使得候选边界框更加接近真实边界框,主要包含平移和尺度缩放2种变换。真实边界框内为图像中的目标区域,候选边界框内为算法预测的可能含有目标的区域。求解回归边界框的公式为

    $$ \left\{ \begin{array}{l} {{{t}}_{{{\rm{x}}}}} = \left( {{{x}} - {{{x}}_{{{\rm{a}}}}}} \right)/{w_{\rm{a}}}{{,}}{{{t}}_{{{\rm{y}}}}} = \left( {{{y}} - {{{y}}_{{{\rm{a}}}}}} \right)/{h_{\rm{a}}}\\ {{{t}}_{{{\rm{w}}}}} = {{{\rm{ln}}}}\left( {{{w}} - {{{w}}_{{{\rm{a}}}}}} \right),{{{t}}_{{{\rm{h}}}}} = {{{\rm{ln}}}}\left( {{{h/}}{{{h}}_{{{\rm{a}}}}}} \right)\\ {{t}}_{{{\rm{x}}}}^* = \left( {{{{x}}^*} - {{{x}}_{{{\rm{a}}}}}} \right)/{w_{\rm{a}}},{{t}}_{{{\rm{y}}}}^* = \left( {{{{y}}^*} - {{{y}}_{{{\rm{a}}}}}} \right)/{h_{\rm{a}}}\\ {{t}}_{{{\rm{w}}}}^* = {{{\rm{ln}}}}\left( {{{{w}}^*} - {{{w}}_{{{\rm{a}}}}}} \right),{{t}}_{{{\rm{h}}}}^* = {{{\rm{ln}}}}\left( {{{{h}}^*}{{/}}{{{h}}_{{{\rm{a}}}}}} \right) \end{array} \right. $$ (1)

    式中:txty为候选边界框平移参数;xywh分别为候选边界框中心点的横纵坐标及宽度、高度;xayawaha分别为锚点(用来预测候选边界框)中心点的横纵坐标及宽度、高度;twth为候选边界框缩放参数;tx*ty*为真实边界框平移参数;x*y*w*h*分别为真实边界框中心点的横纵坐标及宽度、高度;tw*th*为真实边界框缩放参数。

    虽然Mask R−CNN能够有效地实现目标检测与分割[11],但因井下图像背景复杂、异物图像尺寸相差过大等,检测时需要更多图像低层特征。Mask R−CNN模型中的锚点是由区域选取网络生成的特定长宽比例的矩形框,共计9个锚点。由于锚点与本文中待检测的5种铁质异物尺寸不对应,在生成建议区域的过程中会进行过量回归操作,降低Mask R−CNN模型的检测精度。针对该问题,本文采用k−meansⅡ聚类算法代替原来的锚点生成方案[12]。该算法避免了选定初试聚类中心点的随机性,通过遍历数据集中标注框的长宽信息得到聚类中心点。k−meansⅡ聚类算法的详细步骤如下:

    (1) 输入含有异物目标的数据集。

    (2) 在数据集中随机选定k个点作为初始聚类中心点,再重复4次随机取样过程,得到5k个数据点,进行聚类分析,得到k个聚类中心点。

    (3) 采用欧几里得度量公式将数据集中的每个点划分为距离该点最近的一类。欧几里得度量公式为

    $$ {D}=\sqrt{{\displaystyle \sum _{{i}=1}^{{n}}({{x}}_{{i}}-{{y}}_{{i}}{)}^{2}}} $$ (2)

    式中:D为距离;n为平面内点的个数;xiyi为平面内第i个点的坐标。

    (4) 重置每个类别的聚类中心,重置规则为

    $$ {{{c}}_{{i}}} = \frac{1}{{\left| {{{{c}}_{{i}}}} \right|}}\sum\limits_{j = 0}^{{i}} {{{{c}}_{{j}}}} $$ (3)

    式中:ci为聚类后像素点的类别;cj为聚类前像素点的类别。

    (5) 根据设定的阈值进行判断:如果每个类别与当前已有聚类中心的最短距离大于阈值,则聚类结束,否则转到步骤(3)。

    (6) 输出k个聚类中心。

    在太原理工大学院士科创基地搭建刮板输送机铁质异物智能识别实验台,如图4所示。该实验台由ZY6800/08/18D液压支架、SGZ630/110刮板输送机、KBA18矿用本安摄像仪、KXB12本质安全型声光报警器、计算机及硬盘录像机组成。

    图  4  刮板输送机铁质异物智能识别实验台
    Figure  4.  Test bed for intelligent identification of iron foreign bodies in scraper conveyor

    模型训练、测试的实验环境配置见表1。设置迭代次数为4 000,学习率为0.000 1,训练批次为10。

    表  1  实验环境配置
    Table  1.  Experimental environment configuration
    实验环境配置
    操作系统Windows 10 专业版
    显卡NVIDIA Quadro P620
    处理器Intel(R)Core(TM)i7−10875H CPU
    学习框架Tensorflow
    下载: 导出CSV 
    | 显示表格

    实验步骤如下:

    (1) 采集异物图像样本,去除图像中的无关区域,剔除干扰。

    (2) 采用图像增强算法对铁质异物图像进行处理,并运用旋转、剪切等操作对数据集进行扩充,实现数据增强。

    (3) 使用Labelme对增强后的异物图像进行标注和命名,得到对应的json文件,包括labelme.png和label_names.txt,其中主要含有铁质异物种类名称、坐标及长宽信息。

    (4) 配置改进Mask R−CNN模型的运行环境及参数,开展模型训练及测试。

    (5) 实现结果可视化,通过平均精度[13]和损失函数[14]评估模型,并与当前主流物体检测模型对比,验证本文模型的有效性和优越性。

    为模拟井下真实环境,将采集环境光亮度设置为较低,将异物和煤样随机放置于运行中的刮板输送机上,分别使用移动式摄像仪与KBA18矿用本安摄像仪以不同视角采集图像。共计采集到铁质异物图像2 254张,分辨率为2 560×1 440,包含锚杆、钢板、头盔(含铁质部分,归结为铁质异物)、角铁和铁锹5种铁质异物样本,如图5所示。

    图  5  铁质异物样本
    Figure  5.  Sample of iron foreign bodies

    数据集对深度学习模型的识别性能影响较大。训练数据集增大,会加快网络输出值与实际值之差趋零,从而获得性能较高的网络模型。但出现在刮板输送机上方的铁质异物具有随机性和多样性,且井下实际环境能见度较低,导致异物图像特征信息受限。因此本文采用基于Laplace算子的图像增强算法进行预处理。利用二次微分方法对图像进行锐化处理,增强图像内像素点的对比度,从而减弱图像噪声,提升图像整体亮度,增强不同物体间的对比度。图像增强前后对比如图6所示。

    图  6  图像增强前后效果对比
    Figure  6.  Comparison of image effects before and after enhancement

    使用Labelme软件工具对增强后的铁质异物图像进行逐个标注,得到json格式文件。为达到可视化目的,将json格式文件转换为位深度为8的png格式彩色标签图,背景类像素点设置为黑色,得到对应的Mask图像,如图7所示。

    图  7  数据集构建
    Figure  7.  Dataset construction

    分别采用原始图像及数据增强后的图像制作训练集,采用改进Mask R−CNN模型训练400次,结果如图8所示。可看出经过数据增强后模型损失值减小,验证了数据增强能够明显加快模型收敛速度,有效降低模型损失率,提高铁质异物检测效果。

    图  8  图像增强前后模型损失值对比
    Figure  8.  Comparison of model loss values before and after image enhancement

    在自制的刮板输送机铁质异物图像训练集上训练。Mask R−CNN模型改进前后的训练结果如图9所示。由图9(a)所示的精确率−召回率(PR)曲线可看出,改进后模型性能较改进前更好。由图9(b)可看出,训练初期损失值下降速度很快,训练1 500次后逐渐趋于稳定,最终损失值收敛于0.334 9,改进后模型的损失值一直低于改进前。

    图  9  模型改进前后训练结果对比
    Figure  9.  Comparison of training results before and after model improvement

    为了直观展示模型对铁质异物的识别效果,对多种铁质异物原图、标签图及模型改进前后识别出的异物图像进行比对,如图10所示。可看出改进后模型对异物分割更为准确,更为接近异物真实轮廓。

    图  10  刮板输送机5种常见铁质异物多目标检测效果
    Figure  10.  Multi-object detection effect of five common iron foreign bodies in scraper conveyor

    基于自制的刮板输送机铁质异物数据集,采用改进前后的Mask R−CNN模型对676张图像分别进行检测,结果见表2。可看出,与Mask R−CNN,YOLOv5相比,改进Mask R−CNN模型对单张图像的平均检测时间分别缩短0.093,0.002 s,平均精度分别提高11.4%,2.9%。

    表  2  不同模型检测效果对比
    Table  2.  Comparison of detection effects of different models
    模型检出
    张数
    未检出
    张数
    单张图像平均
    检测时间/s
    平均
    精度/%
    Mask R−CNN642320.82580.3
    YOLOv5658160.73488.8
    改进Mask R−CNN66790.73291.7
    下载: 导出CSV 
    | 显示表格

    (1) 采用k−meansⅡ聚类算法代替Mask R−CNN模型的锚点生成方案,并采用改进Mask R−CNN模型进行刮板输送机铁质异物多目标检测。

    (2) 采用基于Laplace算子的图像增强算法进行数据预处理,可明显加快模型收敛速度,有效降低模型损失率,提高铁质异物检测效果。

    (3) 实验结果表明,改进Mask R−CNN模型对单张图像的平均检测时间为0.732 s,与Mask R−CNN,YOLOv5相比,分别缩短0.093,0.002 s;平均精度为91.7%,与Mask R−CNN,YOLOv5相比,分别提高11.4%,2.9%。

  • 图  1   INE−SLAM方法框架

    Figure  1.   Framwork of ICP and NDT ensemble SLAM method

    图  2   集成式因子图构建

    Figure  2.   Construction of integrated factor graph

    图  3   KITTI 数据集上实验结果对比

    Figure  3.   Comparison of experimental results on KITTI dataset

    图  4   APE结果对比

    Figure  4.   Result comparison of absolute pose error

    图  5   RPE结果对比

    Figure  5.   Result comparison of relative pose error

    图  6   模拟巷道实验现场

    Figure  6.   Experiment site in simulated roadway

    图  7   INE−SLAM方法在模拟巷道的建图效果

    Figure  7.   Mapping effect of ICP and NDT ensemble SLAM in simulated roadway

    图  8   LeGO−LOAM 方法在模拟巷道的建图结果

    Figure  8.   Mapping result of lightweight and ground-optimized LOAM in simulated roadway

    图  9   INE−SLAM 方法的建图细节

    Figure  9.   Mapping details of ICP and NDT ensemble SLAM

    图  10   巷道收窄部分INE−SLAM 方法的建图细节

    Figure  10.   Mapping details of ICP and NDT ensemble SLAM in narrowing roadway

    表  1   APE对比

    Table  1   Absolute pose error comparison

    序列方法 APE/m
    最大值平均值中位数最小值均方根误差和方差标准偏差
    A−LOAM 7.708074 2.014421 1.705119 0.291645 2.465952 27558.715930 1.422330
    00 LeGO−LOAM 8.557403 4.429299 4.409769 0.351308 4.866022 107309.456000 2.014814
    INE−SLAM 17.083902 7.400451 7.140376 0.808981 8.020236 291517.204500 3.091523
    A−LOAM 35.109976 16.999973 18.074131 0.728562 18.893051 391928.228800 8.243076
    01 LeGO−LOAM 290.476267 201.358024 224.237243 113.022321 210.274942 48548675.320000 60.584632
    INE−SLAM 297.638420 203.560376 226.902531 112.478793 212.970114 49801183.740000 62.605453
    A−LOAM 8.140921 1.971348 1.592937 0.228409 2.373178 15527.353030 1.321272
    05 LeGO−LOAM 9.238267 2.139186 1.827800 0.482764 2.519107 17495.642090 1.330332
    INE−SLAM 8.649879 2.256443 1.996284 0.472615 2.514627 17433.470720 1.109870
    A−LOAM 3.285654 1.331722 1.012147 0.242015 1.545941 3795.214464 0.785143
    09 LeGO−LOAM 6.063340 2.108868 1.971362 0.292446 2.343031 8717.794097 1.021015
    INE−SLAM 7.315510 2.622855 2.616781 0.112678 2.840584 12813.436660 1.090663
    下载: 导出CSV

    表  2   RPE对比

    Table  2   Relative pose error comparison

    序列方法RPE/m
    最大值平均值中位数最小值均方根误差和方差标准偏差
    A−LOAM 1.896651 1.154897 1.200041 0.003222 1.215805 6697.636647 0.379992
    00 LeGO−LOAM 0.972212 0.061612 0.047549 0.003754 0.076631 26.607482 0.045567
    INE−SLAM 0.514520 0.092929 0.078107 0.004084 0.109881 54.707031 0.058635
    A−LOAM 3.885951 3.132486 3.553323 1.028025 3.218495 11363.507790 0.739085
    01 LeGO−LOAM 2.699271 0.517959 0.169555 0.016541 0.831417 758.306416 0.650364
    INE−SLAM 2.604537 0.517871 0.170409 0.020407 0.831250 758.001303 0.650220
    A−LOAM 1.716019 1.123840 1.217291 0.000759 1.196405 3944.896806 0.410327
    05 LeGO−LOAM 0.942990 0.053947 0.046318 0.002914 0.063128 10.983231 0.032786
    INE−SLAM 0.883468 0.056378 0.047659 0.003852 0.065977 11.996595 0.034271
    A−LOAM 2.197394 1.505677 1.491705 0.323694 1.550710 3816.262265 0.370999
    09 LeGO−LOAM 0.334782 0.063748 0.057174 0.005735 0.070704 7.933544 0.030582
    INE−SLAM 0.315042 0.064674 0.058037 0.008362 0.071649 8.146901 0.030836
    下载: 导出CSV
  • [1] 杨林,马宏伟,王岩,等. 煤矿巡检机器人同步定位与 地图构建方法研究[J]. 工矿自动化,2019,45(9):18-24.

    YANG Lin,MA Hongwei,WANG Yan,et al. Research on method of simultaneous localization and mapping of coal mine inspection robot[J]. Industry and Mine Automation,2019,45(9):18-24.

    [2] 孙继平,江嬴. 矿井车辆无人驾驶关键技术研究[J]. 工矿自动化,2022,48(5):1-5,31. DOI: 10.13272/j.issn.1671-251x.17947

    SUN Jiping,JIANG Ying. Research on key technologies of mine unmanned vehicle[J]. Journal of Mine Automation,2022,48(5):1-5,31. DOI: 10.13272/j.issn.1671-251x.17947

    [3] 潘祥生,陈晓晶. 矿用智能巡检机器人关键技术研究[J]. 工矿自动化,2020,46(10):43-48. DOI: 10.13272/j.issn.1671-251x.2020080042

    PAN Xiangsheng,CHEN Xiaojing. Research on key technologies of mine-used intelligent inspection robot[J]. Industry and Mine Automation,2020,46(10):43-48. DOI: 10.13272/j.issn.1671-251x.2020080042

    [4] 周治国,曹江微,邸顺帆. 3D 激光雷达 SLAM 算法综述[J]. 仪器仪表学报,2021,42(9):13-27.

    ZHOU Zhiguo,CAO Jiangwei,DI Shunfan. Overview of 3D Lidar SLAM algorithms[J]. Chinese Journal of Scientific Instrument,2021,42(9):13-27.

    [5]

    ZHANG Ji, SINGH S. LOAM: lidar odometry and mapping in real-time[C]. Robotics: Science and Systems Conference, Berkeley, 2014. DOI: 10.15607/RSS. 2014.X.007.

    [6]

    HESS W, KOHLER D, RAPP H, et al. Real-time loop closure in 2D LIDAR SLAM[C]. IEEE International Conference on Robotics and Automation (ICRA) , Stockholm, 2016: 1271-1278.

    [7]

    SHAN Tixiao, ENGLOT B. LeGO-LOAM: lightweight and ground-optimized lidar odometry and mapping on variable terrain[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018: 4758-4765.

    [8]

    SHAN Tixiao, ENGLOT B, MEYERS D, et al. LIO-SAM: tightly-coupled lidar inertial odometry via smoothing and mapping[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2020: 3106-3111.

    [9]

    BESL P J,MCKAY N D. A method for registration of 3D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14(2):239-256. DOI: 10.1109/34.121791

    [10]

    LI Qingde ,GRIFFITHS J G. Iterative closest geometric objects registering[J]. Computers & Mathematics with Applications,2000,40(10/11):1171-1188.

    [11]

    CHEN Hui, BHANU B. Contour matching for 3D ear recognition[C]. 7th IEEE Workshop on Applications of Computer Vision, Breckenridge, 2005: 123-128.

    [12]

    HE Shijun, ZHAO Shiting, BAI Fan, et al. A method for spatial data registration based on PCA-ICP algorithm[C]. 3rd International Conference on Advanced Measurement and Test, Xiamen, 2013: 1063-1066.

    [13]

    BIBER P, STRASSER W. The normal distributions transform: a new approach to laser scan matching[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, 2003: 2743-2748.

    [14]

    KOIDE K,MIURA J,MENEGATTI E. A portable three-dimensional LIDAR-based system for long-term and wide-area people behavior measurement[J]. International Journal of Advanced Robotic Systems,2019,16(2):1729-8806.

    [15]

    LI Menggang,ZHU Hua,YOU Shaoze,et al. Efficient laser-based 3D SLAM for coal mine rescue robots[J]. IEEE Access,2019,7:14124-14138. DOI: 10.1109/ACCESS.2018.2889304

    [16]

    XU Jiachang,HUANG Yourui,ZHAO Ruijuan,et al. Probabilistic membrane computing-based SLAM for patrol UAVs in coal mines[J]. Journal of Sensors,2021:1-11. DOI: 10.1155/2021/7610126.

    [17] 王佳婧,王晓南,郑顺义,等. 三维点云初始配准方法的比较分析[J]. 测绘科学,2018,43(2):16-23. DOI: 10.16251/j.cnki.1009-2307.2018.02.004

    WANG Jiajing,WANG Xiaonan,ZHENG Shunyi,et al. Comparison and analysis of initial registration methods of 3D point cloud[J]. Science of Surveying and Mapping,2018,43(2):16-23. DOI: 10.16251/j.cnki.1009-2307.2018.02.004

    [18] 李猛钢. 煤矿救援机器人导航系统研究[D]. 徐州: 中国矿业大学, 2017.

    LI Menggang. Research on navigation system of coal mine rescue robot [D]. Xuzhou: China University of Mining and Technology, 2017.

    [19]

    SCHULZ C, ZELL A. Real-time graph-based SLAM with occupancy normal distributions transforms [C]. IEEE International Conference on Robotics and Automation (ICRA), Paris, 2020: 3105-3111.

    [20]

    PARK C, MOGHADAM P, KIM S, et al. Elastic LiDAR fusion: dense map-centric continuous-time SLAM[C]. IEEE International Conference on Robotics and Automation (ICRA), Brisbane, 2018: 1-25.

    [21]

    QIN Chao, YE Haoyang, PRANATA C E, et al. LINS: a lidar-inertial state estimator for robust and efficient navigation[C]. IEEE International Conference on Robotics and Automation (ICRA), Paris, 2020: 8899-8906.

    [22]

    KSCHISCHANG F,FREY B,LOELIGER H. Factor graphs and the sum-product algorithm[J]. IEEE Transactions on Information Theory,2001,47(2):498-498. DOI: 10.1109/18.910572

    [23]

    KUMMERLE R, GRISETTI G, STRASDAT H, et al. G2o: a general framework for graph optimization[C]. IEEE International Conference on Robotics and Automation, Shanghai, 2011: 3607-3613.

    [24]

    KAESS M,DELLAERT F. iSAM:incremental smoothing and mapping[J]. IEEE Transactions on Robotics,2008,24(6):1365-1378.

    [25]

    KAESS M, JOHANNSSON H, ROBERTS R, et al. iSAM2: incremental smoothing and mapping with fluid relinearization and incremental variable reordering[C]. IEEE International Conference on Robotics and Automation, Shanghai, 2011. DOI: 10.1109/ICRA.2011.5979641.

    [26]

    DELLAERT F. Factor graphs and GTSAM: a hands-on introduction [EB/OL]. (2016-01-13) [2022-09-16]. https://www.docin.com/p-1444792601.html.

    [27]

    GEIGER A,LENZ P,STILLER C,et al. Vision meets robotics:the KITTI dataset[J]. The International Journal of Robotics Research,2013,32(11):1231-1237. DOI: 10.1177/0278364913491297

  • 期刊类型引用(11)

    1. 刘善明,余新阳,欧阳魁. 面向筛面复杂背景的矿山异物视觉检测方法. 计算机技术与发展. 2024(05): 196-204 . 百度学术
    2. 雍家伟,乔铁柱,冀杰,刘亮亮,武宏旺. 基于双目实时匹配的输送带煤流监测方法. 煤炭技术. 2024(06): 220-223 . 百度学术
    3. 张克亮. 基于MT-CNN的矿井带式输送机输煤量检测技术. 中国矿业. 2024(06): 137-142 . 百度学术
    4. 闫禄. 带式输送机异物检测系统开发与试验研究. 自动化应用. 2024(15): 227-229 . 百度学术
    5. 廖志伟,高龙,曹军,李晓围. 基于深度学习的刮板输送机异物检测方法研究. 中国煤炭. 2024(08): 165-170 . 百度学术
    6. 周楝淞,邵发明,杨洁,彭泓力,李赛野,孙夏声. 基于区域预推荐和特征富集的SOD R-CNN交通标志检测网络. 信息安全与通信保密. 2024(10): 115-126 . 百度学术
    7. 张凯,郝康将,刘卓昆,彭甫镕,李国栋. 基于视觉监控的煤矿传送带防冻液自动喷洒系统. 煤炭工程. 2024(12): 169-175 . 百度学术
    8. 李特,裴泽霖,刘行健,刘海波. 面向低照度复杂空间的目标物识别方法. 黑龙江科技大学学报. 2023(03): 369-375 . 百度学术
    9. 沈宁. 基于双目视觉的选煤厂用胶带输送机表面异物检测. 工矿自动化. 2023(S1): 82-85 . 本站查看
    10. 张辉,苏国用,赵东洋. 基于FBEC-YOLOv5s的采掘工作面多目标检测研究. 工矿自动化. 2023(11): 39-45 . 本站查看
    11. 李江涛,张康辉,沙特. 煤中异物识别的深度学习模型轻量化策略. 煤炭工程. 2023(S1): 220-224 . 百度学术

    其他类型引用(6)

图(10)  /  表(2)
计量
  • 文章访问数:  372
  • HTML全文浏览量:  206
  • PDF下载量:  53
  • 被引次数: 17
出版历程
  • 收稿日期:  2022-10-16
  • 修回日期:  2022-12-09
  • 网络出版日期:  2022-12-06
  • 刊出日期:  2022-12-26

目录

/

返回文章
返回