0.   引言

综采工作面“三机”（采煤机、刮板输送机、液压支架）状态监控是保证煤矿安全生产的重要措施。由于井下地质条件复杂，待开采煤层存在未知情况，目前综采工作面存在监控盲区，不能实现全方位、无死角的实时监控，仍然需要人工巡检^[1-2]。为了实现无人化采煤，采用巡检机器人替代人工对现场工况及设备进行巡检，是实现无人化采煤的关键。

巡检机器人在煤矿带式输送机和巷道巡检中的应用研究已取得一定成果^[3-4]，针对综采工作面巡检机器人，学者们也进行了相关研究。商德勇等^[5]针对薄煤层综采工作面复杂多变的地形环境,设计了一款四摇臂履带式巡检机器人。张树生等^[6]设计了一种柔性轨道式综采工作面巡检机器人系统，解决了在煤矿井下工作面有限空间内、复杂工况下的生产监控问题。李森等^[7]指出了综采工作面巡检机器人研究需要攻克的5个方面的技术难题。郝勇等^[8]设计了一种工作面悬轨支撑结构及巡检机器人本体，并进行了井下试验。以上研究虽然取得一定进展，但距离井下常态化应用仍有不小差距。

目前煤矿巡检机器人普遍使用的操作方式主要为远程遥控操作，在车载视频的辅助下，地面控制室工作人员远程控制机器人的启停及加减速。由于缺乏尺度信息，对巡检机器人的控制严重依赖人的经验，可靠性较低，特别是在工作面光照条件较差的情况下，严重影响巡检效率及质量。针对该问题，本文将虚拟现实（Virtual Reality，VR）技术^[9-11]引入综采工作面巡检中，设计了基于即时定位与地图构建（Simultaneous Localization and Mapping，SLAM）和VR的综采工作面巡检系统。基于SLAM技术进行工作面实时三维建图，实现可靠的巡检机器人三维感知；基于VR技术，充分利用三维感知，解决综采工作面巡检机器人操控问题。

1.   系统结构

基于SLAM和VR的综采工作面巡检系统包括位于井下的巡检机器人子系统和位于地面的VR实时渲染子系统2个部分，如图1所示。

图  1  基于SLAM和VR的综采工作面巡检系统结构

Figure  1.  Structure of fully mechanized working face inspection system based on SLAM and VR

下载: 全尺寸图片 幻灯片

综采工作面巡检机器人以一定速度往复执行巡检任务，路线为从刮板输送机机头到机尾。通过摄像机实时采集综采工作面全景视频，通过工控机执行SLAM建图任务，同时将实时全景视频、三维激光点云地图、实时姿态(里程计)实时上传到远程控制室的VR渲染主机。VR渲染主机进行点云着色，同时将处理后的点云渲染并投屏到VR眼镜^[12-14]。操作人员通过VR眼镜观看全景三维图，通过操作手柄远程控制巡检机器人。

2.   巡检机器人子系统

2.1   硬件结构

巡检机器人子系统包括执行导航及实时建图任务的全景三维激光建图装置、惯导、工控机、前后摄像机等，如图2所示。

图  2  巡检机器人子系统硬件

Figure  2.  Hardware of inspection robot subsystem

下载: 全尺寸图片 幻灯片

全景三维激光建图装置主要由全景激光雷达和全景相机组成，分别用于获取实时全景三维激光点云和工作面全景图^[15-17]。全景激光雷达和全景相机的水平、垂直视角均为360°。全景激光雷达和全景相机通过外参变换实现激光点云和全景图的对应，针对全景激光雷达所获得的激光点云，可找到全景图中的对应像素，为激光点云着色。惯导安装在全景激光雷达内部，工控机执行SLAM建图及导航避障等任务，前后摄像机为冗余辅助配置。

在综采工作面液压支架底座与刮板输送机中部槽平行方向安装平行的双钢管轨道，轨道连接处采用弹簧进行柔性连接，巡检机器人运行在双钢管轨道上。

2.2   全景激光雷达

全景激光雷达由16线激光雷达，云台电动机、滑环、绝对值编码器组成，如图3所示。滑环负责对激光雷达旋转部分信号与静止部分信号进行转换。绝对值编码器用于实时测量云台电动机的旋转角度。16线激光雷达安装在云台电动机转子上，云台电动机以1 r/s的速度绕全景激光雷达坐标系y轴旋转，16线激光雷达以10 r/s的速度绕本体旋转轴旋转。16线激光雷达视角为29°，这样可保证云台旋转1周时，激光雷达能够完成水平360°×垂直360°的全景扫描。

图  3  全景激光雷达硬件构成

Figure  3.  Hardware composition of panoramic LiDAR

下载: 全尺寸图片 幻灯片

由于16线激光雷达绕本体旋转轴360°扫描，云台电动机转1周会形成2个成球域的全景扫描，所以云台电动机旋转半周即可完成1个全景扫描（图4），但是云台旋转速度与16线激光雷达本身旋转速度需要同步或者匹配。

图  4  全景扫描

Figure  4.  Panoramic scan

下载: 全尺寸图片 幻灯片

16线激光雷达1 s完成10个扫描（scan），每个scan角度约为30°（实际为29°），即扫描速度为30°/（0.1 s），要完成1个全景扫描（180°），需要6个scan，即耗时0.6 s。按照16线激光雷达的转速，要实现1个全景扫描，云台电动机需要1.2 s旋转1周，而实际转速为1 r/s，这种情况会造成每个scan之间有空隙。实际上，扫描空隙对SLAM建图的影响不太大，考虑到负载扰动，云台电动机实际转速可能会低于1 r/s，故选6个scan作为1个全景扫描，称为1个sweep。

16线激光雷达坐标与全景激光雷达坐标的转换关系为

式中：${ x，y，{\textit{z}} }$为全景激光雷达坐标系中的坐标；α为云台电动机的旋转角度；${ {{x_{\rm{l}}}}，{{y_{{\rm{l}}}}}， {{{\textit{z}}_{\rm{l}}}} }$为16线激光雷达自身坐标系中的坐标。

2.3   SLAM全景三维建图

SLAM全景三维建图步骤如下：

1） 实时读入一个scan(帧)点云及惯导数据，并将惯导数据加入双端队列内。

2） 取出队列内的惯导数据，对点云进行去畸变处理。

3） 如果上一个sweep非空，则将该scan与上一个sweep进行配准，求出对应的scan姿态，并对该scan对应的点云进行变换，求出其对应的全局坐标，实现增量式建图；如果上一个sweep为空，则该scan属于初始化sweep，不进行配准，直接转步骤4）。

4） 若scan个数累计达到6个，则更新上一个sweep。

5） 返回步骤1）。

2.3.1   激光点云去畸变

在进行去畸变处理前，已经通过惯导与激光雷达之间的外参变换将点云和惯导的数据变换到同一坐标系，不失一般性，将SLAM全景三维建图的坐标系规定为全景激光雷达坐标系。全景激光雷达因云台旋转而产生的坐标系不一致情况，通过定制化驱动读取编码器值进行修正；因巡检机器人移动而产生的激光雷达畸变，通过惯导数据进行校正。

去畸变的目的是将每个scan的点云都变换到scan起始时刻的坐标系。去畸变的关键是求出scan内每个激光点所在时刻对应的姿态角，依据姿态角进行坐标变换，将该时刻的点变换到scan起始时刻的坐标系内。由于scan内每个点的时间戳与惯导数据的时间戳不一定能对应上，需要对惯导数据进行插补，求出scan内每个点对应的姿态角。

记scan内某点的时间戳为t，根据t检索存储惯导数据的队列，取出在t前后时间t_front及t_back对应的惯导队列的数据。计算前后插值系数：

记对应t_front时刻的姿态角（横滚角、俯仰角、偏航角）为(R_t−1，P_t−1，Y_t-1)，t_back时刻的姿态角为(R_t+1，P_t+1，Y_t+1)，通过插补计算得到t时刻的姿态角为(R_t，P_t，Y_t)，则

将所有点云变换到所在scan起始时刻的坐标系，所需的变换矩阵可通过惯导姿态角计算。记惯导在起始时刻的姿态角为 (R₀，P₀，Y₀)，U(·)为欧拉角对应的旋转矩阵，${{\boldsymbol{T}}_{{\rm{start}}}}$为起始时刻的姿态矩阵，${{\boldsymbol{T}}_{{\rm{current}}}}$为t时刻的姿态矩阵，则

令${\boldsymbol{T}}_{{\rm{cur}}}^{{\rm{st}}}$为当前时刻与点云所在scan起始时刻之间的相对变换矩阵，则

令$ {p_i} $为当前时刻点i的坐标，$ p_i^{{\rm{st}}} $为变换到点云所在scan起始时刻的坐标，则

2.3.2   配准

考虑到实时性，实际采用基于特征点的SLAM建图方法。由于采用了全景激光雷达，雷达视角几乎达到水平360°、垂直360°，一个sweep内所提取的特征点要比单独一个16线激光雷达的scan多，采用scan-to-sweep的配准方式，如图5所示，S₀—S₁₇为scan。图中红线代表对应的scan与sweep之间匹配。采用基于主成分分析的方法求曲率特征^[18]，提取特征点。

图  5  scan to sweep配准

Figure  5.  Scan to sweep registration

下载: 全尺寸图片 幻灯片

对每个scan分别提取直线特征、平面特征、椭球特征，每6个scan对应的特征累积成sweep对应的特征，当前scan与上一个sweep配准，并利用Levenberg-Marquardt算法求解当前scan的姿态，通过当前时刻的姿态即可将当前scan变换到全局坐标系，即第一个scan所在的坐标系，完成SLAM建图。

2.3.3   坐标变换

全景相机所生成的全景图本质上是球面，需通过经纬映射将球面映射成矩形图片。球面的经纬映射图像就是将球面上的点按经纬度映射到一个矩形图像上的点，经度映射成矩形的水平坐标，纬度映射成垂直坐标，矩形的长宽比为2∶1，经度φ变化范围为−180°~180°，纬度θ变化范围为−90°~90°，如图6所示。

图  6  球幕坐标与经纬图坐标的变换

Figure  6.  The transformation of spherical screen coordinates and latitude map coordinates

下载: 全尺寸图片 幻灯片

令图像的宽为w个像素，高为h个像素，对应于球幕坐标(X，Y，Z)的经纬图坐标为(r，c)，其中r为像素所在的行，c为像素所在的列，则球幕坐标与经纬图坐标的变换公式为^[19]

3.   VR实时渲染子系统

3.1   系统原理

VR实时渲染子系统由VR眼镜、操作手柄和VR渲染主机构成。VR渲染主机配置：CPU 型号为英特尔12900k， 内存大小为64 GiB，显卡型号为RTX3080TI。操作者可通过VR眼镜实时查看工作面现场情况，通过操作手柄控制巡检机器人运行状态。VR眼镜显示的内容可投屏到VR渲染主机的显示器上。VR设备如图7所示。

图  7  VR设备

Figure  7.  Virtual reality device

下载: 全尺寸图片 幻灯片

本文采用的VR眼镜型号为quest2，该眼镜支持目前主流的游戏引擎Unity和Unreal。其中Unity基于C#开发，代码封闭，不能定制化开发；而Unreal基于C++或蓝图开发，是开源的，支持定制化开发。本文需要对引擎代码进行修改，故选用Unreal引擎。Unreal引擎引入了一个抽象的渲染硬件接口（Render Hardware Interface，RHI），用于屏蔽DirectX，Vulkan，Metal等图形应用程序编程接口（Application Programming Interface, API）之间的差异。用于渲染的API不执行获取点云的任务，获取渲染数据的任务由具体的图形API实现。本文采用Vulkan，并采用并行计算平台CUDA提供的API直接与Vulkan进行交互，将激光点云从GPU显存直接传输到渲染管线的缓冲区。

VR实时渲染子系统实现步骤：① 实时获取工作面全景图及激光点云。② 将全景图及激光点云拷贝进显存，实现CPU到GPU的转存。③ 在GPU内实现激光点云的着色及滤波。④ 在GPU内实现 CUDA与Vulkan的交互，实现实时渲染，返回步骤①。

由于巡检机器人运行在轨道上，只有运行方向及速度需要控制。将方向映射到左手的手柄上，速度映射到右手的手柄上，具体可通过Unreal提供的针对VR手柄的键值绑定功能实现。

3.2   彩色全景激光点云生成

由于激光雷达每秒产生的数据量非常大，要实时对激光点云的每个点进行坐标变换，获取对应全景图上的像素值，这个过程非常耗时，依靠CPU难以完成，故采用GPU并行计算加速实现^[20-22]。GPU采用硬件实现的线程对激光点云中的每个点进行着色，每个点对应一个硬件线程，所有线程并行执行同一个核函数，实现着色功能。

GPU内的线程按照3个层次划分：grid（线程格）、block（线程块）、thread（线程）。线程根据每个scan内点的个数进行组织：每个点对应一个thread，每个block包含1 024个thread，用scan内点的个数除以1 024并取整，即为1个grid所包含的block数。

激光点云着色的具体步骤：

1） 读入1个scan对应的全景图、激光雷达位姿、三维激光点云，并按照时间戳加入GPU处理队列。

2） 对队列内全景图、激光雷达位姿所对应scan的三维激光点云进行时间戳对齐处理，保证激光雷达位姿与全景图的时间戳误差小于20 ms。

3） 将全景图、激光雷达位姿、三维激光点云依次拷贝至GPU显存，在核函数内对激光点云中的每一点进行坐标系变换（通过激光雷达与全景相机外参标定获得相关参数），将其变换到全景球幕坐标系内，并找到对应点的像素，将该像素作为彩色激光点云的R，G，B域，完成该scan点云着色。

激光点云着色前后的效果如图8所示。

图  8  激光点云着色

Figure  8.  Laser point cloud coloring

下载: 全尺寸图片 幻灯片

4.   井下工业性试验

4.1   VR场景

在山东能源集团金鸡滩煤矿进行井下工业性试验，该矿采高达8.8 m，工作面宽300 m左右，光照条件比较好。巡检机器人从机头运行到机尾，操作员佩戴VR眼镜，通过手柄控制巡检机器人的运行方向及速度。从VR眼镜看到的图像即以巡检机器人的视角（第一视角）所看到的图像，通过转动脖子可实现视角自由切换。切换视角的同时，可以控制移动机器人巡检，这种方式相较于传统的根据显示屏控制机器人的方式，精确性和可靠性更高。通过VR眼镜观察到的工作面现场景象如图9所示，其中场景2是在场景1观察位置旋转180°后获得的。

图  9  工作面现场VR景象

Figure  9.  VR scene of the working face on-site

下载: 全尺寸图片 幻灯片

通过VR眼镜可以对场景进行放大，从而能够更好地观察到细节部分，使实际操作更加精准。工作面放大场景如图10所示。

图  10  工作面放大场景

Figure  10.  Enlarged scene of the working face

下载: 全尺寸图片 幻灯片

4.2   处理时间分析

通过实验对比分析采用CPU和GPU进行点云着色所需的时间差异，结果见表1。可看出GPU对每个scan的处理时间都低于1 s，明显比CPU处理时间短，GPU实时性更高。高实时性对于现场执行巡检任务至关重要，可使现场发生的实际情况得到及时反馈，操作人员及时进行有效处理。

表  1  CPU与GPU处理时间对比

Table  1.  Comparison of CPU and GPU processing time

scan序号	1	2	3	4	5
CPU处理 时间/s	121	127	200	167	134
GPU处理 时间/s	0.5	0.45	0.3	0.39	0.36

下载: 导出CSV 

| 显示表格

整个系统的延时包括网络延时、激光点云着色延时、渲染延时等，见表2。可看出单个scan的最大延时为0.98 s，能满足巡检任务需求。

表  2  系统延时

Table  2.  System latency

scan序号	1	2	3	4	5
系统延时/s	0.90	0.92	0.80	0.98	0.87

下载: 导出CSV 

| 显示表格

5.   结论

1） 设计了基于SLAM和VR的综采工作面巡检系统。通过激光SLAM技术实现综采工作面全景三维建图，通过VR技术实时获取彩色激光点云并通过VR眼镜实时显示，可实现视角的自由切换，能够有效帮助远程操作人员可靠、安全地控制巡检机器人，提高远程控制的精确性和可靠性。

2） 通过VR技术给操作者提供具有尺度信息的彩色激光点云，未来可在彩色激光点云中加入具有特定语义信息的标记，如顶板线、煤壁等，为实现自动化割煤提供辅助信息。

3） 巡检机器人及VR技术的应用实现了远程精确控制，对未来清障机器人、抢灾救险机器人的发展及采煤机等设备的远程操控具有借鉴意义。

4） 目前综采工作面的网络延时还较高，有待进一步研究，以更好地满足巡检需求。