0.   引言

随着我国煤炭科技的快速发展，采掘作业规模日益庞大，煤矿井下对智能化的需求程度越来越高^[1]。定位导航作为煤矿设备精准控制的基础，是实现煤矿智能化开采的关键技术^[2]。传统的井下定位、三维建图大多采用激光雷达^[3]、惯性传感器和无线通信定位技术^[4-6]，但由于煤矿井下巷道狭长，地形复杂多变，且煤壁对信号屏蔽严重，导致上述方法在实际应用中各有缺陷，如：激光雷达价格昂贵，获取的三维点云数据缺乏环境纹理^[7]，且在煤矿巷道等结构特征不明显的区域易出现系统退化现象；惯性传感器在短时间内精度较高，但其定位误差会随时间累计，难以长时间独立工作^[8]；基于超宽带(Ultra Wide Band，UWB)的无线通信定位技术要求在工作环境中搭建较多基站，成本较高，不适合井下应用^[9]。

基于视觉的同时定位与建图（Simultaneous Localization and Mapping，SLAM）技术^[10-11]具有成本低、信息获取丰富等优势，可用于解决煤矿井下定位导航问题。根据所利用的图像信息不同，视觉SLAM可分为基于直接法和基于特征点法2类^[12]。二者的本质区别是基于特征点法的视觉SLAM通过优化特征的重投影误差来估计相机位姿，而基于直接法的视觉SLAM根据灰度不变假设，通过优化像素灰度误差来计算相机运动。由于煤矿巷道环境复杂多变，且经常存在光线变化情况，导致灰度不变假设不成立，所以基于直接法的视觉SLAM难以在煤矿井下应用。

近年来，国内外学者对基于特征点法的视觉SLAM在煤矿井下定位导航中的应用展开研究。马宏伟等^[7]提出了一种基于深度视觉的SLAM系统，采用多算法组合完成深度视觉的特征提取与匹配，在构建八叉树地图基础上，采用透视N点投影（Perspective N Points，PNP）算法进行实时在线重定位，实现了煤矿井下移动机器人的自主导航，但该系统未考虑煤矿井下光照变化对系统鲁棒性的影响。尚磊等^[13]结合移动机器人平台，采用ORB−SLAM2算法^[14]实现了光源辅助的搜救机器人井下定位，但在外界光照不均及相机剧烈运动时易出现跟踪丢失现象。Zhu Daixian等^[15]为了提高视觉SLAM算法在煤矿井下的适用性，提出了一种基于单目相机和惯性测量单元的定位建图算法，结合点线特征进行特征匹配，并采用滑动窗口实现关键帧的非线性优化，在一定程度上改善了视觉SLAM算法在光照不足、结构退化场景下的鲁棒性，但未有效提高视觉SLAM算法在煤矿井下的定位精度。

可见，基于特征点法的视觉SLAM算法在煤矿井下虽有一定应用，但受煤矿井下环境亮度不足且光照不均影响，采集图像易出现欠曝光或过曝光问题，且光照多变、明暗区域交错等因素使得图像纹理信息缺失^[16-17]，影响视觉SLAM前端特征提取与匹配精度，常出现可提取的特征点数过少而导致跟踪丢失现象，进一步影响视觉SLAM算法的定位精度与建图效果。鉴此，本文提出一种顾及图像增强的视觉SLAM算法，针对煤矿井下图像亮度不均和细节丢失问题，从图像增强的角度构建了一种基于改进双边滤波的Retinex算法，将该算法引入经典的ORB−SLAM2算法框架进行视觉SLAM试验，以解决视觉里程计因特征不充分而造成的图像匹配失败及跟踪丢失等问题，从而提升视觉SLAM算法在煤矿井下的适用性。

1.   算法原理

顾及图像增强的视觉SLAM算法框架如图1所示。首先，对深度相机进行标定，获取相机内参和畸变系数。其次，对深度相机采集的红−绿−蓝(Red-Green-Blue，RGB)图像和深度图像分别进行增强处理：对于RGB图像，采用基于改进双边滤波的Retinex算法来提高图像的整体亮度及对比度细节；对于深度图像，采用改进的双边滤波算法去除图像的“空洞”和噪声。再次，将增强图像输入视觉里程计，通过特征提取与匹配估计相机位姿。最后，根据回环检测进行全局优化，构建三维点云地图。

图  1  顾及图像增强的视觉SLAM算法框架

①−基于改进双边滤波的Retinex算法；②−改进双边滤波算法。

Figure  1.  Visual simultaneous localization and mapping (SLAM) algorithm framework considering image enhancement

下载: 全尺寸图片 幻灯片

2.   图像增强

2.1   RGB图像增强流程

色调−饱和度−亮度(Hue−Saturation−Intensity，HSI)空间是通过对人类视觉感知层面进行分析，利用色调、饱和度、亮度3种颜色模拟的色彩空间。相比于RGB色彩空间，HSI空间能够更好地反映人类视觉效果。因此，将图像由RGB空间转换到HSI空间进行处理，选取亮度分量进行增强，保留不需要增强的色调分量和饱和度分量。亮度分量可表示为

式中$r\left( {x,y} \right)$，$g\left( {x,y} \right)$，$b\left( {x,y} \right)$分别为RGB图像中$\left( {x,y} \right) $处像素点的三通道分量。

煤矿井下RGB图像增强流程如图2所示。将图像由RGB空间转换到HSI空间后，采用基于改进双边滤波的Retinex算法对HSI图像的亮度分量进行处理，得到增强后的亮度分量，再将图像由HSI空间转换到RGB空间，得到增强图像。

图  2  RGB图像增强流程

Figure  2.  RGB image enhancement flow

下载: 全尺寸图片 幻灯片

2.2   基于改进双边滤波的Retinex算法

Retinex理论认为外界颜色信息由光照分量和物体反射分量两部分组成。反射分量作为物体的固有属性，在某种程度上解读了人眼的视觉恒常特性，因此如何消除原始图像的光照分量，得到反映图像本质属性的反射分量是Retinex算法的重点。传统Retinex算法采用高斯函数作为中心环绕函数，应用于图像增强时会出现光晕、噪声放大现象及图像对比度较低等问题^[18-19]，如图3所示。可看出图像经传统Retinex算法处理后，对比度显著下降，整体泛白，且在强光阴影过渡区出现明显的光晕。

图  3  传统Retinex算法的图像处理效果

Figure  3.  Image process effect of traditional Retinex algorithm

下载: 全尺寸图片 幻灯片

为解决上述问题，提出一种基于改进双边滤波的Retinex算法，流程如图4所示。该算法使用改进的双边滤波代替高斯滤波作为Retinex算法的中心环绕函数，步骤如下：

1） 对数域变换。考虑对数域数据更有利于人眼对图像信息的感知，且为了简化运算，对原始图像进行对数变换。

2） 光照分量估计。采用基于改进双边滤波的卷积核对图像进行卷积运算，得到对数域图像对应的光照分量估计值。

3） 光照分量去除。用对数域图像减去光照分量估计值，得到对应的反射分量估计值。

4） 结果输出。将反射分量估计值指数化，并将像素值拉伸到$\left[ {0,255} \right]$区间，得到最终增强图像。

图  4  基于改进双边滤波的Retinex算法流程

Figure  4.  Retinex algorithm flow based on improved bilateral filter

下载: 全尺寸图片 幻灯片

双边滤波是一种基于高斯滤波的改进算法，可看作加权的非线性高斯滤波，能够在去除图像噪声的同时保持边缘信息。双边滤波器可表示为

式中：w为双边滤波权值；w_d为高斯滤波权值；w_r为图像像素变化权值。

式中：${\sigma }_{{\rm{d}}}$，${\sigma _{\rm{r}}}$分别为高斯滤波权值和图像像素变化权值的高斯函数标准差；$ f\left( {i,j} \right) $，$f\left(k,l\right)$分别为图像（i，j），（k，l）处像素值。

从式（4）可看出，随着${\sigma _{\rm{r}}}$增大，w_r增大。w_r可保持图像亮度的差异，从而突出边缘信息。但当${\sigma _{\rm{r}}}$过大时，双边滤波将转换为高斯低通滤波，失去保持图像边缘信息能力。在值域中，以滤波点$ \left(i,j\right) $为中心、以$ r $为半径的窗口内，2个像素点的像素值差异越小，则该像素值对值域的影响越大，反之则越小。为了有效降低像素值差异过大对双边滤波效果的影响，对值域核函数做出以下改进：

式中${\varOmega _{r,i,j}}$为输入图像中以$\left( {i,j} \right)$为中心、以r为半径的窗口内像素点集合。

r越大，则滤波窗口越大，计算过程越复杂，本文中$r = 5$。

采用改进双边滤波作为Retinex算法的中心环绕函数进行光照图像估计，得光照分量估计值：

式中I为原始图像。

采用基于改进双边滤波的Retinex算法得到的反射分量估计值为

经基于改进双边滤波的Retinex算法处理的矿井图像边缘细节清晰，对比度强且易于辨识，可提高煤矿井下视觉SLAM算法的精度和鲁棒性。

3.   视觉SLAM

采用基于改进双边滤波的Retinex算法对煤矿井下图像进行增强处理后，将增强图像输入视觉里程计，根据特征匹配估计相机位姿，并通过后端对相机位姿进行优化，构建全局一致性地图。本文中视觉SLAM算法参考目前主流的ORB−SLAM2算法框架，流程如图5所示。其中ORB（Oriented FAST and Rotated BRIEF）特征点在加速段测试特征（Features from Accelerated Segment Test，FAST）基础上增加了旋转不变性和尺度不变性，其提取过程包括提取Oriented FAST关键点和计算BRIEF描述子。完成特征点提取后进行特征匹配，先采用暴力匹配（Brute-Force Matcher，BF）^[20]对图像进行特征点粗匹配，再使用随机采样一致性（Random Sample Consensus，RANSAC）剔除误匹配特征点，获得正确的匹配特征点。由于深度相机可直接确定特征点的深度，所以在完成当前帧的特征点提取与匹配后，使用迭代最近点方法，根据奇异值分解求解相机位姿。为减小计算量，提升系统实时性，且不影响定位精度，只优化关键帧的位姿，再通过关键帧筛选机制来构建局部地图。但随着图像关键帧不断加入，位姿估计误差增大，因此采用局部光束平差法对局部地图进行优化，以减小累计误差。根据回环检测及局部优化结果进行全局优化，构建全局一致性地图。

图  5  视觉SLAM算法流程

Figure  5.  Flow of visual SLAM algorithm

下载: 全尺寸图片 幻灯片

4.   试验结果与分析

为了验证顾及图像增强的视觉SLAM算法在煤矿井下环境的适用性，自主搭建了矿井轮式机器人数据采集平台，如图6所示。平台配备Kinect v2深度相机及Autolabor外接计算机，操作系统为Ubuntu18.04，程序代码在机器人操作系统（Robot Operation System，ROS）的Melodic版本上运行，远程控制机器人运动进行视觉SLAM试验。数字全站仪用于测量机器人运动的绝对轨迹。

图  6  矿井轮式机器人数据采集平台

Figure  6.  Data collection platform of wheeled mine-used robot

下载: 全尺寸图片 幻灯片

4.1   图像增强试验

为了验证基于改进双边滤波的Retinex算法应用于煤矿井下图像处理的有效性，选取煤矿井下过曝、欠曝及正常曝光3种图像，分别采用单尺度Retinex（Single Scale Retinex，SSR）算法、多尺度Retinex（Multi Scale Retinex，MSR）算法及基于改进双边滤波的Retinex算法（改进Retinex算法）进行增强处理，并对处理结果进行定性和定量评价。试验图像均为Kinect v2深度相机于SLAM数据采集过程中得到的RGB图像，分辨率为960×540。

4.1.1   定性评价

3种算法的图像增强结果如图7所示。可看出对于煤矿井下欠曝图像，3种算法均有效提高了图像亮度，MSR算法效果最好，SSR算法与改进Retinex算法次之，但SSR算法与MSR算法给图像带来了大量噪声，而改进Retinex算法带来的噪声很少。对于煤矿井下过曝图像及正常曝光图像，SSR算法和MSR算法在增强图像较暗区域的同时，使图像非暗区域对比度明显下降，整张图像出现泛白现象，丢失了大量图像细节，而改进Retinex算法在增强图像亮度的同时，未使图像出现泛白现象，且提高了图像对比度，整体效果更好，图像细节体现更加丰富。整体上，改进Retinex算法与其他2种算法相比，可更好地改善不同曝光程度的煤矿井下图像亮度，提升图像质量，使其更符合人眼视觉感知。

图  7  不同算法的图像增强效果

Figure  7.  Image enhancement effect of different algorithms

下载: 全尺寸图片 幻灯片

4.1.2   定量评价

由于试验采用SLAM过程中深度相机采集的RGB图像，无对应参考图像，所以采用像素均值、标准差、平均梯度、信息熵4种无参考指标对图像质量进行客观评价。其中均值反映图像的平均亮度，标准差反映图像的对比度，平均梯度反映图像的清晰度，信息熵反映图像的信息量。4种指标均与图像质量呈正相关，即值越大，表明图像质量越好。以图7中图像为例，客观评价结果见表1—表3。

表  1  欠曝图像客观评价指标得分

Table  1.  Objective evaluation index scores of underexposed images

图像	均值	标准差	平均梯度	信息熵
原始图像	44.320 4	53.125 7	4.889 5	4.511 9
SSR算法处理图像	99.605 5	73.976 9	7.347 1	6.609 6
MSR算法处理图像	113.168 1	77.530 6	7.551 2	7.036 1
改进Retinex算法处理图像	122.686 9	97.890 8	8.622 9	7.455 9

下载: 导出CSV 

| 显示表格

表  2  过曝图像客观评价指标得分

Table  2.  Objective evaluation index scores of overexposed images

图像	均值	标准差	平均梯度	信息熵
原始图像	157.089 6	87.239 1	5.399 5	6.460 7
SSR算法处理图像	163.666 5	56.840 9	5.442 0	5.778 3
MSR算法处理图像	208.409 8	61.418 4	5.448 7	6.211 7
改进Retinex算法处理图像	205.977 4	89.148 5	6.043 4	6.839 6

下载: 导出CSV 

| 显示表格

表  3  正常曝光图像客观评价指标得分

Table  3.  Objective evaluation index scores of normal exposed images

图像	均值	标准差	平均梯度	信息熵
原始图像	118.563 7	92.409 0	6.399 6	7.015 5
SSR算法处理图像	204.135 9	95.734 1	6.984 2	7.247 6
MSR算法处理图像	193.951 6	99.818 8	7.487 7	7.364 9
改进Retinex算法处理图像	153.404 4	100.207 5	8.604 1	7.703 7

下载: 导出CSV 

| 显示表格

从表1可看出，对于欠曝图像，经3种算法处理后图像的像素均值、标准差、平均梯度和信息熵指标得分均明显高于原始图像，其中经改进Retinex算法处理的图像质量最好，图像像素均值、标准差、平均梯度和信息熵分别较原始图像提高了176.8%，84.3%，76.4%，65.2%，且各评价指标较SSR算法和MSR算法处理图像有较大提升。从表2可看出，对于过曝图像，SSR算法和MSR算法的增强效果明显减弱，虽然增强图像的像素均值指标得分有较大提升，但标准差和信息熵指标得分低于原始图像，说明过曝图像经SSR算法和MSR算法处理后，图像对比度和信息量有所损失，验证了传统Retinex算法存在的问题，而经改进Retinex算法处理的图像各指标均得到不同程度的改善。从表3可看出，对于正常曝光图像，改进Retinex算法在像素均值指标方面略逊于SSR算法和MSR算法，但其他指标均最优，其中平均梯度指标得分较SSR算法提高23.2%，较MSR算法提高15.0%。

可见，无论是欠曝、过曝还是正常曝光图像，经改进Retinex算法处理后图像质量均得到大幅提升，且处理效果整体优于传统Retinex算法，验证了改进Retinex算法对煤矿井下图像增强的有效性。

4.2   视觉里程计特征匹配试验

将经改进Retinex算法增强处理后的煤矿井下图像输入视觉里程计模块，通过特征提取和特征匹配确定特征点之间的对应关系，进而计算相机采集前后2帧图像之间的姿态变化。高质量的特征匹配可有效提高视觉里程计对相机位姿估计的精度，而特征匹配数量增加能够避免因帧间匹配失败而造成的运动跟踪丢失问题，提高算法的鲁棒性。为了验证本文算法应用于视觉里程计上的优势，分别采用ORB−SLAM2算法及本文算法对前后2帧图像进行特征匹配试验，结果如图8所示。可看出本文算法提取到更多的特征点，且在某些弱纹理区域（如巷道壁、轨道处）匹配效果更好。统计特征匹配数量和正确率，结果见表4。其中匹配正确率为采用RANSAC算法对特征匹配结果进行误匹配特征点剔除后所保留的匹配特征点占比，整体提高百分比为特征匹配数量提高百分比与正确率提高百分比的均值。从表4可看出，与ORB−SLAM2算法相比，本文算法对不同曝光程度煤矿井下图像的特征匹配效果均有较大提升，既增加了特征匹配数量，也提高了有效匹配在总匹配数中的占比，保证了特征匹配质量，尤其是针对欠曝和过曝图像，本文算法的匹配数量和匹配正确率较ORB−SLAM2算法分别整体提高20.9%，15.5%。可见在煤矿巷道环境中，本文算法在视觉里程计特征匹配方面优于ORB−SLAM2算法。

图  8  相邻2帧图像的特征匹配结果

Figure  8.  Feature matching results of two adjacent image frames

下载: 全尺寸图片 幻灯片

表  4  煤矿井下图像特征匹配统计结果

Table  4.  Statistical feature matching results of underground coal mine images

场景	ORB−SLAM2算法			本文算法		整体提高 百分比/%
	匹配数量	匹配正 确率/%		匹配数量	匹配正 确率/%
欠曝	100	63.0		125	73.5	20.9
过曝	105	65.5		126	72.7	15.5
正常曝光	113	72.2		126	76.0.	8.4

下载: 导出CSV 

| 显示表格

4.3   位姿估计试验

以数字全站仪测量的煤矿井下轮式机器人运动轨迹作为真值参考，将SLAM估计轨迹与真实轨迹进行对比，以主观评价ORB−SLAM2算法与本文算法在定位精度上的优劣。采用EVO工具库绘制SLAM估计轨迹与真实轨迹，如图9所示。可看出本文算法的SLAM估计轨迹比ORB−SLAM2算法更连贯，且更接近真实轨迹。

图  9  SLAM估计轨迹与真实轨迹对比

Figure  9.  Comparison between estimated trajectories and the real ones of SLAM

下载: 全尺寸图片 幻灯片

采用绝对轨迹误差（Absolute Trajectory Error，ATE）定量分析算法定位精度。ATE表示估计轨迹和真实轨迹之间的差值，可直观反映SLAM算法精度和轨迹的全局一致性，计算前需根据位姿时间戳将估计值与真实值对齐。

式中：$\Delta {T}_{t}$为数据集图像序列中第$t$帧轨迹的绝对误差；${T_{{\rm{e}},t}}$，${T}_{{\rm{s}},t}$分别为数据集图像序列中第$t$帧的位姿估计值和位姿真实值。

采用均方根误差（Root Mean Square Error，RMSE）^[21]统计所有帧图像的绝对位姿误差：

式中$m$为数据集图像序列帧数。

统计ATE最大值、最小值、平均值及RMSE，结果见表5。可看出本文算法的ATE平均值较ORB−SLAM2算法减小了76.2%，RMSE减小了76.0%，验证了本文算法可实现精准定位。

表  5  ATE试验结果

Table  5.  Test results of absolute trajectory error(ATE) m

算法	最大值	最小值	平均值	RMSE
ORB−SLAM2	2.327	0.003	0.827	1.196
本文算法	1.279	0.002	0.197	0.287

下载: 导出CSV 

| 显示表格

4.4   煤矿井下巷道稠密建图试验

为了验证本文算法在煤矿井下环境中的建图效果，分别采用ORB−SLAM2算法和本文算法构建煤矿井下巷道环境下的三维稠密点云地图，结果如图10所示。可看出本文算法提高了煤矿巷道S₁段的光照亮度，避免了煤矿巷道S₂段因机器人剧烈运动导致的模糊和重影现象，且构建的三维稠密地图更加紧凑和准确，能更好地体现细节。

图  10  煤矿井下巷道稠密建图试验结果

Figure  10.  Densely mapping test results of underground roadway

下载: 全尺寸图片 幻灯片

5.   结论

1） 顾及图像增强的煤矿井下视觉SLAM算法将基于改进双边滤波的Retinex图像增强算法与ORB−SLAM2算法结合，对井下光照不均环境具有较强的鲁棒性，可解决因亮度不足而导致的跟踪丢失问题，提高定位精度和建图效果。

2） 对顾及图像增强的煤矿井下视觉SLAM算法的特征匹配效果、位姿估计精度和建图性能进行试验，结果表明：该算法增强了煤矿巷道图像，且提高了特征匹配质量和数量；与ORB−SLAM2算法相比，该算法的估计轨迹与真实轨迹重合度更高，ATE平均值下降了76.2%，RMSE减小了76.0%，且在煤矿井下巷道环境下建立的三维稠密点云地图更加真实和准确。