0 引言
为有效保障煤矿安全生产，目前大部分煤矿安装使用了监测监控系统。因煤矿井下工作空间狭小，导致采集的图像视野范围较小[1]。为获得分辨率高且大视角范围图像，有必要研究矿井多视角图像拼接方法。
目前，基于图像特征提取是主流的图像拼接方法，应用最广泛的是基于特征点提取的方法，典型算法包括：SIFT(Scale-Invariant Feature Transform，尺度不变的特征变换)算法[2]，先进行图像检测，再进行图像拼接，通过对特征进行缩放、平移、旋转等变换，增强相似特征的关联性，提高图像拼接效率；SURF(Speeded Up Robust Features，加速鲁棒特征)算法[3]，较SIFT算法在图像变换时更稳定，耗时更短[4]；KAZE算法[5]，采用加性算子分裂算法求解非线性扩散方程，以搭建非线性尺度空间[6]，保证在特征提取过程中保留图像边缘、细节特征；融合FAST(Features from Accelerated Segment Test)算法和Brief算法的ORB(Oriented FAST and Rotated Brief) 算法[7]，在提取特征点过程中抗干扰能力强且具有旋转不变性，计算效率高，鲁棒性强。
煤矿井下环境复杂，直接应用上述算法进行图像拼接时会在图像重叠部分产生裂缝和黑线。鉴此，本文基于ORB算法，结合改进对比度受限的自适应直方图均衡化方法[8]、KNN(K-Nearest Neighbor，K最近邻)算法[9]、RANSAC(Random Sample Consensus，随机采样一致性)算法[10]、帽子函数加权平均融合算法[11]等，提出了一种矿井多视角图像拼接方法，并通过实验验证了该方法提取有效特征点的能力强，计算效率高，图像拼接过渡自然，无裂缝、黑线现象，具有较好的拼接效果。
1 图像拼接流程
矿井多视角图像拼接流程如图1所示。首先，采用一种改进对比度受限的自适应直方图均衡化方法对图像进行预处理，以突出图像细节，提高对比度；其次，选用ORB算法提取图像特征点，采用改进的Brief算法计算特征描述子；再次，通过KNN算法实现特征点对粗匹配，基于RANSAC算法对误匹配特征点对进行筛选、消除，并求解最优透视变换矩阵，对待匹配图像像素点进行坐标变换；最后，采用帽子函数加权平均融合算法对固定图像和待匹配图像进行拼接融合。
图1 矿井多视角图像拼接流程
Fig.1 Stitching flow of mine multi-view images
2 图像拼接原理
2.1 图像预处理
采用改进对比度受限的自适应直方图均衡化方法进行图像预处理。设图像灰度直方图幅值上限为C，幅值大于C的区域为T，将T平均分配到N个灰度级上(整个灰度范围)，确保灰度直方图的总面积恒定。则灰度直方图提升值为
(1)
设灰度直方图幅值下限为U，则
U=C-L
(2)
确定L后对图像灰度直方图进行如下处理：① 若某区域的灰度直方图幅值大于C，则将其幅值置为C；② 若某区域的灰度直方图幅值大于U且小于C，则将其幅值提升至C；③ 若某区域的灰度直方图幅值小于U，则将其幅值提升L。
采用该方法对矿井图像进行预处理解决了灰度级丢失问题，突出了图像细节，可提高图像对比度，实现图像去雾增强，有利于后续图像特征点提取。
2.2 特征点提取
采用ORB算法提取图像特征点。首先选定图像中某个像素点；然后以该像素点坐标为圆心、R为半径确定一个圆形区域；最后将圆形区域边界上的像素点灰度值X与圆心像素点灰度值O做差，其绝对值与设定阈值δ比较。特征点判定公式为
|X-O|>δ
(3)
在计算过程中，每次选取边界上4个像素点进行计算，若不少于3个像素点满足式(3)要求，再选取另外4个像素点进行计算。当9个像素点满足式(3)要求时，确定圆心像素点为图像特征点。
采用上述方法遍历图像得到所有特征点后，用Harris算法筛选特征点，选取最优角点作为ORB角点。为使ORB角点具备旋转不变性，将圆形区域看作密度不均的圆形物体，每一像素点的像素值为该点质量。利用质心法则计算圆形区域的质心，连接圆心与质心，规定连接线方向为圆形区域的横轴方向，垂直该方向为竖轴方向，在此区域内角点具有旋转不变性。
接下来采用Brief算法计算特征描述子。考虑到该算法抗噪性较弱，对其进行改进，将单个像素点像素值的对比转换为5×5小范围区域内像素值的求和比较，从而提高计算效率，节省存储空间，且提高抗噪性能。
2.3 特征匹配
在完成特征描述子计算后，对固定图像和待匹配图像的特征描述子进行匹配。采用KNN算法粗略判断固定图像和待匹配图像特征描述子的相似性，得到一系列特征点对；再采用RANSAC算法对特征点对进行提纯，以消除错误点对，提高有效特征点对比例，得到最优透视变换矩阵。
在KNN算法中，设置Hamming距离[12]作为距离度量，计算公式为
(4)
式中：D(l,r)为Hamming距离；l,r分别为固定图像、待匹配图像特征描述子集合；M为特征描述子总数；mi，ni分别为固定图像、待匹配图像的某一特征描述子。
2.4 坐标变换
采用RANSAC算法求解得到的最优透视变换矩阵，可将待匹配图像中的像素点通过坐标变换映射到固定图像坐标系，进而实现图像拼接[13]。
最优透视变换矩阵为3×3矩阵，包含8个未知数。设最优透视变换矩阵为K，固定图像中的像素点坐标为(x1,y1)，待匹配图像中的像素点坐标为(x2,y2)，则待匹配图像像素点坐标变换公式为
(5)
式中：k0，k1为改变图像缩放变换的系数；k2，k5为控制图像透视变换的系数；k3,k4为改变图像旋转角度的系数;k6，k7为改变图像平移距离的系数。
2.5 图像融合
完成待匹配图像像素点坐标变换后，采用帽子函数加权平均融合算法对固定图像和待匹配图像进行拼接融合[14-15]。将固定图像和待匹配图像重叠部分中心处像素点的权值设为权值最大值，将像素点权值从中心位置向两侧逐渐减小，实现2张图像渐进加权融合。
2张图像重叠部分像素点的权值为
(6)
式中：(xj,yj)为像素点j坐标；W，H分别为图像宽度和高度。
为了统一计算单位，对w(xj,yj)进行归一化处理，得到加权权值：
(7)
式中J为图像重叠部分的像素点数。
由此可得融合图像：
(8)
式中：I1，I2分别为固定图像、待匹配图像；(x,y)为像素点坐标；
分别为重叠部分中固定图像、待匹配图像像素点加权权值。
利用式(8)进行图像拼接可消除裂缝、黑线现象，使拼接处过渡更加自然，拼接图像更加清晰。
3 实验及结果分析
为了验证本文方法的性能，采用某煤矿井下监控图像进行实验验证。实验环境为Intel(R) Core(TM)i7-4720HQCPU @ 2.60 GHz、8 GB内存、64 bit的Windows7台式电脑。
3.1 特征点提取实验
分别采用SIFT，KAZE，ORB算法对图像数据进行特征点提取实验，结果如图2—图4所示，左右分别为原始图像和提取的特征点。
(a) 左视角
(b) 右视角
图2 基于SIFT算法的输送带图像特征点提取结果
Fig.2 Feature point extraction results of conveyor belt image based on SIFT algorithm
(a) 左视角
(b) 右视角
图3 基于KAZE算法的输送带图像特征点提取结果
Fig.3 Feature point extraction results of conveyor belt image based on KAZE algorithm
(a) 输送带左视角
(b) 输送带右视角
(c) 巷道左视角
(d) 巷道右视角
(e) 掘进机左视角
(f) 掘进机右视角
图4 基于ORB算法的井下图像特征点提取结果
Fig.4 Feature point extraction results of mine image based on ORB algorithm
3种算法对输送带图像的特征点提取结果见表1。可看出SIFT算法提取的特征点较多，耗时较长；KAZE算法提取的特征点相对较少，耗时最长；ORB算法提取的特征点最少，分别较SIFT，KAZE算法减少48%，33%，且特征提取耗时最短，分别较SIFT，KAZE算法减少17%，34%。结合图2—图4可看出，ORB算法对井下图像有效特征点的提取能力强且用时少，特征点提取效果最好，较好地解决了井下图像因粉尘干扰造成的细节特征不易提取问题。从图4可看出，ORB算法对井下多个场景的不同视角图像进行特征点提取均具有较好的效果。
表1 输送带图像特征点提取实验结果
Table 1 Experimental results of feature point
extraction for conveyor belt image
算法特征点个数左视角右视角耗时/sSIFT8933251.259KAZE3152271.589ORB2511451.045
3.2 图像融合实验
分别采用将待匹配图像进行坐标变换后直接与固定图像融合方法、本文方法对煤矿井下不同场景的监控图像进行拼接融合实验，结果如图5所示。可看出因图像视角范围、亮度不同，采用直接融合方法的拼接图像在连接处出现黑线，图像过渡不自然；采用本文方法的拼接图像连接处不存在黑线、裂缝，图像更加自然、清晰。
(a) 输送带图像直接融合
(b) 输送带图像本文方法融合
(c) 巷道图像直接融合
(d) 巷道图像本文方法融合
(e) 掘进机图像直接融合
(f) 掘进机图像本文方法融合
图5 图像拼接融合结果
Fig.5 Image stitching and fusion results
4 结论
(1) 针对煤矿井下监控图像存在的视野范围较小、细节特征不清晰等缺点，提出了一种矿井多视角图像拼接方法：采用改进对比度受限的自适应直方图均衡化方法对图像进行预处理，采用ORB算法提取图像特征点，采用KNN，RANSAC算法进行特征匹配及最优透视变换矩阵求解，对待匹配图像像素点进行坐标变换后，采用帽子函数加权平均融合算法对待匹配图像和固定图像进行拼接融合。
(2) 特征点提取实验结果表明：与SIFT，KAZE算法相比，ORB算法对于单张图像提取的特征点数分别减少了48%，33%，提取有效特征点的能力较强，有助于改善特征匹配精度；特征提取耗时分别减少了17%，34%，提高了计算效率。
(3) 图像融合实验结果表明，基于本文方法的拼接图像避免了连接处的裂缝、黑线现象，图像过渡自然，清晰度高，满足矿山智能化应用对井下高质量全景图像数据的需求。
[1] 杨璇璇，刘景勇,王艳芬，等.井下巷道大视差图像拼接算法[J].工矿自动化，2020,46(11)：77-82.
YANG Xuanxuan,LIU Jingyong,WANG Yanfen,et al.Stitching algorithm of large parallax images in underground roadways[J].Industry and Mine Automation，2020,46(11)：77-82.
[2] LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60:91-110.
[3] BAY H,ESS A,TUYTHLAARS T,et al.Speeded-up robust features (SURF)[J].Computer Vision and Image Understanding,2008,110(3):346-359.
[4] LI Haiyang,ZHANG Ruizhe.An improved image stitching algorithm based on SURF feature matching [J].Journal of Taiyuan University of Technology,2016,47(1):91-95.
[5] ALCANTARILLA P F,BARTOLI,DAVISION A J. KAZE features [C]// Proceedings of the 12th European Conference on Computer Vision, Florence,2012:214-227.
[6] 张岩,李建增,李德良,等.快速鲁棒性非线性尺度不变的特征匹配算子[J].西北工业大学学报,2016,34(6):1108-1119.
ZHANG Yan,LI Jianzeng,LI Deliang,et al.Speeded up robust nonlinear scale-invariant feature[J].Journal of Northwestern Polytechnical University,2016,34(6):1108-1119.
[7] RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB:an efficient alternative to SIFT or SURF[C]//International Conference on Computer Vision,Montreal,2011:2564-2571.
[8] PIZER S M,AMBURN E P,AUSTIN J D,et al.Adaptive histogram equalization and its variations[J].Computer Vision, Graphics, and Image Processing,1987,39(3):355-368.
[9] ZHANG Minling,ZHOU Zhihua.ML-KNN:a lazy learning approach to multi-label learning[J].Pattern Recognit,2007,40(7):2038-2048.
[10] SCHNABEL R,WAHL R,KLEIN R.Efficient RANSAC for point-cloud shape detection[J].Computer Graphics Forum,2007,26(2):214-226.
[11] 刘卫华,白本督,赵小强.基于模糊相似度融合的图像复原算法[J].计算机辅助设计与图形学学报,2013,25(5):616-621.
LIU Weihua,BAI Bendu,ZHAO Xiaoqiang.Image restoration algorithm based on fusion with fuzzy similarity[J].Journal of Computer-Aided Design & Computer Graphics,2013,25(5):616-621.
[12] 包建荣,高西奇,刘超,等.扩展原模图LDPC短码的优化构造[J].华中科技大学学报(自然科学版),2016,44(5):35-40.
BAO Jianrong,GAO Xiqi,LIU Chao,et al.Optimal construction of extended short protograph LDPC codes[J].Journal of Huazhong University of Science and Technology(Natural Science Edition),2016,44(5):35-40.
[13] 边亮,罗霄阳,李硕.基于深度学习的图像拼接篡改检测[J].北京航空航天大学学报,2020,46(5):1039-1044.
BIAN Liang,LUO Xiaoyang,LI Shuo.Image mosaic tampering detection based on deep learning[J].Journal of Beijing University of Aeronautics and Astronautics,2020,46(5):1039-1044.
[14] HAKI A, EI HADI M A,BOUHAFID A.Assessment of the pyrolysis,combustion and fractal dimension of fragmented oil shale particles[J].Powder Technology,2017,318:569-588.
[15] LI Yangyu,WANG Caiyun,YAO Chen.Multi-sensors image fusion via NSCT and GoogLeNet[J]. Transactions of Nanjing University of Aeronautics and Astronautics,2020,37(S1):88-94.
