0 引言
视频拼接是指将多个摄像机采集的一系列具有重叠区域的图像进行配准与融合处理，最终合成为一个具有更宽视角的图像[1-2]。与单目摄像机采集的图像相比，视频拼接获得的图像视场更大，信息更加丰富[3]。将视频拼接技术应用于煤矿井下开采生产中，可对工作面进行低照度、高清晰度的无缝视频监控，有利于实现可视远程干预式智能化无人开采[4]。
视频拼接技术的关键与核心是图像配准[5]，其实质是对不同采集条件下获取的具有一定重叠区域的图像进行匹配，以寻求2幅图像之间的几何变换关系，继而将待拼接图像投影变换到目标图像坐标系下，最终实现重叠区域对齐[6]。目前主流的配准方法是基于特征的配准方法。D. G. Lowe[7]提出了尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)算法用于图像配准。该算法对图像旋转、尺度缩放、亮度变化具有良好的不变性，但计算量过于庞大，因此运行速度较低，无法满足视频拼接的实时性要求[8]。H. Bay等[9]在SIFT算法基础上，提出了加速鲁棒特征(Speeded Up Robust Features，SURF)算法。该算法较SIFT算法运行快速，抗变换性能更加稳定，且生成的描述符具有良好的可区分性[10]，但应用于实时性要求较高的视频拼接时，其性能仍需改进[11]。
针对上述问题，本文提出一种改进的SURF算法。该算法一方面降低SURF特征点维度，另一方面仅在感兴趣区域(Region of Interest，ROI)提取SURF特征点，大大提高了算法运行速度。在此基础上提出了一种井下视频拼接算法，通过视频图像SURF特征点配准、提纯，投影变换矩阵计算及存储，图像融合等处理，完成视频拼接，在该过程中通过动态追踪图像SURF特征点数量并比较当前图像与前一帧图像特征点数量来确定是否变换投影变换矩阵。该算法既保证了静态场景下的实时性，又保证了动态场景下的拼接质量。
1 算法流程
基于改进SURF的井下视频拼接算法流程如图1所示。该算法在对首帧图像完成SURF特征点提取后，记录提取的特征点数量，然后进行特征点配准，并采用随机取样一致性(Random Sample Consensus，RANSAC)算法[12]进行特征点提纯，以及计算并存储投影变换矩阵，最终进行图像融合处理，完成首帧图像的拼接。对于后续图像，将提取的SURF特征点数量与记录的首帧图像特征点数量进行对比，若特征点数量变化超过给定阈值，则认为当前视频拼接场景发生变化，同时将该帧图像记录为关键帧，重新进行特征点配准、提纯处理及投影变换矩阵计算，然后以新的特征点数量和投影变换矩阵替代原有值，完成对特征点数量和投影变换矩阵的更新；若特征点数量变化未超过给定阈值，则认为当前视频拼接场景无变化，该帧图像调用已存储的前一帧图像的投影变换矩阵来完成拼接。
图1 基于改进SURF的井下视频拼接算法流程
Fig.1 Process of underground video stitching algorithm
based on improved SURF
2 算法原理
2.1 基于改进SURF的特征点提取和配准
SURF算法步骤如下。
(1) 构建积分图像。设原始图像为I(x,y)，(x,y)为图像上像素点坐标，则其积分图像为
(1)
(2) 建立图像金字塔。SURF算法利用盒子滤波器代替高斯核，并将其与图像进行卷积来建立尺度空间，通过改变盒子滤波器的尺寸来获得不同尺度的图像，从而建立图像金字塔。
(3) 检测Hessian矩阵极值点。计算原始图像内所有像素的Hessian矩阵行列式，随后将某一像素的Hessian矩阵行列式值与其同层内8个像素及上下层各9个像素(共26个像素)进行比较，保留极值点作为特征点。Hessian矩阵行列式为
det(Eapprox)=DxxDyy-(0.9Dxy)2
(2)
式中：Eapprox为Hessian矩阵；Dxx，Dyy，Dxy分别为经高斯滤波后的图像在x,y,xy方向的二阶导数近似值。
(4) 确定特征点主方向。以特征点为中心、构建一个半径为6s(s为特征点所在图像尺度)的圆形邻域，累计该邻域60°扇形窗口内所有点的Harr小波特征总和，然后以一定步长旋转该窗口，直至完成1周。Harr小波特征总和最大的窗口对应的方向即为该特征点的方向。
(5) 生成特征点描述符。构建一个以特征点为中心、边长为20s的正方形邻域，同时为保持旋转不变性，将正方形邻域方向调整为与特征点方向一致，如图2所示。然后将正方形邻域划分为4×4=16个子区域，分别计算每个子区域中采样像素的Harr小波响应，并统计其水平方向dx、垂直方向dy、水平方向绝对值|dx|、垂直方向绝对值dy之和，得到一个4维特征向量
将4×4个子区域的4维特征向量整合，即可得到一个4×4×4=64维特征向量，即SURF特征点描述符。
图2 SURF特征点描述符
Fig.2 Descriptor of SURF feature point
虽然SURF算法的运行速度较SIFT算法提高了近3倍[13]，同时其鲁棒性也获得了较大幅度的提升，但当待拼接图像的纹理特征较为丰富时，该算法检测出的特征点不仅数量多，而且分布密集[14]，必然会增加特征点提取过程的耗时，较多的特征点又会进一步导致特征点配准时间延长，进而使算法运行速度降低。基于此，对SURF算法进行以下改进。
(1) 降低SURF特征点维度。H. Bay等[15]指出4×4是最佳的子区域划分方式，当子区域划分多于4×4个时，算法鲁棒性较差，并且增加了匹配时间；当子区域划分少于4×4个时，匹配效果较差，但缩短了匹配时间。本文研究的首要目标是改进SURF算法的实时性，因此考虑通过改变子区域划分方式来缩短算法运行时间。降低SURF特征点维度的具体步骤：对于特征点描述符生成之前的步骤按SURF算法进行，在生成特征点描述符时，构造一个以特征点为中心、边长为15s的正方形邻域，然后将该邻域划分为3×3个大小相等的子区域，则该邻域内共有225个采样像素，每个子区域内有25个采样像素，随后将该正方形邻域调整为与特征点方向一致，并对其进行间隔为s的等间隔采样。改进后的SURF特征点描述符如图3所示。
图3 改进的SURF特征点描述符
Fig.3 Improved descriptor of SURF feature point
对于每一个子区域内的采样像素，仍按SURF算法的Haar小波处理方式，得到包含x，y方向梯度和强度变化极性信息的4维特征向量表示，将所有子区域的4维特征向量结合到一起，即可得到一个3×3×4=36维特征向量，从而实现SURF特征点降维。
(2) 仅在ROI提取特征点。实际拼接实验中，待拼接的2幅图像应存在30%～50%的重叠区域[16]。可知在特征点配准阶段，仅重叠区域内的配准为正确匹配，重叠区域外的配准为误匹配。传统的拼接算法往往对待拼接图像的全部区域分别进行特征点提取和配准，不仅增加了运算成本，而且当左摄像头采集图像(左图)左侧与右摄像头采集图像(右图)右侧存在纹理相近的区域时，极易造成误匹配。本文采用设定ROI的方法来解决上述问题[17]，即将左图的右50%区域设定为ROI，将右图的左50%区域设定为ROI，具体可通过OpenCV中的ROI函数实现。设定ROI如图4所示。特征点提取和配准操作只在ROI内进行。
2.2 RANSAC算法提纯
(1) 在已匹配的特征点对中随机选取4对特征点，以计算当前参数模型Hcur。
图4 ROI设定
Fig.4 ROI setting
(2) 对未选取的其他匹配特征点对，以Hcur求取其对称变换误差，将对称变换误差小于阈值的设为内点，统计内点数M。
(3) 如果M≥M′(M′为前一次计算所得内点数)，则认为Hcur是更好的参数模型，并令参数模型H=Hcur。
(4) 重复执行步骤(1)—(3)，直至完成N(N为迭代次数)次。在重复执行算法过程中会产生2种情况：① 内点数过少，模型被丢弃；② 新模型比已有模型更优秀，新模型被保存。
以所得最大内点集重新计算参数模型，得到最优变换模型，即投影变换矩阵。
2.3 图像融合
采用渐入渐出加权平均法[18]进行图像融合。该方法的主要思想是采用随重叠区域宽度变化而改变的加权因子，以实现目标图像到基准图像在重叠区域内像素值光滑的变化。渐入渐出加权平均法公式：
(3)
(4)
w1+w2=1
(5)
式中：f(x,y)为融合图像的像素值；f1(x,y)，f2(x,y)分别为左右待拼接图像像素值；F1,F2分别为左右待拼接图像；min_x为重叠区域横坐标起始位置；l为重叠区域宽度。
可看出w1随x从0到1变化，w2则从1到0变化。
3 实验及结果分析
实验硬件平台：台式机(Intel(R)Core (TM)i3-2120 CPU@3.30 GHz 双核四线程，内存4 GB，win7旗舰版64位)，笔记本计算机(Intel(R)Core i5 2410M CPU@2.30 GHz双核四线程，内存4 GB，win7旗舰版64 位)，2个普通USB 摄像头(感光元件为CMOS，500万像素，最大分辨率为800×600像素，视频采集速率最高达30帧/s)；软件平台：Microsoft Visual Studio 2010，开源的计算机视觉库OpenCV。
3.1 特征点提取
实验内容为对比SURF算法和改进的SURF算法提取的图像特征点数量及耗时。选取450×450像素的煤矿井下视频图像，如图5(a)所示，实验结果如图5(b)—图5(e)所示。算法提取特征点数量及耗时见表1。
(a) 原始图像
图5 特征点提取实验结果
Fig.5 Experimental results of feature point extraction
从表1可看出，仅降低特征点维度时，提取的特征点数量与SURF算法相比基本保持不变，但特征点提取时间明显缩短；仅设定ROI时，提取的特征点数量减少，提取速度大幅提升；改进的SURF算
表1 特征点提取数量及耗时
Table 1 Number of extracted feature points and
time consumption
法将降低特征点维度和设定ROI结合，不仅可有效控制提取的特征点数量，还极大提高了提取速度，可见改进的SURF算法更能满足视频拼接的实时性要求。
3.2 视频拼接
采用改进SURF算法对井下视频进行拼接实验，结果如图6所示，其实时性分析见表2。
(a) 正常情况下图像
(b) 改变光照情况下图像
(c) 改变摄像头角度情况下图像
(d) 首帧视频拼接效果
(e) 改变光照情况下视频拼接效果
(f) 改变摄像头角度情况下视频拼接效果
图6 视频拼接实验结果
Fig.6 Experimental results of video stitching
表2 不同情况下视频拼接实时性分析
Table 2 Real-time performance analysis of
video stitching under different conditions
设定特征点数量变化阈值为200。由表2可看出，首帧图像拼接耗时较长；在改变光照情况下，提取的特征点数量变化未超过阈值，仍采用之前的投影变换矩阵进行拼接，运行速度较快；在改变1个摄像头角度情况下，右图中特征点数量变化超过阈值，需重新进行特征点配准、提纯，以及投影变换矩阵计算、图像融合处理，导致耗时增加，但整体上仍可满足视频拼接的实时性需求。从图6可看出，基于改进SURF的井下视频拼接算法具有较好的视频拼接效果。
4 结语
改进的SURF算法一方面对特征点进行降维处理，另一方面仅在ROI提取特征点，提高了算法的运行速率，保证了算法的实时性。基于改进SURF的井下视频拼接算法在完成首帧图像拼接后，对于后续图像，通过比较其与前一帧图像的SURF特征点数量来判定当前拼接场景是否发生变化，进而确定是否变换投影变换矩阵，由此保证了动态场景下的视频拼接质量。实验结果表明，基于改进SURF的井下视频拼接算法具有较高的实时性和较好的视频拼接效果。
参考文献：
[1] 厉丹,钱建生,刘增宝,等.煤矿复杂环境视频拼接技术[J].煤炭学报,2011,36(5):878-884.
LI Dan,QIAN Jiansheng,LIU Zengbao,et al.Stitching technology of coal mine video with complex environment[J].Journal of China Coal Society,2011,36(5):878-884.
[2] 程德强,厉航,黄晓丽,等.基于改进随机抽样一致算法的视频拼接算法[J].工矿自动化,2017,43(8):50-55.
CHENG Deqiang,LI Hang,HUANG Xiaoli,et al.Video mosaic algorithm based on improved random sample consensus algorithm[J].Industry and Mine Automation,2017,43(8):50-55.
[3] 宋延爽,耿楠.基于SURF算法的全景图拼接技术研究与实现[J].计算机工程与设计,2012,33(12):4647-4651.
SONG Yanshuang,GENG Nan.Research and implementation of mosaic technology of panoramic image based on SURF algorithm[J].Computer Engineering and Design,2012,33(12):4647-4651.
[4] 黄曾华.综采工作面自动化控制技术的应用现状与发展趋势[J].工矿自动化,2013,39(10):17-21.
HUANG Zenghua.Application status and development tendency of automation control technology for fully mechanized working face[J].Industry and Mine Automation,2013,39(10):17-21.
[5] YUAN C H,PAN J S,SHEU M H, et al.Fast image blending and deghosting for panoramic video[C]//Ninth International Conference on Intelligent Information Hiding and Multimedia Signal Processing,Beijing,2013:104-107.
[6] WANG J X,WATADA J.Panoramic image mosaic based on SURF algorithm using OpenCV[C]//IEEE 9th International Symposium on Intelligent Signal Processing,Siena,2015:1-6.
[7] LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.
[8] 姜小会,陈清奎,何强,等.一种基于SIFT和改进RANSAC的稳健图像拼接算法[J].电脑知识与技术,2015,11(1):127-129.
JIANG Xiaohui,CHEN Qingkui,HE Qiang,et al.A steady image stitching algorithm based on SIFT and improved RANSAC[J].Computer Knowledge and Technology,2015,11(1):127-129.
[9] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF)[J].Computer Vision & Image Understanding,2008,110(3):346-359.
[10] 李海洋,张睿哲.一种改进的基于SURF特征匹配的图像拼接算法[J].太原理工大学学报,2016,47(1):91-95.
LI Haiyang,ZHANG Ruizhe.An improved image stitching algorithm based on SURF feature matching[J].Journal of Taiyuan University of Technology,2016,47(1):91-95.
[11] 陈雪涛,穆春阳,马行.基于SURF和改进RANSAC的视频拼接算法[J].现代电子技术,2016,39(10):44-48.
CHEN Xuetao,MU Chunyang,MA Xing.Video stitching algorithm based on SURF and improved RANSAC[J].Modern Electronics Technique,2016,39(10):44-48.
[12] FISCHLER M A, BOLLES R C.Random sample consensus:a paradign for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.
[13] 张亚娟.基于SURF特征的图像与视频拼接技术的研究[D].西安:西安电子科技大学,2013.
[14] 李士强.基于SURF算法的视频拼接技术研究[D].杭州:浙江工商大学,2011.
[15] BAY H,TUVTELLARS T,VAN G L.SURF:speeded up robust features[C]//The 9th European Conference on Computer Vision,Graz,2006:404-417.
[16] 闫岩,李杨.基于改进快速鲁棒特征的实时视频拼接研究[J].计算机与数字工程,2017,45(4):727-730.
YAN Yan,LI Yang.Real-time video stitching based on improved speeded up robust feature algorithm[J].Computer & Digital Engineering,2017,45(4):727-730.
[17] 首照宇,欧阳宁,张华俊,等.基于SURF和动态ROI的实时视频拼接[J].计算机工程与设计,2013,34(3):998-1003.
SHOU Zhaoyu,OUYANG Ning,ZHANG Huajun,et al.Research on real-time video stitching based on SURF and dynamic ROI[J].Computer Engineering and Design,2013,34(3):998-1003.
[18] 许超,聂诗良.基于SURF和改进渐入渐出法的图像拼接算法[J].数字技术与应用, 2016(12):133.