基于下采样灰度投影的电子稳像算法研究

摘要：为了快速、准确地稳定矿井车载摄像系统获取的抖动图像，提出了一种基于下采样灰度投影的电子稳像算法。首先对图像进行直方图均衡化处理，以提高图像对比度；为减少算法运算量，削减局部运动物体的影响，通过下采样方法对图像进行多分辨率分层，选取相邻2帧低分辨率图像及其预定子区域分别进行灰度投影运算，并对运算结果进行加权求和处理，获得最终的全局运动矢量；最后根据卡尔曼滤波获取的补偿量，通过自适应相邻帧补偿方法对图像进行运动补偿，以解决误差累积问题。实验结果表明，所提算法在准确度和运算时间上都优于传统灰度投影算法，且能实现长时间连续稳像。

关键词：矿井车载摄像；电子稳像；下采样；灰度投影；运动补偿

0 引言

《能源技术革命创新行动计划(2016—2030年)》重点任务中要求实现煤炭无害化开采技术创新[1]，包括重大灾害监控预警、应急救援等关键技术研发及应用。在煤矿监控预警、事故应急救援中，井下车载摄像系统是不可或缺的一部分。由于受到摄像载体随机运动的影响，摄像系统获得的视频图像信息会出现不稳定的现象，使得煤矿井下现场的呈现效果不理想，不仅影响监测人员对矿井现场的判断，而且极大地影响后续图像监控预警、安全事故的应急救援效果等。因此，对矿井车载摄像系统进行稳像处理对于煤炭安全开采至关重要。

稳像技术根据发展历程可分为机械稳像、光学稳像及电子稳像[2]。电子稳像技术相对于前2种稳像技术，具有精度高、功耗小、成本低、控制方式简单等优点，在实际工程中有着广泛的应用。电子稳像系统的处理流程一般包括运动估计、运动滤波、运动补偿3个环节[3]。首先利用运动估计算法获取全局运动矢量，通过运动滤波算法将全局运动矢量分离为主动扫描运动矢量与随机抖动矢量，最后利用运动补偿算法对随机抖动矢量进行反方向补偿，达到输出稳定的视频序列的目的。

常用的运动估计算法有块匹配法、光流法、灰度投影法等[4]。其中，灰度投影法具有运算量小、对噪声不敏感的优点，适用于实时处理的场合，在实际工程中有着广泛的应用[5]。另外，井下机车震动对图像抖动的影响一般表现为水平方向或垂直方向上的平移运动，符合灰度投影算法的原理。

文献[6]采用快速三点搜索的灰度投影法进行全局运动矢量估计，运算时间相对减少，但没有考虑局部运动物体的影响，因此,其全局运动矢量值的求解会有一定误差。文献[7]采用相邻帧补偿的方式对图像进行运动补偿，但相邻帧补偿易产生累积误差，当长时间连续稳像时这种方法稳像效果不好。

针对以上问题，本文提出了一种基于下采样灰度投影的矿井车载电子稳像算法。首先通过直方图均衡化提高图像的对比度，在此基础上，通过下采样方法对图像进行多分辨率分层；然后选取低分辨率图像及预定子区域分别进行灰度投影计算，对两者的运动偏移值加权求和，获取全局运动矢量，在减少算法计算量及减轻局部运动物体影响的同时，体现了图像的整体特性；最后通过卡尔曼滤波获取补偿量，通过基于自适应相邻帧的补偿方法对图像进行补偿，获取平滑、稳定的视频序列。

1 全局运动矢量估计

针对煤矿井下车载视频图像灰度值单一且分布不均匀的问题，首先对图像进行预处理，然后再进行灰度投影算法的计算。

直方图均衡化是灰度变换的一个比较重要的应用，易于实现且高效[8]，因此，本文采用直方图均衡化对图像进行预处理。该方法的基本原理是将原始图像的灰度值进行均匀分布，以扩大图像像素灰度值的变化范围。设直方图用p表示，其表达式为

式中：g为灰度值;lg为灰度值g出现的次数；l为图像总像素数。

将p归一化到[0,1]区间，设对应p的累积概率函数为c，其表达式为

式中：xi为原始图像灰度值；R为变换函数；yi为xi经过变换后在[0,1]内对应的值。

式(3)将不同的灰度等级映射到[0,1]域，需要通过式(4)将这些值映射回其最初的域。

式中

为直方图均衡化后的灰度值；ymax为原始图像灰度最大值；ymin为原始图像灰度最小值。

灰度投影算法是指将1幅二维图像的灰度数据简化成2个一维的灰度特征匹配，根据现有图像灰度分布的变化规律得到当前帧相对于参考帧的运动矢量。该算法由图像行列灰度投影和相关计算2个部分构成。

图像行列灰度投影是指将图像信息分别在X轴和Y轴进行灰度累加，得到2个相互独立的一维灰度投影曲线。大小为M×N的图像的灰度投影值公式如式(5)和式(6)所示。

式中：lk(j)为图像的第k帧在第j列的投影灰度值；rk(i,j)为第k帧图像在坐标(i,j)处的灰度值；wk(i)为第k帧图像在第i行的灰度投影值。

相关计算是根据投影曲线获得运动矢量的过程，其本质是将2条不重合的曲线进行平移。运动矢量是指将不重合曲线平移到重合位置的重合量。直观上的平移反映在数学上是根据一定的匹配准则对曲线的相关性进行量化求取。最小均方误差(MSE)准则是常用的匹配准则方法之一。行、列相关曲线计算公式分别为

式中:x,y为相关曲线的横坐标和纵坐标;m,n为位移矢量相对于参考帧在行、列侧的搜索宽度。

运动矢量用[ΔX,ΔY]T表示，ΔX和ΔY分别为水平方向和垂直方向偏移量，其表达式为

提高灰度投影算法的运算速度对于实时电子稳像具有重要意义。本文采用多分辨率分层的思想对原始图像进行分层，对低分辨率图像进行投影操作，以减少运算量。由于灰度投影算法以图像灰度信息为基础，所以,该方法不会影响算法整体性能。

视频图像序列的多分辨率表示原理如图1所示。将图像多分辨表示后，可进行分层，最上层图像的分辨率最低[9]。

图1 视频图像序列的多分辨率表示原理

采用低通滤波及下采样方法得到多分辨率图像，图像下采样多分辨率分层分解如图2所示。

对于原始图像f，一般认为是第1层，用f1表示，此时，f1为图像的最大分辨率层。将f1进行低通滤波处理(滤波算子用H表示)，根据构造公式(式(10))对滤波后的图像进行下采样处理，得到第2层图像f2。依此类推，最终获得的第r层多分辨率图像fr。

图3 多分辨率图像

根据现场实际观察，在机车行进过程中，为避免发生危险事故，井下工作的矿工一般不会出现在矿井车载摄像系统获取的图像的中下部区域，即预定子区域中。以分辨率大小为640×480的图像为例，其预定子区域大小为 {(220,30),(420,230)}，如图4所示。

图4 预定子区域选择

利用预定子区域无运动物体这一特点，通过对相邻2帧低分辨率图像及预定子区域分别进行灰度投影计算，对获得的运动矢量取不同的权重，获得低分辨率图像下的全局运动矢量。全局运动矢量计算公式如下：

式中

和

分别为低分辨率图像下全局水平和垂直运动估计值；λ为子区域所占的权重；

和

为2帧整幅低分辨率图像的水平和垂直位移矢量；v″x和v″y为低分辨率图像中预定子区域的水平和垂直位移矢量。

可以通过加大预定子区域估计值的权重来降低局部运动物体对全局运动矢量的影响，从而更加准确地估计全局运动矢量值。但是如果预定子区域的权重过大，过度依赖局部运动矢量而忽略整体特性，反而会增大全局运动估计的误差。因此，应选取适当的权重比例，使其既能反映整体特性，又能精确、可靠地计算全局运动估计矢量。根据矿区运动物体运动特点及大量实验数据测试，当λ取50%时能够获得较准确的全局运动矢量。

2 基于自适应相邻帧的运动补偿

车载摄像系统通过运动估计获取到的全局运动矢量一般包括2个部分，即摄像机自身的主动扫描运动和随机抖动。文献[10]采用改进卡尔曼滤波对全局运动矢量进行低通滤波处理，能够有效分离出主动扫描运动和随机抖动。因此，本文采用该方法获取运动补偿参数。

获取运动补偿参数后，根据负反馈思想，通过运动补偿算法将补偿量重置于当前帧，以获得平稳连续的视频图像序列。常用的运动补偿方法有固定帧补偿和相邻帧补偿2种[11]。固定帧补偿通常用于摄像机平台固定的情况，不适用于矿井车载摄像系统。相邻帧补偿是将待处理的每一帧与上一帧进行对比，估计出相邻2帧的运动矢量。

由式(13)可知，当前帧的运动补偿矢量为其前面所有帧的运动矢量和，这样就使得上一帧存在的计算误差会一直延续并累积，造成图像边界缺失的部分会慢慢变大，不能够进行长时间连续稳像。针对该问题，本文提出一种基于自适应相邻帧的运动补偿算法，算法描述如下：

(3) 比较w(e)与T的大小。当

时，认为累积值已达到最大值，需要更换参考帧，将当前帧确定为新的参考帧，令w(e)=h(e)，跳转到步骤(2)；否则不变换参考帧。

当T取值较大时，同样会出现相邻帧累积误差的问题；T取值太小时，又会因为频繁更换参考帧而导致图像出现跳变现象。本文根据实际现场摄像系统的运动情况，将T设为图像大小的20%。

3 实验结果与分析

采用河南平煤一矿井下矿车行进获取的视频作为实验数据，对基于下采样灰度投影的电子稳像算法的性能进行分析。其中原始图像采集分辨率为640×480，视频序列中不仅存在摄像设备的运动，而且有不规则的随机抖动，有时也会有矿工(局部运动物体)的运动。实验采用VS 2013，OpenCV和Matlab联合编程。

不同权重的差值图像如图5所示。图5 (a)为视频序列的参考帧，图5(b)为当前帧，图5(c)为稳像前2帧图像的差值。因矿车剧烈震动，导致视频序列不稳定，图5(d)—图5(h)为预定子区域占不同权重时的差值图像。由图5可知，当预定子区域权重为50%时，能更加有效、稳定地进行视频去抖动处理，同时也能削减局部运动物体的影响。

稳像前后图像效果比较如图6所示。选取的图像为视频序列中的连续4帧图像，可以看出，稳像前图像网格线的交点不能集中到一点，而稳像后图像网格线的交点几乎对应图像中的一个点，说明本文算法能够较好地对抖动视频进行稳像。

本文算法与相邻帧补偿算法的长时间稳像效果比较如图7所示。图像的反向补偿会使得一些边界信息丢失，反映在图像上则为边界出现“黑边”。从图7可以看出，采用相邻帧补偿的图像“黑边”比采用本文算法的多，也就是累积误差较大，说明本文提出的自适应相邻帧补偿算法可以减小累积误差。

稳像前后水平方向偏移量对比如图8所示。可以看出，稳像前图像间的偏移量相对较大，传统灰度投影算法虽然也有一定的稳像效果，但是某些帧还是出现了较大的偏移。采用本文算法处理后，帧间偏移量几乎为零，说明本文算法具有很好的稳像效果，能够明显减轻帧间抖动。

采用传统灰度投影算法与本文提出的下采样灰度投影算法对一段帧数为96的视频图像序列进行行列投影及相关计算，并统计所用时间，结果见表1。由表1可看出，本文算法在行列投影及相关计算上所用时间明显小于传统算法，虽然图像下采样处理占用部分时间，但总体优于传统灰度投影算法。

(a) 稳定前连续4帧图像

(b) 稳定后连续4帧图像

图6 稳像前后图像效果比较

图8 稳像前后水平方向偏移量的对比

表1 算法耗时对比 s

4 结语

提出了基于下采样灰度投影的矿井电子稳像算法，该算法在减轻局部运动物体对全局运动矢量影响的同时，也减少了运算时间，整体实时性较高。基于自适应相邻帧的运动补偿算法根据阈值自适应地变换参考帧，解决了累积误差问题，能够实现长时间连续稳像。如何去除补偿产生的“黑边”现象、实现图像的完整输出是下一步研究的一个方向。

[1] 国家发展改革委国家能源局关于印发《能源技术革命创新行动计划(2016—2030年)》的通知[EB/OL].(2016-06-01)[2016-09-01].http://www.nea.gov.cn/2016-06/01/c_135404377.htm.

[2] 王志民,徐晓刚.电子稳像技术综述[J].中国图象图形学报,2010,15(3):470-480.

[3] 王智慧,王敬东,李鹏,等.一种基于KLT-RANSAC全局运动估计的电子稳像算法研究[J].光电子技术,2012,32(1):46-51.

[4] 朱娟娟.电子稳像理论及其应用研究[D].西安:西安电子科技大学,2009.

[5] 齐红,任洪娥,田少卿,等.一种基于灰度投影的电子稳像改进方法[J].中山大学学报(自然科学版),2012,51(5):40-44.

[6] 游春芝,陈光喜.改进的灰度投影电子稳像算法[J].桂林电子科技大学学报,2015,35(2):152-155.

[7] 黄毅英,黎强.基于运动帧补偿的多媒体块匹配稳像仿真实现[J].科技通报,2014,30(10):217-219.

[8] 黄丛珊.直方图均衡化图像增强算法的改进及其OpenCL并行实现[D].广州:暨南大学,2014.

[10] 吉淑娇,朱明,雷艳敏,等.基于改进运动矢量估计法的视频稳像[J].光学精密工程,2015,23(5):1458-1465.

[11] 许杰,康国强,李洋,等.电子稳像中运动补偿方法的研究[J].科技资讯,2015,13(4):192-193.

[12] 杨嘉琛,侯春萍,沈丽丽,等.基于PSNR立体图像质量客观评价方法[J].天津大学学报,2008,41(12):1448-1452.

Research on electronic image stabilization algorithm based on subsample gray-scale projection

(Anhui Jiyuan Software Co., Ltd., State Grid Information & Telecommunication Group, Hefei 230088, China)

Abstract：In order to stabilize dithering images obtained by mine vehicle-mounted recording system fast and accurately, an electronic image stabilization algorithm based on subsample gray-scale projection was proposed. Firstly, the image is processed by histogram equalization to improve image contrast. In order to reduce computation amount of the algorithm and weaken impact of local moving objects, the image is multi-resolution layered by the method of subsample, and the adjacent two frames of the low resolution image and its predetermined sub-regions are selected for gray-scale projection operation. The global motion vector is obtained by weighted summing process of the operation results. Finally, the image is compensated by adaptive adjacent frame compensation method according to compensation amount obtained by Kalman filtering. The experimental results show that the proposed algorithm is superior to traditional gray-scale projection algorithm in terms of accuracy and computation time, and can achieve long time continuous image stabilization.

Key words：mine vehicle-mounted recording; electronic image stabilization; subsample; gray-scale projection; motion compensation

作者简介：范叶平(1979-)，男，安徽安庆人，高级架构师，主要从事信息管理、信息集成、数据集成类项目咨询、方案设计、研发管理工作，E-mail:fanyeping@sgitg.sgcc.com.cn。

网络出版地址：http://kns.cnki.net/kcms/detail/32.1627.TP.20170328.1711.006.html

范叶平，郭政，张锐.基于下采样灰度投影的电子稳像算法研究[J].工矿自动化，2017,43(4)：22-27.