0 引言
随着“智能、无人、安全”的煤炭精准开采理念的提出，煤炭工业正在由劳动密集型向具有高科技特点的技术密集型转变[1]。高清晰度和低时延的井下场景重现已成为煤炭安全开采自动化、智能化所要解决的重要问题之一。然而，由于井下粉尘、光照等环境因素及视频设备硬件条件的限制，造成视频序列出现模糊、混叠等不良现象，严重影响井下监控视频细节信息的获取[2]。为此，迫切需要数字图像处理技术的快速完善和发展，提高视频图像的分辨率。
基于硬件的方法提高图像分辨率虽然实现简单，但需要增加成像单元的放置密度，成本高。超分辨率重建(Super-Resolution Reconstruction，SRR)技术[3]利用低分辨率(Low Resolution, LR)图像或图像序列之间的冗余性、相似性及一些先验知识进行数据融合，进而重建出高分辨率(High Resolution, HR)图像。从R. Y. Tsai等[4]首次利用多帧LR图像重建出一幅HR图像以来，基于多帧图像的SRR领域涌现出大量优秀算法。其中，比较经典的有H. Stark等[5]提出的凸集投影方法，M. Irani等[6]提出的迭代反向投影方法，以及R.C.Hardie等[7]提出的最大后验概率方法等。近年来，J. Chen等[8]首次将广义高斯马尔科夫随机场(Generalized Gaussian Markov Random Field，GGMRF)应用在视频SRR中，采用GGMRF先验展现出期望的HR图像的最大后验估计。与传统的先验模型相比，GGMRF能够更好地描述HR图像的分布，但是没有考虑视频帧之间的时间连续性。文献[9]提出一种简单的预处理方法，使用线性移位不变点扩散函数解决图像超分辨率的边缘保持问题，但该方法的目标函数的收敛速度太慢。文献[10]提出采用自适应选择最优训练子集的方法来建立超分辨率字典，对于每个输入的低分辨率块，通过贝叶斯方法寻找最佳拟合区域。用该方法得到的峰值信噪比(Peak Signal to Noise Ratio,PSNR)较高，但重建图像仍含有噪声，视觉效果不好。
非局部均值(Non-Local Means, NLM)算法在图像去噪方面具有显著效果[11-13]，该算法理论简单，适用性强，因此，众多学者将NLM思想应用于视频SRR领域[14-16]。2009年，M. Protter等[16]首次提出一种基于NLM的视频SRR算法，采用模糊运动估计解决了图像重建过程中精确匹配的难题，但该算法存在结果过于平滑、图像对比度不高的问题，并且由于其迭代次数偏多，收敛速度较慢，算法复杂度高，导致该算法很难满足实时性需求。针对这些问题，本文在文献[16]的基础上，提出一种基于改进NLM的视频SRR算法。根据待重建的视频图像包含的纹理细节信息的多少，将其分为平坦区和纹理区，平坦区域包含的像素信息较少，直接用直方图均衡化方法[17]进行增强处理；对于纹理区域，通过设计多方向自适应搜索窗，并引入邻域相干系数修正相似性权值,以增强图像纹理细节，提高算法的收敛速度；最后将处理后的平坦区和纹理区进行叠加归一化。实验结果表明，本文算法能够在增强重建图像纹理细节信息的同时，提高算法的收敛速度，同时，降低了算法的整体复杂度。相较原始NLM算法，本文算法的重建时间减少了30%以上。
1 基本模型
1.1 降质退化模型
SRR是通过LR图像获得HR图像的逆问题，为便于分析，对视频序列建立降质退化模型，如图1所示。
图1 视频序列降质退化模型
Fig.1 Degenerate model of video sequence
对HR视频帧Xk(1≤k≤N，N为观测视频的帧数)进行运动变换、光学模糊、降采样等一系列退化处理，输出LR图像Yk，用矩阵表示为
Yk=JkBkFkXk+Ek
(1)
式中：Jk为降采样矩阵；Bk为模糊矩阵；Fk为运动变换矩阵；Ek为加性噪声。
传统的视频SRR算法采用上述降质退化模型，通常包括以下3个阶段：① 图像配准阶段，估计出各LR图像帧的相对运动方式，并通过运动补偿将各帧一一对应。② 图像融合阶段，将运动补偿后的LR图像通过非均匀插值放大到HR网格，其中缺失的像素点通过制定的计算策略在搜索域内寻找到最为相似的像素值进行填充，形成待处理的HR图像。③ 图像复原阶段，对图像融合后得到的待处理HR图像进行去模糊、去噪等操作，得到HR图像估计结果。
大多数算法在配准阶段只能解决图像的全局运动问题，对于图像内部的局部运动，并不能很好地估计。因此，对于包含大量局部运动的煤矿井下视频监控图像，这些算法并不能产生较好的重建效果。基于NLM的视频SRR算法采用模糊运动估计，解决了图像重建过程中精确匹配的难题。
1.2 NLM重建模型
假设I是图像中以第i个像素点vi为中心的搜索区域，像素点vi经NLM滤波后的结果为
(2)
式中w(i,j)为像素点vi,vj之间的权值。
w(i,j)的大小取决于像素点vi,vj之间的相似性，
计算公式为
(3)
式中：Z(i)表示搜索区域I中所有像素点与像素点vi的加权欧氏距离的累加;d(i,j)为加权欧氏距离;b为滤波参数。
d(i,j),Z(i)的计算公式为
d(i,j)=
(4)
(5)
式中：V(i)、V(j)分别表示以第i、j个像素点为中心的图像块；a为高斯核函数的标准差，a>0。
根据NLM滤波思想，对于LR图像序列Yk中任意一帧图像G，其任意一个像素点vi的重建结果为[18]
R(i)=
(6)
式中：D表示图像下采样，DT表示图像上采样；上标L表示LR图像，H表示HR图像；
分别表示将一个图像子块插值到以像素点vi为中心的HR,LR图像中的相应位置上；A表示与HR图像等大的单位矩阵。
基于NLM思想的视频超分辨率重建方法步骤：① 对LR图像进行插值,得到待重建HR图像Tk。② 以Tk为参考帧，结合邻域帧对图像进行重建，得到高分辨率估计图像。③ 对高分辨率图像进行去模糊处理，得到HR图像的估计值。
2 改进的NLM视频SRR算法
2.1 算法流程
(1) 采用Lanczos插值算法将LR视频帧进行预处理，得到待重建图像Tk。
(2) 利用模糊边缘补足(Fuzzy Edge Complement，FEC)算法对Tk进行自适应分区，分为纹理区Tk1和平坦区Tk2。
(3) 对于Tk1，利用改进的相似性权值公式计算相邻帧之间的权值矩阵。Tk1中，与LR图像对应的点不做处理，非对应点(即插值估计点)利用改进的NLM重建公式进行重建。
(4) 对于Tk2，采用直方图均衡化方法直接进行增强处理。
(5) 将重建的纹理区和增强的平坦区进行叠加归一化，完成视频帧的重建。
(6) 根据上述步骤完成每一帧重建，最后使用基于全变分的方法[16]进行去模糊处理。
改进的NLM视频SRR算法流程如图2所示。
图2 改进的NLM视频SRR算法流程
Fig.2 Flow of improved NLM video SRR algorithm
2.2 FEC分区
文献[19]首次提出利用FEC的方法解决模糊图像边缘提取的问题，采用式(7)对每幅图像的像素点进行预处理：
(7)
式中：r(m,n)表示像素点(m,n)的锐度；U为图像中最大的像素值；μ(m,n)表示像素点(m,n)的像素值。
以像素点(m,n)为中心，取大小为P×P的图像块，根据式(8)，利用周围像素的锐度求取中心点(m,n)锐度的平均值：
(8)
式中：x,y∈[1,P]；τ,ω为缩放因子。
由于该算法对噪声具有鲁棒性，所以适用于井下图像边缘纹理提取。本文结合FEC方法对经过插值放大后的待重建图像中每个像素点进行处理，将通过式(7)和式(8)处理得到的特征图像记作Ie。用式(9)将Ie中所有像素值映射到[0,1]区间：
Ir(m,n)=
(9)
式中Ω为经过FEC处理的特征图像。
用所有像素的锐化均值e(m,n)作为区分图像块平坦程度的指标：
(10)
式中S为图像块中所有像素锐度值的和。
根据e(m,n)的值进行分区，本文用0表示平坦区，1表示纹理区，分区范围如式(11)所示。
(11)
2.3 多方向自适应搜索窗
采用多方向搜索(Multi-Direction Search, MDS)方法给每个待重建像素设计不规则的自适应搜索窗。该方法的基本思想：将当前像素的周围邻域平均分成8等份；在每个特定方向上设置相应的方向核函数gh,θl和最优窗尺度参数h+(θl)，其中θl为任意一块扇形的圆心角。具体步骤如下：
(1) 划分区域。以目标像素x为中心，以9个像素点为步长，将360°邻域划分为不重叠的8个扇形块的集合。
(2) 设置最优窗尺度参数。在每个方向上引入一个窗尺度参数h的有限集合H,H={h1<h2<…<hc}，c为H中元素个数,从h1开始计算，得到置信区间F(c)：
F(c)=
t·std(x,hc)]=[f1,f2]
(12)
式中：std(x,hc)表示标准差；
表示方向估计；t为置信区间的门限值；f1，f2分别为置信区间的下界和上界。
当f1≤f2时，最优尺度参数就是满足条件的最大c+所对应的尺度
即h+(θl)=h(θl,c+)，c+为置信区间交叉公共点中的最大值。置信区间交叉规则如图3所示，其中K1，K2，K3所指区域表示置信区间(1)、(1,2)、(1,2,3)的连续交叉，第4个置信区间交叉为空，所以,最优的窗尺度参数为h3，依此类推，选出每个方向上的最优尺度参数。
图3 置信区间交叉规则
Fig.3 Cross rule of confidence interval
(3) 设置方向核函数。由步骤(2)确定的最优尺度参数h+(θl)有唯一确定的窗权函数wh(x)与之对应，即
则方向核函数为
h-zwh(u)φT(u)φ(z)(0)
(13)
式中：z为不同位置的矢径;u表示以x为变量的方向旋转算子;φ表示二维多项式。
(4) 计算支持域。通过步骤(2)、步骤(3)设置窗尺度参数和核函数，每个方向所对应的支持域supgh,θl(搜索范围)可表示为
(14)
(5) 循环遍历。循环步骤(2)、(3)、(4),遍历8个方向后，以O为中心的搜索邻域为
(15)
以O为中心的搜索邻域具体构成如图4所示。与矩形搜索邻域相比，多方向自适应搜索邻域可进一步保证搜索窗内的像素均是跟中心像素点相关联的像素。
图4 以O为中心的搜索邻域
Fig.4O-centric search neighborhood
2.4 权值优化
NLM重建中的权值仅由欧氏距离决定，在噪声较大和纹理细节丰富的区域，权值计算不精确会导致结构信息不完整。为了保持细节信息完整，本文将邻域间相干系数引入NLM重建中，以优化图像块的权值计算。相干系数是评价图像块相似性的另一种指标，其计算公式为
(16)
式中：
分别为灰度矩阵Ni,Nj的灰度均值;ψ()表示方差。
将式(16)代入式(3)中，重新定义权值w(i,j)：
(17)
将式(17)与式(4)相结合，重新定义一种评价图像块相似性的指标：
(18)
式中num()表示相干像素点的数量。
用式(18)取代式(4)，再代入式(6)进行重建计算。分析像素点间的权重计算公式可知，像素点vi与vj和像素点vj与vi之间的权重具有对称性，即w(i,j)=w(j,i)。本文将权重对称性用于NLM重建中，像素点vi和vj之间的权重只需计算1次，从而减少了一半的计算量，提高了算法实时性。
3 实验与结果
3.1 仿真分析
采用标准foreman视频序列进行Matlab仿真。在HR视频帧(720×480)中加入均值为0、方差为0.05的高斯白噪声，再进行降采样得到31帧LR视频帧(180×120)。分别采用本文算法、Bicubic算法、传统NLM算法及文献[20]所提改进NLM(简称L-NLM)算法对LR图像进行重建，其中传统NLM算法和L-NLM算法均采用13×13的权值搜索窗及5×5的搜索邻域进行计算，本文算法则采用多方向自适应搜索窗进行计算。从31帧重建的视频帧中随机选取2帧作为重建效果的对比展示，本文取的是第6帧和第17帧。重建结果如图5所示，从左至右依次为原图、Bicubic算法结果、传统NLM算法结果、L-NLM算法结果和本文算法结果。
(a) 第6帧
(b) 第17帧
(c) 第17帧细节放大
图5 foreman视频序列重建结果
Fig.5 Reconstruction result of video sequence of foreman
从图5可看出，Bicubic算法受噪声干扰较大，模糊效应严重，尤其在第6帧中眼睛和帽檐处模糊更严重；传统NLM算法能够去除噪声的干扰，但是人脸轮廓仍存在模糊现象，L-NLM算法能获得较清晰的图像，但存在重建边缘过于平滑的现象。第17帧中牙齿的细节放大图对比更明显。总体来看，本文算法的重建效果最优，不仅去噪效果明显，而且有效避免了边缘平滑现象，提高了重建质量。
3.2 井下视频序列实验
为了证明本文算法的适用性，取煤矿井下视频序列进行实验。与标准foreman序列一样，从视频序列中选取2帧进行对比展示。其高分辨率帧大小为640×640，降质退化为160×160低分辨率帧。分别采用本文算法、传统NLM算法、L-NLM算法和Bicubic算法进行重建，重建结果如图6所示。从左至右依次为原图、Bicubic算法结果、传统NLM算法结果、L-NLM算法结果和本文算法结果。
从图6可以看出，当视频图像中目标运动较快时，Bicubic算法适用性减弱，重建图像较模糊、振铃效应严重。用本文算法重建的图像纹理更清晰，且消除了振铃效应，效果更好。
(a) 井下视频序列1
(b) 井下视频序列2
图6 矿井视频序列重建结果
Fig.6 Reconstruction result of underground video sequence
3.3 客观评价
为了更加客观地评估图像重建的质量，本文采用PSNR、结构相似性(Structural Similarity, SSIM)和重建时间3个客观评价算子分别对仿真和实验结果进行评估。
PSNR计算公式为
(19)
式中：p为每像素的比特数，一般取8；MSE为重建图像与原图像的均方误差。
SSIM计算公式为
(20)
式中：μ1,μ2,σ1,σ2分别为图像1、图像2的均值和方差；σ12为图像1、图像2的协方差；C1,C2为常数。
PSNR计算结果如图7所示。从20帧foreman序列PSNR值曲线可看出，本文算法的重建性能明显好于其他3种算法。在矿井序列PSNR值的曲线图中，用本文算法得到的PSNR值只在第18帧稍稍低于L-NLM算法，这是由于第18帧图像光线过暗，采用FEC进行图像纹理提取时受光线影响所致。因此，采用对噪声和光线同时鲁棒的边缘纹理提取方法，将是以后井下图像超分辨率研究的重点。
表1中统计了采用不同算法得到的PSNR平均值，可以看出，本文算法的PSNR平均值明显高于其他3种算法。
表1 4种不同算法的PSNR平均值
Table 1 Average PSNR of four different algorithms
用SSIM从对比度、亮度和结构3个方面进一步对图像的重建质量进行评估，结果见表2，可以看出，本文算法的SSIM值是最大的。
(a) foreman
(b) 矿井视频序列
图7 视频图像的PSNR值
Fig.7 PSNR of video sequences
4种重建算法的重建时间见表3，其中，加速比表示本文算法相较传统NLM算法在平均时间上减少的百分比。从表3可看出，本文算法的重建时间比Bicubic算法要长，但与传统NLM算法相比，重建时间减少了30%以上。结合主观视觉效果和PSNR值、SSIM值等客观评价算子的比较结果来看，本文算法的重建效果优于Bicubic算法和传统NLM算法。与L-NLM算法相比，本文算法从PSNR和SSIM上都有略微提升，并且重建时间也相应减少。
4 结语
在传统NLM重建算法的基础上进行改进，提出一种基于改进NLM的视频SRR算法。该方法根据FEC将待重建的视频图像分为平坦区和纹理区；对于平坦区域，由于包含的像素信息较少，直接利用直方图均衡化方法进行增强处理，从而大大减少算法的计算量；对于纹理区域，通过设计多方向自适应搜索窗，修正相似性权值计算方式的方法增强图像边缘信息，使图像块间相似性的计算更为精确。实验结果表明，改进的NLM视频重建算法在改善PSNR值、结构相似度和视觉效果的同时，大大减少了重建耗时。
表2 4种不同算法的SSIM值
Table 2 SSIM of four different algorithms
表3 重建时间
Table 3 Reconstruction time
参考文献(References)：
[1] 袁亮. 煤炭精准开采科学构想[J]. 煤炭学报, 2017,42(1):1-7.
YUAN Liang. Scientific conception of precision coal mining[J].Journal of China Coal Society,2017, 42(1): 1-7.
[2] 苏衡, 周杰, 张志浩. 超分辨率图像重建方法综述[J]. 自动化学报, 2013,39(8):1202-1213.
SU Heng,ZHOU Jie, ZHANG Zhihao. Survey of super-resolution image reconstruction methods[J]. Acta Automatica Sinica,2013,39(8):1202-1213.
[3] ALMAHDI R, HARDIE R C. Recursive non-local means filter for video denoising with Poisson-Gaussian noise[C]//IEEE National Aerospace and Electronics Conference and Ohio Innovation Summit, Dayton, 2016.
[4] TSAI R Y, HUANG T S. Multiframe image restoration and registration[C]//Advances in Computer Vision and Image Processing, 1984.
[5] STARK H, OSKOUI P. High-resolution image recovery from image-plane arrays, using convex projections[J]. Journal of the Optical Society of America A-Optics Image Science and Vision,1989, 6(11):1715-1726.
[6] IRANI M, PELEG S. Improving resolution by image registration[J]. Cvgip Graphical Models & Image Processing, 1991,53(3):231-239.
[7] HARDIE R C, BARNARD K J, ARMSTRONG E E. Joint MAP registration and high-resolution image estimation using a sequence of undersampled images[J]. IEEE Transactions on Image Processing, 1997, 6(12):1621-33.
[8] CHEN J, NUNEZ-YANEZ J, ACHIM A. Video super-resolution using generalized Gaussian Markov random fields[J]. IEEE Signal Processing Letters, 2011,19(2):63-66.
[9] PELLETIER S, COOPERSTOCK J R. Preconditioning for edge-preserving image super resolution[J]. IEEE Transactions on Image Processing, 2012, 21(1):67-79.
[10] PÉREZ-PELLITERO E, SALVADOR J, RUIZ-HIDALGO J, et al. Bayesian region selection for adaptive dictionary-based super-resolution[C]// British Machine Vision Conference,2013.
[11] LIU W, WU S. Superpixels-based non-local means image denoising[C]//IEEE 11th Conference on Industrial Electronics and Applications, Hefei, 2016.
[12] ISIDORO J R, MILANFAR P. A pull-push method for fast non-local means filtering[C]//IEEE International Conference on Image Processing, Phoenix, 2016.
[13] FEDOROV V, BALLESTER C. Affine non-local means image denoising[J]. IEEE Transactions on Image Processing, 2017,26(5):2137-2148.
[14] ERTAS M, AKAN A, YILDIRIM I, et al. Sparse tomographic image reconstruction method using total variation and non-local means[C]//IEEE International Conference on Imaging Systems and Techniques, Macau, 2015.
[15] ERTAS M, AKAN A, YILDIRIM I, et al. An iterative reconstruction for tomosynthesis imaging using non-local means[C]//IEEE International Conference on Imaging Systems and Techniques Proceedings, Santorini,2014.
[16] PROTTER M, ELAD M, TAKEDA H, et al. Generalizing the nonlocal-means to super-resolution reconstruction[J]. IEEE Transactions on Image Processing, 2009,18(1):36-51.
[17] 程德强,郑珍,姜海龙.一种煤矿井下图像增强算法[J].工矿自动化,2015,41(12):31-34.
CHENG Deqiang,ZHENG Zhen,JIANG Hailong. An image enhancement algorithm for coal mine underground[J].Industry and Mine Automation, 2015, 41(12):31-34.
[18] WANG A J,JEONG J,JEON G.Deinterlacing algorithm with an advanced non-local mean filter [J]. Optical Engineering, 2012, 51(4):301-311.
[19] GOODARZI M H, ZAEIM A, SHAHABI A S. Convergence between fuzzy logic and steganography for high payload data embedding and more security[C]// 6th International Conference on Telecommunication Systems, Services, and Applications, Bali, 2011.
[20] 李家德,张叶,贾平.采用非局部均值的超分辨率重构[J].光学精密工程,2013,21(6):1576-1585.
LI Jiade, ZHANG Ye,JIA Ping. Super-resolution reconstruction using nonlocal means[J]. Optics and Precision Engineering, 2013, 21(6):1576-1585.