黄玉1， 张英俊1， 潘理虎1,2
(1.太原科技大学 计算机科学与技术学院， 山西 太原 030024；
2.中国科学院 地理科学与资源研究所， 北京 100101)
摘要：针对井下收集的人脸图像易受煤尘干扰且一般特征提取方法对噪声较敏感的问题，提出一种基于Shearlet变换的井下图像差异性特征提取方法。首先利用Shearlet变换将图像进行多尺度多方向分解，然后对同一尺度的各方向子图利用实部特征进行编码融合，进而根据各尺度子图的Shannon熵值赋予不同权值进行再融合，最后对低频子图和融合后的高频子图利用Shearlet逆变换重构得到差异性图像。实验结果表明，该方法具有较好的客观评价指标与主观效果。
关键词：煤矿考勤； 人脸识别； 特征提取； Shearlet变换； 特征编码； Shannon熵
精确高效的煤矿考勤是安全管理中的一个紧要工作。与一般公共场所不一样，煤矿生产环境存在煤尘、粉尘、噪声等各种干扰[1-2]，监控识别难度加大。虽然井下人脸易受到污染，但人脸轮廓、特征等相对变化不大，因此，将直接、友好的人脸识别技术应用于煤矿井下人员考勤是目前的研究热点[3]。
人脸识别可分为图像预处理、人脸检测、特征提取和分类识别4个过程，其中特征提取是人脸识别过程的关键。特征提取即从检测出的人脸图像中提取出可以区分不同个体的差异性特征，这就要求这些特征对于同一个体是稳定的，而对于不同的个体又是具有鉴别性的。其目标是从众多特征中选择最有效的特征，消除不利特征对后续人脸识别的影响。当前人脸特征提取方法主要分为两大类，即基于全局信息的特征提取方法和基于局部信息的特征提取方法。基于全局信息的特征提取方法主要包括子空间表示、流形表示、稀疏表示和全局频域表示等[4-6]，基于局部信息的特征提取方法主要包括局部纹理表示、局部频域表示、局部几何表示和局部统计分析等[7-8]。
近年来，基于变换域的多尺度几何分析局部特征提取方法有了长足进步，其中运用Gabor变换卷积进行人脸特征提取的方法较为成熟，Gabor 变换具有良好的时频局部化特性及方向选择能力，但变换后的数据维数较高[9]。Contourlet变换方法比Gabor变换具有更多的方向信息，但在其变换过程中使用了拉普拉斯金字塔滤波器，在分解过程中需要进行下采样计算，因此结果并没有平移不变性[10]。2007年，Labate和Guo等通过特殊的合成膨胀仿射系统提出了一种新的多维函数稀疏表示工具——剪切波(Shearlet)变换[11]。Shearlet变换具有最优非线性逼近性能和多分辨分析特性，而且在方向变换上没有数目的限制，具有良好的时频局部特性，数学结构更简单，对图像数据具有更强的稀疏表示能力。
本文针对井下收集的人脸图像易受煤尘干扰且一般局部化方法对噪声比较敏感的问题，提出一种基于Shearlet变换的井下图像差异性特征提取方法，首先利用Shearlet变换将测试图像进行多尺度多方向分解；然后为降低特征维数，利用实部特征对同一尺度不同方向的特征子图进行编码融合；再利用Shannon熵理论对各尺度子图赋予不同权值，再次进行融合得到差异性特征图，最后对包含图像主要能量与少量噪声的低频子图和经融合后的高频子图利用Shearlet逆变换重构得到去干扰图像。
1.1 连续Shearlet变换
Shearlet变换是一种新的多维函数稀疏表示的多尺度几何分析工具。在二维情况(n=2)下，具有合成膨胀的仿射系统定义为
(1)
式中：Ψ∈L2(R2)；A，B为可逆矩阵，且|detB|=1；j为尺度参数；k为剪切参数；l为平移参数。
若ΨAB(Ψ)满足Parseval框架(紧框架)，即任意的f∈L2(R2)都满足式(2)，则ΨAB(Ψ)就称为合成小波。
(2)
在合成仿射系统中，对角矩阵Aj和尺度变换相关联，矩阵Bl和面积不变的几何变换相关联。同小波类似，合成小波同样可以构造尺度、方向和位置变化的Parseval框架。而剪切波是合成小波的一个特例，即当
时，该合成小波就是剪切波。各向异性膨胀矩阵A控制了Shearlet变换的尺度，剪切矩阵B控制了Shearlet变换的方向。若给定函数f∈L2(R2)，则连续Shearlet变换定义为
(3)
1.2 离散Shearlet变换
连续Shearlet变换的离散化方法包括时域法[12]和频域法，本文采用频域法。若给定函数f∈L2(R2)，则由式(4)计算Shearlet变换，即
(4)
式(4)中包含2个主要步骤：
(1) g(ξ)
，称为尺度分解，将图像分解成不同尺度下的低通成分和高通成分。
(2) g(ξ)
，称为方向剖析，利用窗口函数将高通成分进行方向剖分。
若给定离散图像
)，则离散化的Shearlet变换具体包括以下4个步骤：
(1) 用拉普拉斯金字塔算法将尺度j下的低通成分
分解成低通成分
和高通成分
，对于尺度j下的低通成分，若
)，则
)，其中Nj=Nj-1/4。
(2) 对
进行伪极向格影射
是的傅里叶变换)，得到矩阵P。
(3) 利用窗口函数对矩阵P进行方向剖分，即方向滤波，得到锥形方向频率成分。
(4) 将锥形方向频率成份影射到笛卡尔坐标系后，对其进行傅里叶逆变换，即可得到Shearlet系数。2个尺度下离散化的Shearlet变换流程如图1所示。
图1 离散Shearlet变换流程
Shearlet变换相比于传统的多尺度几何变换方法具有更灵活的多方向选择特性。本文选用4个尺度、8个方向的Shearlet变换[13]。经此变换之后，一幅人脸图像就会对应转换成32个不同尺度、不同方向的特征子图，即变换后的特征维数将是原始图像的32倍，若选择更多尺度与方向的Shearlet变换，则变换后的特征维数更大，对后续识别等工作造成很大时间与空间的压力。而Shearlet变换的方向滤波器组是由一维实系数或复系数的子滤波器组组成，因此，本文用一种基于实部特征的编码方式，对同一尺度、不同方向下的特征子图进行融合，以降低特征维数。
首先，经Shearlet变换得到4个尺度、8个方向的分解子图，然后对各子图中图像像素点进行编码：
(5)
将图像中各个像素点z=(x,y)所对应的多尺度、多方向的Shearlet特征表示为Su,v(z)，v∈R+表示尺度，u∈R+表示方向，Re(Su,v(z))对应像素点z=(x,y)的实部。用式(5)计算各尺度下多方向的二进制编码，这里将二进制转换为十进制，表示为
(6)
Tv(z)∈[0,2u-1]，由此可计算出各尺度、多方向特征融合的十进制编码，不同编码值代表不同的局部特征。此编码方法对每个尺度与各个方向的Shearlet特征进行了编码融合，因此保留了各尺度与各方向下的特征信息。对某一矿工的脸部图像进行4个尺度、8个方向的Shearlet变换后，依据此编码方法分别在4个高频尺度下的图像融合效果如图2所示。由图2可知，不同尺度下图像特征的信息不同，尺度越高，信息越是集中于人脸的一些关键部位。提取不同子图的关键信息，构成具有差异性的特征子图是需要解决的主要问题。为充分利用各尺度信息，根据不同尺度的系数特点，结合不同尺度子图对图像特征的贡献度，运用Shannon熵理论，采用一种加权策略。Shannon理论认为，Shannon熵可以表示一幅图片中所含信息量的大小，熵值越大，信息量就越大。因此，将信息论中的Shannon熵理论运用到特征融合中来计算各子图的贡献率是可行的。
图2 4个高频尺度下的图像融合效果
假设实验中图像共有m个子带，则第k个子带的熵为
(7)
式中：
为第k个子带在第i级像素点中出现的概率；n为像素级数。
通过计算不同尺度子带对测试图像的贡献率，再通过熵比值来计算各子带的权值：
(8)
最后，对包含图像主要能量与少量噪声的低频子图和经融合后的高频子图进行Shearlet逆变换重构图像，得到具有抗干扰能力的差别性图像。
为了验证本文方法的有效性，分别采用多名矿工入井前和出井后的人脸图像进行实验。目前常用的图像抗干扰性评价标准分为2种：一种是主观评价，即利用人眼观察处理后的图像效果，这种方式受主观因素影响较大，评价结果不够公正客观；另一种是客观标准，即用对图像进行定量描述的峰值信噪比(PSNR)、处理后图像与标准图像的均方误差(MSE)、结构相似度(SSIM)、图片信息熵(IE)等来评价图像处理结果。
首先将图像延扩成512×512的图像，以便进行Shearlet变换。选取4名入井前与出井后的矿工(从左至右分别记为矿工1—矿工4)的脸部图像进行实验，如图3、图4所示。
图3 入井前的矿工脸部图像
3.1 主观评价
纵向对比同一矿工不同阶段的图像：图3(c)、图4(c)与图3(b)、图4(b)相比，很好地去除了干扰点，与原始图像相比，2图都很好地保留了矿工脸部的纹理信息和轮廓信息；将图4与原始图像相比可明显看出，处理后的图像在保留图像关键信息的同时，削弱了脸部煤尘影响。横向对比不同矿工同一阶段图像可知，当原始图像越清晰，面部遮挡比例越小时，处理后的图像效果越理想。
图4 出井后的矿工脸部图像
对比图3与图4中的同一矿工图像可知，由于脸部受到煤尘的遮挡，干扰系数增高，图4中图像清晰度比图3差，但整体上抗干扰效果都能符合人眼视觉标准。
3.2 客观评价
为了更客观地评价本文方法的处理效果，选用对图像定量描述的峰值信噪比和处理后图像与标准图像的均方误差来进行评价。入井前与出井后各矿工脸部图像指标统计结果见表1、表2。其中，处理前对应各矿工的含噪声图像，处理后对应重建图像。
表1 入井前各矿工脸部图像处理结果
表2 出井后各矿工脸部图像处理结果
由表1可知，经本文方法处理后，矿工1—矿工4脸部图像的峰值信噪比分别提高了50.84%，51.02%，57.84%，39.68%，平均提高了49.85%。由于处理前人为添加了噪声，所以均方误差值较高，处理后大幅度降低。因为每位矿工脸部图像的纹理信息与轮廓信息各不相同，处理难度各不相同，所以峰值信噪比的提升程度及均方误差的降低程度各不相同。
由表2可知，经本文方法处理后，矿工1—矿工4脸部图像的峰值信噪比分别提高了40.93%，36.12%，48.87%，31.01%，平均提高了39.23%，均方误差也大幅度降低。
对比表1、表2可知，由于矿井工作的特殊性，出井后各位矿工的脸部图像均受到了煤尘的严重污染，所以，表2中指标平均提高水平不如表1，但经本文方法处理后，2种情形下的人脸图像抗干扰效果都得到了提升，重建图像效果良好。
首次将Shearlet变换应用于井下人脸图像提取，提出基于Shearlet变换的井下图像差异性特征提取方法。实验证实该方法具有良好的主观效果与客观评价指标，首先，很好地提取了矿工脸部的特征信息；其次，对后期添加的噪声与因工作脸部受煤尘污染的干扰，该方法健壮性良好。虽然基于Shearlet变换的特征提取方法已有一些研究与应用，但现实条件下不可控因素很多，究竟采用何种尺度、几种方向的Shearlet变换在人脸特征提取中会达到最佳效果，至今仍未定论，这是今后需要完善与研究的方向；其次，严重污染的脸部图像提取方法也是煤矿入井人员唯一性检测技术的难点及未来研究方向。
参考文献：
[1] 陈娟,谢圣权,潘能勇.计算机智能监控网络在煤矿生产中的应用[J].煤炭技术,2014,33(2):73-75.
[2] 李德文,郭胜均.中国煤矿粉尘防治的现状及发展方向[J].金属矿山,2009,9(增刊1):747-752．
[3] PHILLIPS P J, FLYNN P J, SCRUGGS T, et al. Overview of the face recognition grand challenge[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Diego,2005：947-954.
[4] LEE K C, HO J, KRIEGMAN D J. Acquiring linear subspaces for face recognition under variable lighting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005,27(5): 684-698.
[5] WRIGHT J,YANG A Y,GANESH A, et al. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2): 210-227.
[6] 尹洪涛,付平,沙学军.基于 DCT 和线性判别分析的人脸识别[J]. 电子学报,2009,37(10):2211-2214.
[7] VAN GINNEKEN B, KATSURAGAWA S, TER HAAR ROMENY B M, et al. Automatic detection of abnormalities in chest radiographs using local texture analysis[J]. IEEE Transactions on Medical Imaging,2002,21(2):139-149.
[8] 杨琼,丁晓青.鉴别局部特征分析及其在人脸识别中的应用[J].清华大学学报:自然科学版,2004,44(4): 530-533.
[9] PEREZ C A, CAMENT L A, CASTILLO L E. Methodological improvement on local Gabor face recognition based on feature selection and enhanced Borda count[J].Pattern Recognit,2011,44(4):951-963.
[10] YANG Yongmi,YANG Xingqiang,ZHANG Caiming. An efficient method for face feature extraction and recognition based on Contourlet transform[J]. ICIC Express Letters,2014,8(1):123-129.
[11] GUO K，LABATE D. Optimallt sparse multidimensional representation using shearlet[J].Siam Journal on Mathematical Analysis ,2007,39(1):298-318.
[12] EASLEY G R，LABATE D，LIM W Q, et al. Sparse directional image representations using discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008,25(1):25-46.
[13] YI S, LABATE D, EASLEY G, et al. A shearlet approach to edge analysis and detection[J]. IEEE Transactions on Image Processing ,2009,18(5):929-941.
HUANG Yu1， ZHANG Yingjun1， PAN Lihu1,2
(1.School of Computer Science and Technology, Taiyuan University of Science and Technology,Taiyuan 030024, China; 2.Institute of Geographic Science and Natural Resource Research,Chinese Academy of Science, Beijing 100101, China)
Abstract:For the problem that face images collected underground are susceptible to dust interference and most feature extraction methods are sensitive to noise, an otherness feature extraction method for underground image based on Shearlet transform was proposed. First, Shearlet transform was used for multi-directional and multi-scale image decomposition; then each directional sub-graphs with the same scale were encoded and fused, and furthermore fusion was conducted by giving different weights according to Shannon entropy of the subgraphs; finally, Shearlet inverse transform was used to reconstruct otherness image of low-frequency sub-graph and fused high-frequency sub-graph. The experimental results show that the method has a good objective and subjective evaluation.
Key words:check on work attendance of coal mine; face recognition; feature extraction; Shearlet transform; feature encode; Shannon entropy
中图分类号：TD67
文献标志码：A 网络出版时间：2016-03-07 15:21
作者简介：黄玉(1990-)，女，山西临汾人，硕士研究生，主要研究方向为计算机视觉与模式识别，E-mail:385967759@qq.com。
基金项目：山西省自然科学基金资助项目(2012011011-5)；山西省-中科院合作项目(20141101001)；山西省科技重大专项项目(20121101001)；山西省留学人员科研资助项目(2013-097)；山西省科技攻关项目(20141039)。
收稿日期：2015-09-28；修回日期：2015-12-15；责任编辑：胡娴。
文章编号：1671-251X(2016)03-0064-05
DOI:10.13272/j.issn.1671-251x.2016.03.015
网络出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160307.1521.015.html
黄玉，张英俊，潘理虎.基于Shearlet变换的井下图像差异性特征提取方法[J].工矿自动化，2016,42(3)：64-68.