选煤厂工况环境下人脸识别方法研究

高宏杰1, 丛昊然2, 郭秀才2

(1.甘肃靖远煤业集团有限责任公司, 甘肃 白银 730900;2.西安科技大学 电气与控制工程学院, 陕西 西安 710054)

摘要针对选煤厂人脸图像信息易受复杂环境因素影响导致识别难度较大的问题,研究了一种选煤厂工况环境下的人脸识别方法。对归一化的选煤厂原始人脸图像进行Gabor小波变换,得到8个方向、5个尺度下的特征图谱;用改进AR-LGC编码算法进行编码,并对编码后同一尺度下不同方向的图谱进行特征融合,得到图像的融合特征图;将融合特征图划分为多个子块,统计分块直方图并加权级联得到直方图特征向量,将特征向量送入残差神经网络中训练,实现对选煤厂人员的人脸识别。改进AR-LGC编码算法增强了选煤厂人脸图像纹理相关度,解决了图像纹理相关度不足的问题,在弱化干扰特征的同时,保留了人脸图像中更多重要特征,缓解了人员面部受煤灰污染的问题。实验结果表明:当选煤厂人脸受到煤灰污染时,采用改进AR-LGC编码算法提取的特征保留了局部特征粗粒度,具有较好的抗噪性;本文方法的识别率为94.5%,平均耗时为0.933 0 s,与同类算法相比,在牺牲部分时间性能的条件下提升了识别率,牺牲的时间性能在可接受范围内。

关键词选煤厂; 人脸识别; 特征提取; Gabor小波变换; AR-LGC编码算法; 残差神经网络

0 引言

选煤厂作为煤炭加工的重要一环,主要进行原煤筛分、洗选、分离、运输、装车等工序,其生产过程复杂,涉及多过程环节、多系统设备、多操作岗位等[1-2]。目前选煤厂人员识别主要采用人员定位考勤、指纹身份标志、门禁虹膜识别等方式,解决了定点位置人员监测、有限范围内的人员定位跟踪问题。由于选煤厂人员活动轨迹不易确定,有必要在门禁和各操作工位处设置视频监控设备,通过人脸识别实现人员轨迹跟踪。

人脸识别是目前热门的智能识别技术。文献[3]提出了一种基于小波变换的人脸识别方法,能够滤除自然条件下的图像噪声,具有较好的鲁棒性。文献[4]将图像特征向量送入卷积神经网络进行训练和识别,可有效减小不同光照强度的影响,提高识别率,但时间复杂度较高。文献[5]提出了一种基于自适应阈值局部特征融合的人脸识别方法,可较为完整地提取到人脸特征。基于小波变换的人脸识别方法具有稳定和计算量较小的优点,通过非对称区域局部Gabor梯度编码(Asymmetric Region-Local Gabor Gradient Code,AR-LGC)编码算法可取得较好的识别性能[6-7]。但上述研究主要针对自然条件下人脸图像无污染的情况,在选煤厂环境下,人脸图像信息易受煤灰污染、光照变化、安全头盔姿态变化、人员面部角度变化等因素影响,识别难度相对较大。因此,本文在小波变换的基础上,对AR-LGC编码算法进行改进,用改进AR-LGC编码算法对选煤厂人脸图像进行编码,对编码后图像进行特征融合,并通过残差神经网络(Residual Network,ResNet)[8]实现人脸识别。

1 选煤厂工况环境下人脸识别过程

选煤厂工况环境下人脸识别过程如图1所示,包括图像数据的采集、传输、处理、识别等。在门禁、各操作工位等场所安装视频监控设备,采集人员图像信息。对采集的图像进行传输和预处理,并提取图像特征,根据图像特征检测采集的人脸与无污染人脸的相似度,完成人脸识别。

图1 选煤厂工况环境下人脸识别过程

Fig.1 Face recognition process in working environment of coal preparation plant

2 选煤厂工况环境下人脸识别方法

对脸部被煤灰污染的选煤厂人员图像进行识别时,稳定地提取到所需的特征信息是关键,这也是本文的研究重点。

2.1 AR-LGC编码算法改进

采用AR-LGC算子提取多噪声影响的选煤厂人脸图像特征时,不能很好反映图像的局部纹理相关性。因此,对AR-LGC编码算法进行改进。以5×5图像为例,改进后的AR-LGC编码算法如图2所示。

图2 改进AR-LGC编码算法

Fig.2 Improved AR-LGC coding algorithm

改进AR-LGC编码算法步骤:① 截取适当大小的子邻域窗口,计算中心像素点与其周围邻域像素点的差值,即窗口相关度ci,i=1,2,…,n,n为邻域像素点个数。② 计算ci的平均值,得到子邻域窗口内像素平均相关度cavg[9]。③ 计算子邻域内相关度标准差σ(式(1)),当|ci-cavg|<σ时,将窗口赋0,反之赋1。④ 用AR-LGC算子对子邻域窗口编码,求取2次编码值PAPB的均值P,将P作为更新后的中心像素值。

(1)

(2)

式中:s()为比较函数。

改进AR-LGC编码算法通过对参数cavg的计算增强纹理相关度,解决了选煤厂人脸图像纹理相关度不足的问题,在弱化干扰特征的同时,保留了选煤厂人脸图像中更多重要特征,缓解了人员面部受煤灰污染的问题。

2.2 特征融合

由于特征图谱编码后数据量过大,需要对图像进行有效降维。采用二维Gabor滤波器组将原始图像分解为5个尺度、8个方向的特征图谱,用改进AR-LGC编码算法进行编码,对编码后同一尺度下不同方向的图谱进行特征融合。设Id,v为不同尺度和方向的特征图谱,d=0,1,…,7,v=0,1,…,4,对同一尺度、8个方向的图谱进行排列,如图3所示。

图3 图像融合编码原理

Fig.3 Principle of image fusion coding

计算8个方向对应像素点的均值Iavg,v

Iavg,v=(I0,v+I1,v+…+I7,v)/8

(3)

Iavg,v为阈值,对特征图谱进行二值化处理,得到十进制编码值Iv

(4)

式中p为二值化参数。

特征融合精简了同一尺度下的特征信息,通过遍历计算,将原来的40幅特征图谱压缩为5幅融合图谱。通过特征融合解决了对输入图像进行Gabor变换时产生的特征冗余问题,在减少特征数量的同时,保留了重要的特征信息。

2.3 特征识别

选煤厂复杂工况环境下提取的人脸特征,利用传统人脸识别方法难以获得较好的识别效果。传统的卷积神经网络存在梯度消失或梯度爆炸的问题,ResNet解决了随着网络层数增加而出现的过拟合问题,且具有较强的自适应能力。因此本文采用ResNet进行选煤厂工况环境下的人脸识别。

ResNet残差学习单元结构如图4所示。其中x为输入,H(x)为输出,若把xH(x)分别称为真实值和估计值,则F(x)为残差。将多个残差模块进行组合,得到残差网络模型。

图4 ResNet残差学习单元结构

Fig.4 Structure of ResNet residual learning unit

2.4 人脸识别模型

复杂环境下利用图像融合方式提取出人脸特征后,可有效增强不同尺度方向的图像特征信息和子邻域内的纹理相关性,在弱化干扰特征的同时解决了选煤厂人脸的面部污染问题[10]。利用ResNet训练特征时,良好的前馈修补机制可削弱人员安全头盔姿态变化、人员面部角度变化和光照差异等因素对识别效果的影响。本文结合改进AR-LGC编码算法和ResNet建立人脸识别模型,流程如图5所示。对归一化的选煤厂原始人脸图像进行Gabor小波变换,得到8个方向、5个尺度下的特征图谱;用改进AR-LGC编码算法进行编码,对编码后图像进行特征融合,得到融合特征图;将融合特征图划分为多个子块,统计分块直方图并加权级联得到直方图特征向量H;将H送入ResNet中训练,实现对选煤厂人员的人脸识别。

图5 人脸识别流程

Fig.5 Flow of face recognition

根据文献[11],确定本文的最佳分块数目为25(5×5)。考虑到不同子块对人脸特征的贡献程度不同,以不同子块作为不同区域,采用定量描述信息量的信息熵方法计算权重[12]:计算区域k的信息熵EUk和信息权重ωk,将区域k的特征值hk与信息权重相乘得到反映特征信息的人脸特征向量H

(5)

ωk=EU,k/EU

(6)

(7)

式中qj,k为随机事件的概率;EU为整个图像的信息熵。

信息熵方法可根据选煤厂人脸图像不同区域特征的重要性差异,更加精准地计算出人脸特征向量。ResNet网络层数并不是越深越好,需要均衡性能与运算量,根据文献[13],选择ResNet-34作为特征训练网络。

3 实验结果及分析

在Windows10、Visual Studio 2017环境下,采用C++语言编程实现人脸识别。采集选煤厂不同工位的大量人脸样本进行实验,部分样本如图6所示,尺寸均为130×140。

图6 选煤厂人员实验样本

Fig.6 Experimental samples of coal preparation plant personnel

特征提取及融合效果如图7所示。采用二维Gabor滤波器得到5个尺度、8个方向的特征图谱,用改进AR-LGC编码算法对特征图谱进行编码,再对同一尺度、不同方向的图谱进行特征融合,得到特征融合图;将特征融合图划分为25个子块,统计分块直方图,采用信息熵加权,得到灰度直方图,最后进行直方图级联,获取人脸特征向量。

图7 特征提取及融合效果

Fig.7 Effect of characteristics extraction and fusion

不同条件下的人脸特征提取结果如图8所示。对比图8(a)和图8(b)可知,当选煤厂人脸受到煤灰污染时,采用本文方法提取的特征保留了局部特征粗粒度,污染后的特征纹理图与干净人脸的特征纹理图相似度达到95.5%,具有较好的抗噪性。

(a) 入厂前的特征提取结果

(b) 出厂后的特征提取结果

图8 不同条件下的人脸特征提取结果

Fig.8 Face characteristics extraction results under different conditions

针对不同工位采集到的选煤厂人脸样本,采用局部二值模式(Local Binary Patterns,LBP)算法、AR-LGC算法和改进AR-LGC编码算法进行编码,通过识别率、平均耗时[14]反映算法的识别性能,结果见表1。

表1 多种算法性能比较

Table 1 Performance comparison of various algorithms

算法识别率/%识别平均耗时/sLBP89.00.726 1AR-LGC91.20.890 2本文方法94.50.933 0

由表1可知,与LBP算法相比,本文方法的识别率提高了5.5%,平均耗时增加了0.042 8 s;与AR-LGC算法相比,本文方法的识别率提高了3.3%,平均耗时增加了0.206 9 s。综合考量识别率和时间复杂度,本文在牺牲部分时间性能的条件下提升了识别率,牺牲的时间性能在可接受范围内。

4 结论

(1) 研究了一种选煤厂工况环境下的人脸识别方法,通过改进AR-LGC编码算法增强纹理相关度,解决了选煤厂人脸图像纹理相关度不足的问题,在弱化干扰特征的同时,保留了选煤厂人脸图像中更多重要特征,缓解了人员面部受煤灰污染的问题。通过特征融合解决了对选煤厂人员输入图像进行Gabor变换时产生的特征冗余问题,在减少特征数量的同时,保留了重要的特征信息。

(2) 当选煤厂人脸受到煤灰污染时,采用本文方法提取的特征保留了局部特征粗粒度,污染后的特征纹理图与干净人脸的特征纹理图相似度达到95.5%,具有较好的抗噪性。

(3) 本文方法的识别率为94.5%,平均耗时为0.9330 s。与LBP算法和AR-LGC算法相比,在牺牲部分时间性能的条件下提升了识别率,牺牲的时间性能在可接受范围内。

(4) 为提高选煤厂复杂环境下的人脸识别性能,后续研究将在模型复杂度和运行时间方面进行进一步优化。

参考文献(References):

[1] GB/T 34679—2017 智慧矿山信息系统通用技术规范[S].

GB/T 34679-2017 General technical specifications for smart mine information systems[S].

[2] 陈立潮,张秀琴,潘理虎,等.煤矿考勤系统中人脸识别算法的研究[J].工矿自动化,2015,41(4):69-73.

CHEN Lichao,ZHANG Xiuqin,PAN Lihu,et al.Research of face recognition algorithm of coal mine workers attendance system[J].Industry and Mine Automation,2015,41(4):69-73.

[3] 黄玉,张英俊,潘理虎.基于Shearlet变换的井下图像差异性特征提取方法[J].工矿自动化,2016,42(3):64-68.

HUANG Yu,ZHANG Yingjun,PAN Lihu.Otherness feature extraction method for underground image based on Shearlet transform[J].Industry and Mine Automation,2016,42(3):64-68.

[4] 王嘉欣,雷志春.一种基于特征融合的卷积神经网络人脸识别算法[J].激光与光电子学进展,2020,57(10):331-337.

WANG Jiaxin,LEI Zhichun.A convolutional neural network based on feature fusion for face recognition[J].Laser & Optoelectronics Progress,2020,57(10):331-337.

[5] 齐美彬,田中贺,蒋建国.自适应阈值局部特征融合的人脸识别[J].合肥工业大学学报(自然科学版),2018,41(4):468-472.

QI Meibin,TIAN Zhonghe,JIANG Jianguo.Face recognition based on adaptive threshold local feature fusion[J].Journal of Hefei University of Technology(Natural Science),2018,41(4):468-472.

[6] 胡敏,程轶红,王晓华,等.基于非对称局部梯度编码的人脸表情识别[J].中国图象图形学报,2015,20(10):1313-1321.

HU Min,CHENG Yihong,WANG Xiaohua,et al.Facial expression recognition based on asymmetric region local gradient coding[J].Journal of Image and Graphics,2015,20(10):1313-1321.

[7] 倪永婧,孙袆,岳莹,等.基于二维Gabor小波与AR-LGC的人脸特征提取算法研究[J].河北工业科技,2019,36(4):258-262.

NI Yongjing,SUN Yi,YUE Ying,et al.Face feature extraction algorithm based on two-dimensional Gabor wavelet and AR-LGC[J].Hebei Journal of Industrial Science and Technology,2019,36(4):258-262.

[8] HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al.Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,2016.

[9] 刘雪锋.基于邻域相关度和LBP算子的人脸图像识别[J].吉林大学学报(理学版),2015,53(4):687-692.

LIU Xuefeng.Face recognition method based on neighborhood correlation modified LBP operator[J].Journal of Jilin University(Science Edition),2015,53(4):687-692.

[10] 张沙沙.基于卷积神经网络的选煤厂人脸识别考勤系统[D].西安:西安科技大学,2020.

ZHANG Shasha.Face recognition attendance system of coal preparation plant based on convolutional neural network [D].Xi'an:Xi'an University of Science and Technology,2020.

[11] 曹金沛.复杂光照条件下人脸特征提取技术研究[D].西安:长安大学,2019.

CAO Jinpei.Research on face feature extraction technology under complex illumination[D].Xi'an:Chang'an University,2019.

[12] 夏军,裴东,王全州,等.融合Gabor特征的局部自适应三值微分模式的人脸识别[J].激光与光电子学进展,2016,53(11):116-122.

XIA Jun,PEI Dong,WANG Quanzhou,et al.Face recognition based on local adaptive ternary derivative pattern coupled with Gabor feature[J].Laser & Optoelectronics Progress,2016,53(11):116-122.

[13] 黄健.基于深度学习和传统方法相结合的人脸识别[D].合肥:安徽建筑大学,2020.

HUANG Jian.Face recognition based on deep learning and traditional methods[D].Hefei:Anhui Jianzhu University,2020.

[14] 潘青华,潘松.人脸识别技术性能评价方法优化与实践[J].中国标准化,2019(15):159-164.

PAN Qinghua,PAN Song.Optimization and practice of performance evaluation method for face recognition technology[J].China Standardization,2019(15):159-164.

Research on face recognition method in working environment of coal preparation plant

GAO Hongjie1, CONG Haoran2, GUO Xiucai2

(1.Gansu Jingyuan Coal Industry Group Co., Ltd., Baiyin 730900, China; 2.College of Electrical and Control Engineering, Xi'an University of Science and Technology, Xi'an 710054, China)

Abstract:The face image information of coal preparation plant is easily affected by complex environmental factors, which makes the recognition difficult. In order to solve this problem, a face recognition method in working environment of coal preparation plant is proposed. The Gabor wavelet transform is applied to the normalized original face image of coal preparation plant to obtain characteristic maps of 8 directions and 5 scales. The method encodes with the improved AR-LGC coding algorithm, and characteristic fusion is performed on the encoded maps of different directions at the same scale to obtain the fused characteristic map of the image. The fused characteristic map is divided into multiple sub-blocks, and the histogram characteristic vector H is obtained by counting the block histogram and weighting cascade. Then H is trained in residual neural network to realize the face recognition of the personnel in the coal preparation plant. The improved AR-LGC coding algorithm enhances the texture correlation of face images in coal preparation plant, solves the problem of insufficient image texture correlation, retains more important characteristics in face images while weakening the interference characteristic, and alleviates the problem of personnel faces being polluted by coal ash. The experimental results show that when the faces of coal preparation plant are polluted by coal ash, the characteristics extracted by the improved AR-LGC coding algorithm retain the local characteristics coarse granularity and have better noise immunity. The recognition rate of the improved AR-LGC coding algorithm is 94.5% and the average time consumed is 0.933 0 s. Compared with similar algorithms, the recognition rate of this algorithm has improved under the condition of sacrificing part of the time performance, and the sacrificed time performance is acceptable.

Key words:coal preparation plant; face recognition; characteristics extraction; Gabor wavelet transform; AR-LGC coding algorithm; residual neural network

中图分类号:TD948/67

文献标志码:A

文章编号1671-251X(2021)03-0066-06

DOI:10.13272/j.issn.1671-251x.2021010047

收稿日期:2021-01-18;修回日期:2021-02-26;

责任编辑:胡娴。

基金项目:甘肃省省级重点人才项目(甘组通字〔2020〕9号)。

作者简介:高宏杰(1967-),男,河南许昌人,高级工程师,硕士研究生,研究方向煤矿开采智能化、煤矿安全监控技术,E-mail:2438631026@qq.com。

引用格式:高宏杰,丛昊然,郭秀才.选煤厂工况环境下人脸识别方法研究[J].工矿自动化,2021,47(3):66-70.GAO Hongjie,CONG Haoran,GUO Xiucai.Research on face recognition method in working environment of coal preparation plant[J].Industry and Mine Automation,2021,47(3):66-70.