张秀琴1， 王蓉1， 张英俊2
(1.武警工程大学 信息工程系， 陕西 西安 710086；2.太原科技大学 计算机科学与技术学院， 山西 太原 030024)
摘要：针对煤矿井下光照变化较大、矿工脸部受污染及遮挡等情况下主动形状模型(ASM)应用于井下人脸跟踪精度低的问题，提出了一种改进ASM。首先选用专用的训练样本集，通过定义镜像图像形成镜像样本集，然后对镜像样本集进行对数尺度化处理，并用相关块模型作为ASM的学习模型进行训练。实验结果表明，改进ASM能有效提高煤矿井下人脸跟踪精度。
关键词：煤矿井下； 人脸跟踪； 主动形状模型
人脸跟踪是人脸识别系统在人脸检测的基础上对人脸进行进一步的确认[1]。主动形状模型(Active Shape Model，ASM)应用于人脸跟踪有检测速度较快、定位较精准、包含丰富脸部信息等特点[2-6]。然而受煤矿井下与井上光照度变化较大，矿工脸部易被煤尘污染及安全帽遮挡等因素影响，ASM应用于煤矿井下人脸跟踪时存在以下问题：① 需要大量的训练数据；② ASM提取的轮廓信息对图像的光照度敏感[7-8]；③ ASM适用于正面人脸跟踪，人脸旋转后跟踪精度下降[9]。因此，本文针对煤矿井下复杂环境对ASM进行改进，并通过实验验证了改进ASM在煤矿井下人脸跟踪的有效性。
ASM首先提取样本图像轮廓的关键特征点，形成表示几何特征的形状向量[11]，再通过Procrustes归一化形状向量，并采用主成分分析(Principal Component Analysis，PCA)方法获得全局形状模型[10]，然后采样每个样本图像中的每个特征点，再进行灰度学习得到局部纹理模型。
1.1 全局形状模型
提取人脸部特征点，并标注脸部特征点的坐标位置，这些特征点坐标构成了形状向量Xi。脸部特征点越多，鲁棒性越好，但增多脸部特征点数的同时会增大计算量[12]。
(1)
式中(xiz，yiz)为第i(i=1,2，…，n,n为样本图像数)幅图像中第z(z=1,2，…，k,k为特征点数)个特征点的坐标。
形状向量受人脸的姿态、角度及距离等因素影响，坐标比例尺寸各不相同，因此对形状向量进行适当的平移、旋转及缩放实现几何变换[11]。
(2)
式中
i为几何变换后形状向量；
，s为变换尺度，θ为旋转角度；t为位移长度。
几何变换后进行Procrustes归一化[12]，使几何变换后的形状向量与平均形状向量对齐。Procrustes归一化流程如图1所示。
图1 Procrustes归一化流程
采用PCA方法对归一化后的形状向量进行分析和降维。计算归一化后的形状向量的协方差矩阵，求得协方差矩阵的特征值和特征向量，并降序排列特征值，取一定数量的特征值,使其总和占所有特征值总和的95%以上。一定数量的特征值所对应的特征向量组成空间向量，将归一化后的形状向量投影到空间向量得到全局形状模型[13-14]。
1.2 局部纹理模型
对每个特征点的局部窗口或轮廓法线方向的纹理采样向量进行统计分析,得出局部纹理模型[15]。具体步骤：
(1) 对于每个样本图像中的每一个特征点，连接该特征点与其相邻特征点，在它们连线的法线方向上，以该特征点为中心分别沿法线方向的两侧采样m个像素，形成一个长度为2m+1的灰度向量。
(2) 对向量中像素灰度值求导，得到第i幅图像中第z个特征点对应的局部纹理giz。同理可得所有样本图像中第z个特征点对应的局部纹理。
(3) 求第z个特征点对应的局部纹理的平均值
和协方差矩阵Sz。
(3)
(4)
(4) 局部纹理模型用训练样本中特征点的平均值和协方差矩阵来表征，又叫平均块模型[15]。
2.1 专用镜像样本集
收集煤矿井下的人脸样本，构成专用人脸训练样本集，获取复杂的表情和头部姿态的变化。将专用人脸训练样本集中每个样本的对称面部特征点保留1个编号，沿轴对称化标注后的样本为镜像图像，并由此构成镜像样本集。在编号数量相等的情况下，通过定义镜像图像使训练的特征点增加了一倍，训练样本集中样本数量增加了一倍。训练样本集越大，算法鲁棒性越强。
2.2 图像的对数尺度化
将镜像图像先转换为单位通道图像，再对单位通道图像中像素值I取自然对数，得到对数尺度化后图像的像素值为
(5)
2.3 相关块模型的学习
相关块模型与含有脸部特征的图像区域交叉相关时，有脸部特征的图像区域的响应强，其他区域部分的响应则很弱，因此本文将相关块模型作为学习模型。目标函数(式(6))的解为相关块模型P。
(6)
式中：w，h分别为相关块模型的长和宽；R(x,y)为理想的响应矩阵；(x,y)为对数尺度化处理后图像的坐标；·表示內积操作；
,Ji为对数尺度化处理后图像。
采用随机梯度下降法求解目标函数。随机梯度下降法通过迭代对梯度方向进行粗略估计，用一个小的步长乘以梯度方向的反方向作为下一步迭代的方向，在多次迭代后，步长的值会接近零。目标函数的梯度为
(7)
由于视频流中相邻帧之间的变化较小，学习相关块模型时，选择前一帧作为参考帧，利用前一帧对人脸全局变换的估计来对当前帧的图像尺度变换和旋转进行归一化处理，克服尺度变换和旋转的扰动。
为验证改进ASM的有效性，在VS2010结合OpenCV的环境下进行人脸跟踪实验。采集煤矿井下人员的人脸图像作为训练样本集，每个人脸样本图像尺寸为160×200，构成专用人脸训练样本集。每个样本选择76个标记特征点，脸部特征点数具体分布见表1。
表1 脸部特征点数分布
首先通过定义镜像图像形成镜像样本集，镜像图像的相应标注如图2所示。
图2 标注的镜像图像
然后对镜像样本集进行对数尺度化处理。2幅原始图像(图3(a))中脸部区域光照度明显不同，经过对数尺度化处理后的2幅图像(图3(b))光照度基本没有差异，对数尺度化处理对光照条件变化具有鲁棒性。
分别利用平均块模型和相关块模型得到人脸图像眼角区域的响应图像,如图4所示。在特征点位置周围，平均块模型生成的响应图像相当光滑且灰度变化不明显，而相关块模型生成的响应图像则灰度变化明显。
图3 图像的对数尺度化前后对比
图4 平均块模型与相关块模型的响应图像
标记特征点分别与平均块模型和相关块模型匹配后的偏移像素值及偏移像素值对应的特征点数占标记特征点数的比例如图5所示。从图5可看出，改进ASM的匹配结果中绝大部分特征点定位的偏差在2个像素以内，而ASM的匹配结果中绝大部分特征点定位的偏差为3个像素或更多，表明改进ASM的特征点定位精度较高。
图5 ASM与改进ASM定位偏移结果
分别用ASM与改进ASM跟踪视频流中同一帧的人脸，得到跟踪结果如图6所示。可看出ASM用于人脸跟踪时特征点偏移较多，而改进ASM的人脸特征点定位准确。
图6 ASM与改进ASM的人脸跟踪结果
不同光照、矿工脸部不同污染程度下，基于改进ASM的人脸跟踪结果如图7所示。对比图7(a)和图7(b)，可看出在煤矿井上的光照条件下，无论矿工脸部是否被污染，人脸特征点定位效果良好，逼近标记特征点；对比图7(c)和图7(d)，可看出在煤矿井下的光照条件下，无论矿工脸部是否被污染，均能精确跟踪人脸。
图7 不同条件下基于改进ASM的人脸跟踪结果
针对煤矿井下人脸跟踪问题对ASM进行了改进。首先选用专用的训练样本集，并通过定义镜像图像形成镜像样本集，使训练样本集数量增大了一倍；然后对镜像样本集进行对数尺度化处理，减小了不同光照度对人脸跟踪的影响；最后将相关块模型作为ASM学习模型，克服了尺度变换和旋转的扰动。实验结果表明，改进ASM能提高煤矿井下人脸跟踪精度。
参考文献：
[1] 陈立潮,张秀琴,潘理虎,等.煤矿考勤系统中人脸识别算法的研究[J].工矿自动化,2015,41(4):69-73.
[2] 施华,黄昶.一种改进的基于ASM模型的人脸跟踪算法[J].信息技术,2015,39(7):88-89.
[3] 何俊,房灵芝,蔡建峰,等.基于ASM和肤色模型的疲劳驾驶检测[J].计算机工程与科学,2016,38(7):1447-1453.
[4] 郑青碧,王宏勇.一种基于肤色特征的人脸特征点定位方法[J].陕西科技大学学报(自然科学版),2014(1):156-160.
[5] 吴业福,李波,师宇,等.人脸检测与实时跟踪在机动车道路考试系统中的应用研究[J].交通信息与安全,2013,31(1):113-116.
[6] 桑海峰,吴丹阳,王会.视频监控下的人脸跟踪与识别系统[J].计算机工程与应用,2014,50(12):175-179.
[7] 刘爱平,周焰,关鑫璞.基于Hausdorff距离和改进ASM的人脸跟踪方法[J].计算机应用研究,2007,24(10):172-175.
[8] 牛玉梅,陈立潮,潘理虎.煤矿井下人员人脸轮廓提取方法[J].工矿自动化,2015,41(1):53-57.
[9] 李伟生,张燕,周丽芳.一种姿态变化下的ASM人脸特征定位方法[J].计算机应用研究,2012,29(12):4764-4766.
[10] 田华,蒲天银.一种改进的ASM人脸特征点定位方法[J].重庆邮电大学学报(自然科学版),2014,26(1):124-130.
[11] LIU A P,ZHOU Y,GUAN X P.Application of improved active shape model in face positioning[J].Computer Engineering,2007,33(18):227-229.
[12] 张秀琴.煤矿井下人员考勤系统中的人脸识别[D].太原:太原科技大学,2015:12-14.
[13] 李艳.基于小波变换和PCA类方法的人脸识别技术研究[D].西安:西安电子科技大学,2014:21-22.
[14] FAN Y H,MA J W.ASM and improved algorithm for facial feature location[J] Journal of Computer-Aided Design & Computer Graphics,2007,19(11):1411-1414.
[15] BAGGIO D L,EMAMI S,ESCRIVA D M,et al.Mastering OpenCV with Practical Computer Vision Projects[M].Birmingham:Packt Publishing,2012:224-232.
An improved active shape model for underground face tracking
ZHANG Xiuqin1, WANG Rong1, ZHANG Yingjun2
(1.Department of Information Engineering, Engineering University of the Chinese Armed Police Force,Xi'an 710086, China; 2.Department of Computer Science and Technology, Taiyuan University ofScience and Technology, Taiyuan 030024, China)
Abstract：For low accuracy of face tracking applying active shape model(ASM) in condition of sudden change of illumination and contaminated and covered miner face in underground coal mine, an improved ASM was proposed. Firstly, mirror sample set is formed by definition of mirror image with selected special training sample set. Then, the mirror sample set is processed by logarithmic scale. Finally, related block model is used as ASM learning model for training. The experimental results show that the method can effectively improve accuracy of underground face tracking.
Key words：underground coal mine; face tracking; active shape model
文章编号：1671-251X(2017)03-0053-04
DOI：10.13272/j.issn.1671-251x.2017.03.012
收稿日期：2016-10-09；
修回日期：2016-12-26；责任编辑：盛男。
基金项目：“十二五”山西省科技重大专项资助项目(20121101001)；山西省科技攻关项目(20141039)。
作者简介：张秀琴(1988-)，女，山西临县人，助教，硕士，主要研究方向为智能信息处理，E-mail:574375871@qq.com。
中图分类号：TD67
文献标志码：A
网络出版：时间：2017-02-28 17:01
网络出版地址：http://kns.cnki.net/kcms/detail/32.1627.TP.20170301.1514.012.html
张秀琴，王蓉，张英俊.一种适用于井下人脸跟踪的改进主动形状模型[J].工矿自动化，2017,43(3)：53-56.