实验研究
张谢华1， 赵小虎2
(1.江苏师范大学 智能教育学院， 江苏 徐州 221116；
2.中国矿业大学 物联网(感知矿山)研究中心， 江苏 徐州 221008)
摘要：针对煤矿智能视频监控环境存在各种复杂动态场景变化的情况，研究了运动目标检测中的3个重要环节：背景建模与更新、前景检测和运动阴影检测与去除。针对这3个环节，提出了相应的处理方法：基于IFCM聚类算法的自适应背景建模与更新方法，对像素灰度取值进行无监督聚类，自适应选取不同个数的聚类构建各像素背景模型，随场景变化进行聚类修改、添加和删除以完成背景自动更新；联合背景差分信息、三帧差分信息和空间邻域信息的前景检测方法，据此获得较为准确的前景目标；运动阴影检测与去除方法，依据在阴影覆盖前后的灰度图像中，像素具有亮度值相关性和纹理特征值不变性，实现了运动阴影的检测与去除。实验结果验证了本文所提方法的有效性和优越性。
关键词：煤矿视频监控； 运动目标检测； 背景建模； 前景检测； 运动阴影检测
网络出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160405.1126.008.html
煤矿智能视频监控作为现代矿井安全生产系统中必不可少的组成部分，对保障煤矿企业的安全、高效生产具有十分重要的意义[1]。运动目标检测是视频监控中的关键步骤之一，为后续运动目标分类、跟踪以及行为分析等提供必要的基础。目前，各煤矿生产企业主要配备固定式摄像机进行定点监测，拍摄背景属于相对静止不变的类型。背景减除法是应用最为广泛的静态背景下的运动目标检测方法，其中的重要环节包括背景建模与更新、前景检测以及运动阴影检测与去除。
基于混合高斯模型(Gaussian Mixture Mode, GMM)的背景建模与更新方法为场景中的每个像素建立K个高斯分布来进行背景建模，通过更新高斯分布的各个参数来完成背景更新。实际上，背景各状态均符合高斯分布的假设并不完全成立，算法计算量很大，不太适用于实时性要求较高的系统，而且背景更新的速度较慢，难以及时反映背景的实际变化。参考文献[2]采用核密度估计(Kernel Density Estimation, KDE)方法进行背景建模，无需假定背景概率模型的具体形式，直接从历史像素值估算出背景概率密度函数。但其建模与更新过程都以历史视频帧数据为基础，需要消耗大量存储空间，算法运行速度慢、实时性较差。
在煤矿工作环境中频繁出现局部场景变动情况，背景模型难以实现同步更新。仅利用背景差分信息进行前景检测，会引起大量背景像素和前景像素的误判，出现较大的检测误差。另外，由于自然光照和人工照明的影响，前景检测结果中包含相应的阴影区域。参考文献[3]根据特定先验信息建立阴影统计模型，然后以模型为依据判别像素是否属于阴影区域。其局限在于一方面需要提前获得各种先验知识，另一方面对形状复杂的非刚性物体进行阴影建模十分困难。参考文献[4]通过分析阴影覆盖前后场景像素的特征属性变化来进行阴影判断，但仅利用单一特征属性难以获得较高的阴影检测率。
针对煤矿智能视频监控场景的特点和运动目标检测的需求，本文提出一种基于IFCM(Improved Fuzzy C-Means)聚类算法的自适应背景建模与更新方法，构建了鲁棒的背景模型；提出基于联合信息的前景检测方法，以获得较高的前景检测率；设计了多特征融合的阴影检测方法，确保得到准确的运动目标检测结果。实验结果表明，本文方法能够适应复杂的煤矿智能视频监控环境，具有较高的运行效率和较好的检测效果。
采用聚类技术进行背景建模基于一个合理的事实：复杂场景中每个像素的取值随时间变化而变化，其中稳定连续取值和动态跳变取值分别对应像素背景和前景。聚类分析将对数据集合进行无指导分类，使得同类数据的相似性最大、不同类数据的相似性最小。因此，可采用聚类方法对一段时间内的像素值进行分类，统计各类像素值的出现频率，选出频率超过阈值的类别，即稳定状态作为该像素背景。
1.1 IFCM聚类算法
模糊C均值算法(Fuzzy C-Means, FCM)是当前最受关注的聚类算法之一，它将数据集合X={x1,x2,…,xn}划分成k类(k>1)，vi(i=1,2,…,k)为第i个聚类中心，uij为样本xj属于第i类的隶属度，且有
uij<n，定义目标函数
‖xj-vi‖2。整个聚类过程以一组随机聚类中心开始，反复迭代获取目标函数最小值，达到最佳模糊分类的目标，分类结果可用相应聚类中心vi(i=1,2,…,k)和模糊分类矩阵U表示。FCM算法具有运行速度快、聚类结果有效性高等优点，但存在2个突出问题：① 随机选取的初始聚类中心很大程度上影响了聚类结果；② 必须预先给定聚类的个数，破坏了算法的无监督性。本文针对初始聚类中心的选择问题，以欧氏距离为度量获得尽量远距离的对象，来充当合适的初始聚类中心。针对最佳聚类个数的确定问题，采用新的聚类有效性指标求解最佳聚类的类别个数。
从距离测度上考虑，好的聚类结果应当是类内距离尽量紧凑、类间距离尽可能远，因而聚类有效性指标主要采用类内紧密度和类间分散度来定义。XB(Xie-Beni)指标是目前广泛使用的一个有效性指标，其具体定义为
(1)
式中:分子部分用样本隶属度作为权重系数，与样本到聚类中心的距离乘积定义类内紧密度；分母部分用聚类中心之间的距离最小值定义类间分散度。
XB指标取到最小值对应最优聚类划分。尽管XB指标在性能上有不错表现，但它不能正确处理存在较多孤立数据点或类间重叠的情形。本文设计一个新的有效性指标，其定义为
(2)
式中:1/k代表每一样本属于各类的隶属度均值;分子部分引入具体隶属度与隶属度均值之间的偏差来充当类内紧密度的权重系数；分母部分采用样本到其隶属度最小的聚类中心的距离最小值来定义类间分散度。
VNew取最小值对应最优聚类结果。VNew指标有效结合了样本分布特征与隶属度，能够较好评价存在较多孤立数据点或类间重叠的情形。
综上所述，IFCM聚类算法描述如下：
输入：像素历史灰度取值{x1,x2,…,xn}、聚类个数搜索范围为[kmin,kmax]。
输出：最佳聚类个数kopt、分类矩阵U和聚类中心vi(i=1,2,…,k)。
Step1：计算样本均值
xi/n，选取距离
最近的样本作为第1个初始聚类中心v1，令k=2。
Step2：当聚类个数k≤kmax时，根据已有的k-1个初始聚类中心，对未被当作聚类中心的各剩余样本xi，计算其到各聚类中心的距离，并得到Ds=max{min(di1, di2,…,di(k-1))}，将第s个样本当做第k个初始聚类中心vk。当k>kmax时，转向Step7。
Step3：设置迭代控制参数ε，令迭代计算器t=1，设初始聚类中心为{v1,v2,…,vk}。
Step4：计算更新模糊分类矩阵U和聚类中心vi(i=1,2,…,k)。
Step5：若‖J(t)-J(t-1)‖≤ε，停止迭代；否则令t=t+1，转向Step4。
Step6：利用聚类结果计算VNew值，令k=k+1，转向Step2。
Step7：比较VNew值，达到最小时获得最佳聚类个数kopt。
1.2 自适应背景建模与更新方法
由于经过上述处理已得到k个聚类，则第i类的频率为
(3)
式中Ni(x,y)为第i个聚类中包含的元素个数。
按ω取值从大到小排序，自适应选择频率大于参数Ta的c(c<k)个聚类作为像素背景模型，可表示为
(4)
为了及时反映背景状态的变化，本文采用动态修改、删除或者新建聚类的方法进行背景模型的自适应更新。检测每一像素取值It(x,y)与已存在的聚类是否匹配，依次计算其与各聚类中心的距离D(It,vi)，并与聚类阈值λ比较。如果有满足D(It,vi)<λ条件的最小距离Dmin，则将该像素值It(x,y)归入类vi(x,y)中并修改参数。
(5)
(6)
(7)
其他未匹配聚类均相应调整频率。以上更新保证了像素取值能够正确匹配真实背景状态，可适应光照缓慢变化的情形。如果It(x,y)与所有聚类中心的距离都大于λ，表明出现了新的前景或噪声，将创建新类vk+1(x,y)，并设置参数。
(8)
(9)
(10)
(11)
同样对其他已有聚类进行频率更新。当前景停止运动的时间较长，聚类中包含的元素越来越多，其频率逐渐增大，超过阈值Ta后该类将被加入背景模型，可适应前景转换成背景的情况。当背景中静止物体运动离开后，其对应聚类频率低于阈值φ，则删除该聚类vi，聚类数k=k-1，并归一化剩余聚类的频率，及时反映了背景转换成前景的变化。
当背景频繁动态变化时，背景模型难以实现同步更新，背景差分存在较大的检测误差。另一类常用信息是帧间差分信息，其具有实时性好、对场景动态变化适应性强等优点，但易受到目标运动速度的影响，难以获得完整的前景轮廓。而由背景差分和帧间差分获得的二值化图像都包含不同程度的噪声，表现为少量孤立的前景像素。采用像素空间邻域信息重新界定像素归类，可以减少噪声的出现。因此，可联合这3种信息进行前景检测，以获得更好的检测结果，接下来描述3类信息的获取方法。
将后续视频图像中各像素与其背景模型进行差分运算：Dbt(x,y)=|It(x,y)-Bt(x,y)|，设置阈值THb，得到二值化背景差分图像：
(12)
当Mbt取值为0时，判定该像素为背景；当Mbt取值为1时，判定该像素为前景。
本文三帧差分法的具体处理过程：设It-1(x,y)、It(x,y)和It+1(x,y)分别表示相邻的3帧图像，Dt-1,t(x,y)、Dt,t+1(x,y)表示相邻2帧图像差分后的二值化结果，对差分图像按照对应像素进行与运算，得到3帧差分图像：
(13)
将Mbt与Mft进行逻辑或运算，则有
(14)
进一步对Mbf中的前景像素(x,y)考虑其3×3邻域，令s(x,y)表示邻域内前景像素的个数，其值可表示为
。通过比较s(x,y)与阈值χ的大小，得到二值化图像Mnt。
(15)
再将Mbf与Mnt进行逻辑与运算，得
(16)
考虑到煤矿视频监控图像颜色特征不明显的特点，本文在灰度图像中结合像素亮度和纹理特征来进行运动阴影检测。像素在阴影覆盖前后的亮度呈线性关系，在概率论中如果随机变量之间存在线性关系，那么它们的相关系数可定义为1。采用归一化互相关函数来衡量2个信号间的相似性，若信号越相似，则互相关函数的取值越接近于1。因此，可根据互相关函数的性质来检测运动阴影。基于灰度图像中可采用像素灰度表示像素亮度，假定视频图像大小是M×N，I(x,y)是当前帧像素灰度，B(x,y)是背景像素灰度。定义模板Tx,y以(x,y)为中心、大小为(2L+1)×(2L+1)，有Tx,y(m,n)=I(x+m,y+n)，其中-L≤m(或n)≤L。I_square(x,y)、B_square(x,y)分别表示当前帧和背景帧在像素(x,y)处的灰度值平方，IB_data(x,y)表示相应灰度值的乘积，则I_square(x,y)的加总表为
SI_square(x,y)=I_square(x,y)+
SI_square(x,y-1)+SI_square(x-1,y)-SI_square(x-1,y-1)
(17)
类推得到加总表：SB_square(x,y)和SIB_data(x,y)。快速归一化相关函数[14](FNCC)在像素(x,y)处的取值为
(18)
式中
分别为像素当前取值、背景取值和模板能量函数。
由于运动阴影的灰度值总集中分布在一定范围以内，所以，将阴影检测范围缩小到[Vmin,Vmax]。对前景区域中的每一个像素(x,y)进行检测，若其为阴影点，则需要满足以下条件：
(19)
实际上灰度值小于背景的前景像素，仍有可能属于运动目标，所以，本文根据纹理特征变化进一步判别阴影的存在与否。局部二值模式(Local Binary Pattern，LBP)是一种纹理特征的描述算子，其计算简单，具有很好的纹理描述性。参考文献[5]证明，LBP纹理特征在阴影区域和背景图像中具有不变性。式(20)给出了依据纹理不变性的阴影判别准则：
(20)
式中：shadow(x,y)=1，表明该像素为阴影点；LBPI(x,y)为像素在当前帧的LBP值；LBPB(x,y)为像素在背景模型中的LBP值。
综上所述，运动阴影检测与去除方法的步骤如下：
Step1：判断前景像素是否满足式(19)中的条件，若条件不成立，则像素属于运动目标并停止检测，否则属于候选阴影区域。
Step2：计算像素在当前帧和相应背景模型中的LBP特征值，并由式(20)得到是否属于运动阴影的判断结果。
Step3：若被判别为阴影像素，则将相应二值化图像中的像素取值设置为M(x,y)=0。
在Visual C++6.0和Opencv 2.0开发环境下编写了实验程序，用以验证本文方法的有效性。
4.1 自适应背景建模与更新方法的实验分析
将基于IFCM聚类算法的自适应背景建模与更新方法与经典的GMM方法、KDE方法进行比较，选用公共视频库PETS′2009中的一段视频图像序列进行实验，对比实验结果如图1所示。从图1可看出GMM方法背景更新速度较慢，其背景模型中存在缓慢运动汽车的虚影，且处于停止状态的小汽车没有出现在背景模型中。KDE方法同样存在虚影，但背景模型中包括了停止状态的小汽车。而本文方法能够快速适应背景的相应变化，获得准确的背景模型。
(a) 第130帧 (b) 第180帧 (c) 第200帧
(d) GMM方法背景 (e) KDE方法背景 (f) 本文方法背景
图1 自适应背景建模与更新方法的对比实验结果
4.2 前景检测方法的实验分析
前景检测方法的对比实验结果如图2所示。图2(a)—(c)中汽车突然启动，背景更新不能同步完成，在背景差分图像(图2(d))中，汽车没有被完整检测为运动目标。而三帧差分能快速判断出汽车为运动目标，但由于行人步速缓慢，在相邻2帧中变化较小且存在部分重叠，所以在三帧差分图像(图2(e))中，运动行人内部出现了空洞。另外，背景差分和三帧差分二值化处理后，都出现了不同程度的噪声。图2(f)为基于联合信息的前景检测方法的检测结果，效果良好。
(a) 第80帧 (b) 第102帧 (c) 第110帧
(d) 背景差分 (e) 三帧差分 (f) 本文方法结果
图2 前景检测方法的对比实验结果
4.3 运动阴影检测方法的实验分析
将本文提出的运动阴影检测方法与DNM1阴影检测方法(DNM1方法)、基于FNCC的阴影检测方法(FNNC方法)进行比较，对比实验结果如图3所示。由于图像饱和度、颜色值都较低，DNM1方法只能检测出部分阴影，FNNC方法较好地挖掘了阴影区域和相应背景的亮度相似性特点，误判像素减少，但阴影检测仍不够完整。而本文提出的运动阴影检测方法同时结合了亮度和纹理特征的特性，其检测效果显然优于DNM1和FNCC方法。
(a) 原始视频图像序列
(b) DNM1方法阴影检测结果
(c) FNCC方法阴影检测结果
(d) 本文方法阴影检测结果
图3 阴影检测方法的对比实验结果
在优化选取初始聚类中心和设计新聚类有效性指标的基础上，提出了IFCM聚类算法，并将其应用于各像素背景模型的自适应构建和更新；提出了基于联合信息的前景检测方法，将像素背景差分信息与三帧差分信息进行或运算处理，提高前景检测时对动态场景变化的适应性，进一步联合空间邻域信息来减少前景中的噪声；提出了运动阴影检测与去除方法，采用像素对应FNCC函数的取值判别候选阴影区域，然后依据纹理特征值不变性，确定并去除运动阴影，因此，获得了较为准确的运动目标。实验结果表明，本文方法能将运动目标从复杂煤矿工作场景中检测出来，为后续视频监控过程做好了充分准备。同时将本文方法与相应经典算法进行了比较分析，结果验证了本文方法的有效性和优越性。
参考文献：
[1] 潘涛.煤矿生产系统集成的层次结构及其标准化问题研究[J].工矿自动化，2014,40(9):19-23.
[2] 芮挺,周遊,马光彦,等.核密度估计与高斯模型联级运动目标检测[J].计算机工程与应用，2011,47(18):1-3.
[3] 李鹏伟,葛文英,刘国英.基于阴影概率模型的遥感影像阴影检测方法[J].计算机应用，2015,35(2):510-513.
[4] 韩延祥,张志胜,郝飞,等.灰度序列图像中基于纹理特征的移动阴影检测[J].光学精密工程，2013,21(11):2931-2940.
[5] 曹健,陈红倩,张凯,等.结合区域颜色和纹理的运动阴影检测方法[J].机器人，2011,33(5):628-633.
ZHANG Xiehua1, ZHAO Xiaohu2
(1.School of Education Intelligent Technology, Jiangsu Normal University, Xuzhou 221116, China;
2.IOT Perception Mine Research Center, China University of
Mining and Technology, Xuzhou 221008, China)
Abstract:In view of condition of complex dynamic scene changes in coal mine intelligent video monitoring environment, three important steps in moving target detection were researched which were background modeling and updating, foreground detecting, motion shadow detecting and removing. For the three steps, corresponding processing methods were put forward: a self-adaptive background modeling and updating method based on IFCM clustering algorithm was proposed, the method was used to unsupervised clustering of pixels' gray values, different number of clusters was adaptively selected to construct the pixels' background model, and automatic updating of the background model was completed by modifying, adding and deleting clusters with the scenes' change; a foreground detection method was proposed which combined the background difference, three frame difference and spatial neighborhood information, so accurate foreground targets were obtained; a motion shadow detection and removal method was proposed on the basis that the pixels' of gray images have characteristics of luminance correlation and texture invariance before and after shadow covering, so detecting and removing moving shadow was realized. The experimental results verify effectiveness and superiority of the method.
Key words:coal mine video monitoring; motion target detection; background modeling; foreground detection; motion shadow detection
作者简介：张谢华(1977-)，女，安徽宿松人，副教授，博士，主要研究方向为运动目标检测、运动目标跟踪等，E-mail:85391920@qq.com。 徐荣鑫(1992-)，男，江苏盐城人，硕士研究生，主要研究方向为机电一体化，E-mail:xurxpaper@163.com。
基金项目：国家科技支撑计划项目(2012BAH12B00)；江苏师范大学博士学位教师科研支持项目(2015XLR18)。 中国博士后科学基金第58批面上资助项目(2015M581879)。
收稿日期：2015-12-16；修回日期：2016-02-01；责任编辑：张强。 2015-12-15；修回日期：2016-01-08；责任编辑：张强。
中图分类号：TD67
文献标志码：A 网络出版时间：2016-04-05 11:26
文章编号：1671-251X(2016)04-0031-06
DOI:10.13272/j.issn.1671-251x.2016.04.008
张谢华，赵小虎.煤矿智能视频监控中的运动目标检测研究[J].工矿自动化，2016,42(4)：31-36.