0 引言
目前，大多煤矿井下视频监控[1]还是通过人工方式查看，存在效率低、对异常情况不能及时预警等问题。基于煤矿井下视频监控的目标检测，可作为井下目标行为分析和理解的重要手段，为保障煤矿生产安全提供技术支持。传统的运动目标检测算法主要有帧差法[2-3]、光流法[4-6]和背景差分法[7-10]等。由于煤矿井下环境光照不足、粉尘多、噪声大，上述算法应用到煤矿井下时均存在不同程度缺陷，如检测结果图像轮廓不完整、算法处理速度和检测效果不能兼顾、光照鲁棒性弱等。
混合高斯模型是一种无监督学习的模型，能够处理图像中背景物体的局部重复运动、缓慢运动，实现复杂区域中的跟踪，被广泛应用于运动目标检测中。但混合高斯模型是基于单像素点建模，建模速度较慢，并且在模型建立初期和后期采用同样的学习率，导致模型更新速度缓慢。为了改善目标检测效果，学者们基于混合高斯模型进行了进一步研究。文献[11]自适应地调整了高斯模型的分布数量，提高了背景建模精度，但没有优化高斯逐点建模过程，算法运行速度较慢。文献[12]对井下图像采用暗原色先验进行去雾处理，在提高图像对比度、识别细节信息、抑制噪声等方面有较好的效果，但是获取图像暗通道图的过程增加了算法复杂度。文献[13]使用边缘对比差分算法保证图像边缘信息连续、完整，提高了目标检测的准确率。
针对混合高斯模型运行速度慢、算法复杂度高、易受光照影响等问题，提出了一种基于改进混合高斯模型的井下目标检测算法，采用改进的暗通道去雾算法对井下视频图像进行预处理，通过块建模算法和自适应学习率提高背景模型的建立与更新速度。
1 混合高斯模型
1.1 混合高斯模型原理
对图像中每个像素建立K个高斯分布模型，则t时刻当前像素值Xt的背景分布概率为
(1)
式中：ωi,t为第i个高斯分布在t时刻的权重；η为高斯分布的概率密度函数；μi,t为第i个高斯分布在t时刻的期望；Σi,t为第i个高斯分布在t时刻的协方差矩阵。
高斯模型概率密度方程为
η(Xt,μi,t,Σi,t)=
(2)
式中n为每个像素值的维数，一般取1或3。
确定K时需要考虑到内存和计算性能，一般取3～5。考虑到计算复杂度，定义协方差矩阵形式为
(3)
式中：σi为第i个分布的方差；I为图像序列。
1.2 参数初始化
设权值为1，方差为默认值，期望为初始帧对应点的像素值，对图像中的像素点进行初始化。混合高斯模型主要通过学习率来决定背景更新的速度。在建模初期，场景中一般没有前景目标。因此，一般在建模初期使用较高的学习率来提高建模速度，然后再使用较低的学习率来进行前景提取和背景更新。
1.3 模型匹配
对图像中每个像素点，分别与其对应的K个高斯分布进行匹配，匹配公式为
|Xt-μi,t-1|≤Cσi
(4)
式中C为常数，一般取2.5～3.5。
如果当前像素值与K个分布均不匹配，则用新的分布替换最小概率分布，并调整权重：
ωi,t=(1-α)ωi,t-1+αMi,t
(5)
式中：α为学习率；当像素和模型匹配时Mi,t为1，否则为0。
如果像素与任何一个分布匹配，则对应参数更新公式为
μi,t=(1-ρ)μi-1,t+ρXt
(6)
(7)
式中ρ=αη(Xt,μi,t,σi)。
如果像素与任何一个分布均不匹配，则方差和期望不更新，只更新权重；当像素和任意一个分布匹配时，模型的各权值重新归一化。
1.4 背景模型估计
用B作为当前背景模型，B满足：
(8)
式中T为判定高斯分布是否可作为背景模型的最低阈值，一般取0.9。
高斯模型分布是按照ωi,t/σi的值排序的，当分布的权重增大、方差减小时，该比值会增加。因此，可能性最大的分布排在最前面，而可能性较小的分布排在最后面，并最终被新的分布取代。
在判断像素点类别时，如果当前像素与任意一个高斯分布匹配，则认为该像素点属于背景，否则认为该像素点属于前景。
2 基于改进混合高斯模型的井下目标检测算法
2.1 图像预处理
煤矿监控图像存在照度低、粉尘大并且噪声强度高等问题，对图像有效信息提取带来极大不便，因此，采用暗通道去雾算法[14]对井下图像进行去雾，去雾公式为
(9)
式中：J(x)为无雾图像；Y(x)为有雾图像；s(x)为光线透射率；A为大气光值。
求取暗通道图会导致算法计算较慢，因此，首先对图像的缩略图求暗通道图，然后插值恢复图像像素。在常用的插值方法[15]中，双三次插值法效果最佳，但算法速度较慢。为了提高速度，本文选择双线性插值法对图像进行插值，以缩短暗通道图的获取时间，提高算法速度。
双线性插值是对二元插值函数的扩展，其主要思想是分别在x, y方向进行一次线性插值，如图1所示。
图1 双线性插值
Fig.1 Bilinear interpolation
假设已知函数 f 在点Q11 (x1,y1)，Q12 (x1,y2),Q21 (x2,y1)及Q22 (x2,y2)处的值，要得到 f 在点Q(x, y)处的值，在 x 方向进行线性插值，得
(10)
在 y 方向进行线性插值，得
f(x,y)≈
(11)
预处理算法流程如下：
(1) 输入尘雾图像，对图像进行直方图均衡化。
(2) 对直方图均衡化后的图像求取缩略图，再对缩略图求取暗通道图。
(3) 估计暗通道图的大气光值，并利用导向滤波求取图像的透射率图。
(4) 采用双线性插值法放大去雾后的图像，恢复图像的像素。
(5) 输出无雾图像。
2.2 改进的块建模算法
传统混合高斯建模过程是对每一个像素点建立K个高斯分布，算法的复杂度高，实时性差。煤矿井下监控摄像头一般固定不动，因而图像背景无变化。另外，图像中可能出现像素相似区块，如井下墙壁、矿车或者地面等，这些区域的像素可与其周围像素共用一个模型，从而降低了建模复杂度。
使用改进的块建模算法进行高斯建模。假设将视频图像分为L×L块，则分块后的块内像素均值
为
(12)
式中I′(h1,h2,t)为t时刻的像素值。
用替换式(6)、式(7)中的Xt，得
(13)
(14)
文献[16]得出分辨率为320×240的视频最佳分块数为2×2，但是其忽略了视频分辨率变化的问题，即分辨率高于320×240时可能2×2分块不适用。本文通过对320×240、640×480和960×540三种分辨率规格视频中的10帧使用2×2、3×3、4×4、6×6四种分块策略进行实验，通过分析算法运行时间和检测效果得到更佳的分块策略，实验结果如图2所示。
图2 块建模算法对比
Fig.2 Comparison of block modeling algorithms
从图2可看出，分辨率为320×240时，解析10帧视频的时间随着分块的增加依次减小了19.1%，16.6%，11.2%；分辨率为640×480时依次减小了17.5%，15.2%，10.3%；分辨率为960×540时依次减小了17.2%，13.6%，8.6%。随着分块数增加，算法所需要的时间逐渐减小。
块建模效果如图3所示。当分块数为2×2和4×4时，检测结果中目标形态清楚，几乎没有噪声干扰；当分块数为6×6时，检测结果中目标出现了严重的“拖影”。因此，为了提高算法运行速度，同时保证检测效果，采用如下改进块建模算法：视频分辨率低于320×240时不进行分块，分辨率大于320×240且小于640×480时采用6×6分块，分辨率超过640×480时采用4×4分块。
(a) 原图像
(b) 2×2分块
(c) 4×4分块
(d) 6×6分块
图3 块建模效果
Fig.3 Result of block modeling
2.3 三帧差分法
在帧差法的基础上对混合高斯模型进行改进。帧差法通过计算图像帧之间的差值进行目标检测，两帧差分法易发生“空洞”现象，三帧差分法则是利用3帧图像中的相邻2帧进行差分计算，可以获得较好的图像检测效果。选取3帧图像Ij-1(x,y),Ij(x,y),Ij+1(x,y)，分别计算相邻2帧的差值：
(15)
使用阈值T对差值图像进行二值化：
(16)
对得到的2个差分图像进行“与”运算，得到结果图像D(x,y):
(17)
三帧差分法如图4所示。
图4 三帧差分法
Fig.4 Three-frame differential method
2.4 自适应学习率设计
α的取值决定背景更新的速度。在传统的混合高斯模型中，由于学习率 α 取值固定，导致模型的更新速度不能变化。由于对煤矿井下视频进行了预处理，算法复杂度较高，同时要求一定的实时性，固定的学习率不能满足井下目标检测需求。因此，当背景发生改变时，相应的学习率也要进行更新。本文结合三帧差分法对学习率设置进行改进。使用三帧差分法时，确定前景目标像素在整个图像像素中的比例a，通过前景在所有像素中的占比设定建模不同阶段的学习率：
(18)
在建模前期(0≤a≤10%)，监控场景中没有运动目标，根据理论及实验分析，设定一个较大的模型学习率0.05；而在建模后期(a>10%)，运动目标进入监控范围内，根据运动目标在场景中的像素占比动态调节模型学习率。
通过自适应学习率设计，既可以抑制光照对检测的影响，又能在建模前期使用较大的学习率，建模后期减小学习率，从而提高建模的速度和准确度。
2.5 目标检测算法流程
目标检测算法流程如图5所示。首先，对井下视频进行预处理，对高斯模型进行初始化；然后，采用改进块建模算法进行分块处理，结合三帧差分法判断建模阶段并自适应设置学习率；最后，通过改进高斯模型进行目标检测。
3 实验分析
为验证所提出算法的有效性，选取井下视频进行目标检测，在Visual Studio 2019和OpenCV 440平台进行实验，取2段视频Coalvideo1(930帧，分辨率为320×240，帧率为25帧/s)，Coalvideo2(750帧，分辨率为640×480，帧率为25帧/s)，进行实验对比，结果如图6、图7所示。
图5 目标检测算法流程
Fig.5 The flow of target detection algorithm
(a) 原图
(b) 传统混合高斯模型
(c) 三帧差分法
(d) 本文算法
图6 光照未变化时的目标检测效果
Fig.6 Target detection effect when the light is unchanged
(a) 原图
(b) 传统混合高斯模型
(c) 三帧差分法
(d) 本文算法
图7 光照变化时的目标检测效果
Fig.7 Target detection effect when the light changes
从图6可看出，当光照未变化时，本文算法去噪效果更好，图像更完整，而传统混合高斯模型的噪声较大，三帧差分法检测结果中图像空洞较多。从图7可看出，当光照发生突变时，传统混合高斯模型受光照影响较大；三帧差分法对光照变化的抑制性较好，但是图像空洞现象严重；本文算法仍能较好地描述检测对象，对光照变化有明显抑制作用。
三帧差分法、传统混合高斯模型和本文算法的处理速度见表1。对于视频Coalvideo1，本文算法的处理速度比传统混合高斯模型和三帧差分法分别提高了65.7%和45.4%；对于视频Coalvideo2，本文算法的处理速度比传统混合高斯模型和三帧差分法分别提高了65.4%和42.6%。实验结果验证了本文算法可有效提高视频处理速度。
表1 实验结果对比
Table 1 Comparison of experimental results
视频处理速度/(帧·s-1)传统混合高斯模型三帧差分法本文算法Coalvideo19.1310.6115.43Coalvideo28.019.2913.25
4 结语
在图像预处理过程中，先对图像缩略图求暗通道图，再通过双线性插值恢复像素，从而降低暗通道去雾算法的复杂度，在保证图像处理效果的同时提高了算法运行速度。在目标检测中，对块建模算法进行了改进，使其适用于不同分辨率的视频；采用三帧差分法应对光照突变，并在混合高斯模型建模前和建模后设定自适应学习率，提高了模型的更新速度，取得了较好的井下目标检测效果。实验结果表明，当光照发生突变时，本文算法仍能较好地描述检测对象，对光照变化有明显抑制作用；与三帧差分法、传统混合高斯模型相比，本文算法可显著提高视频处理速度。
[1] 吴文臻.智能视频监控系统在煤矿井下的应用研究[J].煤炭技术,2016,35(4):271-273.
WU Wenzhen.Application research of intelligent video surveillance system in coal mine[J].Coal Technology,2016,35(4):271-273.
[2] 华媛蕾,刘万军.改进混合高斯模型的运动目标检测算法[J].计算机应用,2014,34(2):580-584.
HUA Yuanlei,LIU Wanjun.Moving object detection algorithm of improved Gaussian mixture model[J].Journal of Computer Applications,2014,34(2):580-584.
[3] 李毅,孙正兴,远博,等.一种改进的帧差和背景减相结合的运动检测方法[J].中国图象图形学报,2009,14(6):1162-1168.
LI Yi,SUN Zhengxing,YUAN Bo,et al.An improved method for motion detection by frame difference and background subtraction[J].Journal of Image and Graphics,2009,14(6):1162-1168.
[4] 徐金婧,徐熙平.基于时空显著特征的运动目标检测方法研究[J].长春理工大学学报(自然科学版),2020,43(4):43-48.
XU Jinjing,XU Xiping.Research on moving target detection method based on time and space saliency features[J].Journal of Changchun University of Science and Technology(Natural Science Edition),2020,43(4):43-48.
[5] HOSHINO S, NIIMURA K. Optical flow for real-time human detection and action recognition based on CNN classifiers[J].Journal of Advanced Computational Intelligence and Intelligent Informatics,2019,23(4):735-742.
[6] CHO J, JUNG Y, KIM D S, et al. Moving object detection based on optical flow estimation and a Gaussian mixture model for advanced driver assistance systems[J].Sensors,2019,19(14):3217.
[7] 袁益琴,何国金,王桂周,等.背景差分与帧间差分相融合的遥感卫星视频运动车辆检测方法[J].中国科学院大学学报,2018,35(1):50-58.
YUAN Yiqin,HE Guojin,WANG Guizhou,et al.A background subtraction and frame subtraction combined method for moving vehicle detection in satellite video data[J].Journal of University of Chinese Academy of Sciences,2018,35(1):50-58.
[8] LIU Y, ZHAO Y, LIU M, et al. Research on the algorithm of infrared target detection based on the frame difference and background subtraction method[C]//Proceedings of SPIE 9596,Signal and Data Processing of Small Targets,2015.
[9] 乐英,赵志成.基于背景差分法的多运动目标检测与分割[J].中国工程机械学报,2020,18(4):305-309.
YUE Ying,ZHAO Zhicheng.Multi-moving object detection and segmentation based on background difference method[J].Chinese Journal of Construction Machinery,2020,18(4):305-309.
[10] 杨超宇,李策,梁胤程,等.基于改进粒子滤波的煤矿视频监控模糊目标检测[J].吉林大学学报(工学版),2017,47(6):1976-1985.
YANG Chaoyu,LI Ce,LIANG Yincheng,et al.
Blurred object detection based on improved particle filter in coal mine underground surveilance[J].Journal of Jilin University(Engineering and Technology Edition),2017,47(6):1976-1985.
[11] 郭伟,高媛媛,刘鑫焱.改进的基于混合高斯模型的运动目标检测算法[J].计算机工程与应用,2016,52(13):195-200.
GUO Wei,GAO Yuanyuan,LIU Xinyan.Improved moving object detection method based on mixture gaussian model[J].Computer Engineering and Applications,2016,52(13):195-200.
[12] 王树奇,刘贝,邹斐.一种新的矿井监控视频增强目标检测算法[J].西安科技大学学报,2019,39(2):347-353.
WANG Shuqi,LIU Bei,ZOU Fei.A new image enhancement target detection algorithm based on monitoring video in coal mine tunnel[J].Journal ofXi'an University of Science and Technology,2019,39(2):347-353.
[13] 刘伟,郝晓丽,吕进来.自适应混合高斯建模的高效运动目标检测[J].中国图象图形学报,2020,25(1):113-125.
LIU Wei,HAO Xiaoli,LYU Jinlai.Efficient moving targets detection based on adaptive Gaussian mixture modelling[J].Journal of Image and Graphics,2020,25(1):113-125.
[14] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[C]//IEEE Conference on Computer Vision and Pattern Recognition,Washington,2009.
[15] 丁雪晶.实现图像缩放功能的Matlab插值算法研究与比较[J].湖北大学学报(自然科学版),2018,40(4):396-400.
DING Xuejing.Research and comparison of Matlab interpolation algorithm for image scaling function[J].Journal of Hubei University(Natural Science),2018,40(4):396-400.
[16] 梁宏伟,张超,王佳,等.分块建模方法在混合高斯建模中的应用研究[J].工业控制计算机,2016,29(10):102-104.
LIANG Hongwei, ZHANG Chao, WANG Jia, et al.Application of partition model method in Gaussian mixture model[J].Industrial Control Computer,2016,29(10):102-104.
