0 引言
基于机器人与无人机等移动平台的智能视频巡检技术[1]突破了固定相机监控的局限，在变电站巡检[2-3]、输电线路航拍[4-5]、交通监控[6-7]等领域得到广泛应用。在煤矿井下，智能视频巡检技术多用于带式输送机等设备运行状态的远程监控[8-9]、综采工作面巡检[10]、行人检测[11-12]等，用于巷道变形检测的智能视频技术多采用固定相机采集视频图像[13-14]，尚未有视频巡检技术应用的报道。本文提出将智能视频技术用于巷道变形巡检机器人，对巷道变形情况进行监测，以及时发现巷道变形与支护隐患，保障煤矿安全生产。
背景差分算法是一种常用的巡检视频异常检测方法，能精准地检测出视频图像中的异常，且环境适应性强[15-16]。传统的背景差分算法仅能实现固定相机拍摄图像的异常目标检测，不适用于巡检视频。本文根据煤矿井下巷道变形巡检机器人匀速、定向运动及周期性采集视频数据的特点，对巡检视频分段提取关键帧，采用均值哈希算法建立背景模型，再对背景模型和关键帧进行差分运算，并对运算结果进行优化，从而准确地检测出异常目标。
1 背景差分算法
1.1 算法基本原理
背景差分算法对图像进行色彩空间和大小调整等预处理后，根据图像历史信息建立背景模型，然后对输入图像与背景模型进行差分操作，实现背景与异常像素分类，在消除噪声与错误的检测结果后得到异常信息，并根据差分检测结果更新背景模型。背景模型的建立与更新是背景差分算法的核心。经典的背景建模算法包括高斯建模算法、ViBe算法等。高斯建模算法利用高斯函数生成视频图像各像素的灰度分布模型[17-18]，据此判断待测像素是否为异常像素，并按照一定权重更新背景模型。ViBe算法基于时空连续思想，通过单帧图像像素及其邻域建立单个像素点的背景模型[19-20]，并在匹配成功时随机更新。经典背景差分算法中，背景模型是基于固定相机持续输入图像训练而建立的，输入数据需具有良好的时空连续性，以满足模型训练更新需求。对于井下巷道变形巡检视频，相机运动引起的背景改变及视频数据周期性采集的特性无法适用上述背景建模算法。本文提出分段视频背景建模方法，以满足井下巷道变形巡检视频分析需要。
1.2 背景建模
本文研究的巡检视频由融合了射频定位技术的轨道巡检机器人获取。在机器人运行轨道上均匀安装带有位置编号的射频卡来提供定位信息，根据射频卡编号分段标记采集的巡检视频。因此，可对巡检视频分段提取背景模型关键帧，进而建立背景模型。对一段巡检机器人采集的初始巡检视频，按需采样生成背景模型关键帧mi集合M={mi|i=1,2,…,N}，其中N为关键帧数量，根据视频长度、巡检距离及场景视野等确定。
以第1段视频P1为例说明关键帧提取过程。统计P1帧数q，将视频序列记作{p1，p2,…，pq}。令n=[q/N]，则有m1=pα，m2=pα+n，…，mN=pα+(N-1)α，其中α为不大于n的随机正整数。生成的关键帧序列号1—N对应巡检视频段编号1，据此可迅速匹配关键帧与采集的巡检视频段。
从初始巡检视频中提取关键帧后，采用哈希算法建立背景模型。哈希算法是一类相似图像检索算法的总称[21]，根据图像生成64位哈希值序列，并用2张图像哈希值之间的汉明距离衡量图像相似程度，实现简单、高效。考虑到巡检视频抖动与渐进特性，针对当前巡检视频，采用均值哈希算法建立背景模型。对于本文中的巡检视频，任意关键帧mi可直接定位其对应的当前巡检视频段Pj(j=1,2,…,J,J为视频分段数)，则构造mi与Pj中图像的哈希值，然后比较mi与Pj中各帧图像的汉明距离。在一定范围内，汉明距离越小，说明mi与该帧图像的拍摄位置越接近。
受巡检视频渐变特性和均值哈希算法精度影响，mi可能与Pj中1帧或多帧图像之间的汉明距离取得最小值。因此从当前巡检视频段Pj中筛选出1帧或多帧图像生成关键帧mi的背景模型Qi。Qi中图像满足与mi间汉明距离不大于某阈值(可选为当前巡检视频段Pj中图像与mi间汉明距离的最小值)，且在Pj中为连续帧。
1.3 背景模型检测与更新
巡检视频背景模型检测与更新主要包括差分异常检测、形态学操作、结果输出与关键帧更新，如图1所示。
(1) 差分异常检测。考虑到相机抖动与轨道颤动干扰，采用特征跟踪将背景模型中的图像以关键帧为基准进行校正。将校正后的图像与关键帧分别转换为灰度图I1(x,y)，I2(x,y)((x,y)为任意像素点坐标)，并获取其差分图像：
S(x,y)=|I1(x,y)-I2(x,y)|
(1)
根据某一阈值Tr将S(x,y)转换为二值掩膜:
(2)
图1 背景模型检测与更新流程
Fig.1 Detecting and update process of background model
根据式(2)，二值掩膜为1的像素为异常像素。
(2) 形态学操作。对于二值掩膜进行形态学滤波，以消除噪声。主要操作包括开运算去噪与闭运算连通，保留置信度更高的检测结果。
(3) 检测并输出结果。根据差分异常检测结果，统计检测到的异常数，保留异常数最小的检测结果并保存，在背景模型中最小异常数对应的图像记作mi的匹配帧，在匹配帧上标记异常并输出。
(4) 关键帧更新。在异常排除后，重新采集该段巡检视频，并采样替换该段视频的关键帧集合。
背景模型异常检测效果如图2所示。
图2 背景模型异常检测效果
Fig.2 Anomaly detection result of background model
2 基于背景差分的巡检视频异常检测
基于背景差分的巡检视频异常检测流程如图3所示。轨道巡检机器人搭载相机，定向获取初始巡检视频，对巡检视频分段采样提取背景模型关键帧。将相同位置的关键帧集合与当前巡检视频段进行匹配，根据关键帧生成背景模型。之后对背景模型与关键帧进行差分异常检测，生成二值掩膜并进行去噪及连通处理后，输出最终异常检测结果，并更新关键帧集合。
图3 基于背景差分的巡检视频异常检测流程
Fig.3 Anomaly detection process of inspection video based on background difference
3 实验及结果分析
为了验证基于背景差分的煤矿井下巷道变形巡检视频异常检测方法的有效性，以某煤矿运输巷道巡检视频为研究对象进行实验。硬件环境：2.8 GHz CPU，8 GB RAM；软件环境：Win10企业版，Visual Studio 2017 Community，计算机视觉开源库OpenCV3.4.4。
实验所用分段视频为300帧图像。以30帧为间隔，选取第70，100，…，280帧图像作为1—8号关键帧，再从8张关键帧中随机抽取4张人工添加12处异常信息，作为9—12号关键帧。关键帧检测结果如图4所示，自上而下依次为关键帧、校正后的背景帧、二值掩膜和检测结果。
对图4中的图像进行多次检测，结果见表1。可看出本文方法可较准确地找到关键帧在当前巡检视频中的对应位置。对于9—12号关键帧中人工标记的12处异常，检出率与准确率均达到100%。对于无异常的8号关键帧，尽管在匹配过程中出现微小误差，但基于特征跟踪及检测结果优化策略，仍能够输出正确的检测结果，表现出良好的鲁棒性。对巡检视频的检测速度约为50帧/s，检测效率高。
4 结语
基于背景差分的煤矿井下巷道变形巡检视频异常检测方法对分段巡检视频提取关键帧后，采用均值哈希算法建立分段视频的背景模型，并对差分检测结果进行优化，保证了检测效率与准确度。采用井下巡检视频对该方法进行验证，结果表明在一定条件下其可较准确地定位关键帧并检测出异常目标，检测速度约为50帧/s。
图4 井下巷道变形巡检视频异常检测结果
Fig.4 Anomaly detection results of inspection video for underground roadway deformation
表1 异常检测统计
Table 1 Statistics of anomaly detection
关键帧编号关键帧匹配帧异常数量检出数量误检数漏检数用时/s1707000006.11210010000006.47313013000006.12416016000006.23519019000006.14622022000005.63725025000006.36828027900006.149707011006.081013013011006.411119019033006.111225025077006.05
[1] 黄凯奇,陈晓棠,康运锋,等.智能视频监控技术综述[J].计算机学报,2015,38(6):1093-1118.
HUANG Kaiqi,CHEN Xiaotang,KANG Yunfeng,et al.Intelligent visual surveillance:a review[J].Chinese Journal of Computers,2015,38(6):1093-1118.
[2] 谢水杰.智能巡检机器人在500 kV变电站的应用研究[D].广州:华南理工大学,2018.
XIE Shuijie.Application and research of intelligent patrol robot in 500 kV transformer substation[D].Guangzhou:South China University of Technology,2018.
[3] 周立辉,张永生,孙勇,等.智能变电站巡检机器人研制及应用[J].电力系统自动化,2011,35(19):85-88.
ZHOU Lihui,ZHANG Yongsheng,SUN Yong,et al.Development and application of equipment inspection robot for smart substations[J].Automation of Electric Power Systems,2011,35(19):85-88.
[4] 陈庆,闫斌,叶润,等.航拍绝缘子卷积神经网络检测及自爆识别研究[J].电子测量与仪器学报,2017,31(6):942-953.
CHEN Qing,YAN Bin,YE Run,et al.Insulator detection and recognition of explosion fault based on convolutional neural networks[J].Journal of Electronic Measurement and Instrumentation,2017,31(6):942-953.
[5] 黄新波,刘新慧,张烨,等.基于红蓝色差和改进K-means算法的航拍绝缘子分类识别方法[J].高电压技术,2018,44(5):1528-1534.
HUANG Xinbo,LIU Xinhui,ZHANG Ye,et al.Classification recognition method of insulator in aerial image based on the red-blue difference and developed K-means algorithm[J].High Voltage Engineering,2018,44(5):1528-1534.
[6] SIVARAMAN S, TRIVEDI M M. Real-time vehicle detection using parts at intersections[C]//The 15th International IEEE Conference on Intelligent Transportation Systems,Anchorage,2012:16-19.
[7] XU Yanwu,XU Dong,LIN S,et al. Detection of sudden pedestrian crossings for driving assistance systems[J]. IEEE Transactions on Systems, Man, and Cybernetics,Part B,Cybernetics,2011,42(3):729-739.
[8] 刘毅.皮带运输机自动巡检系统的研发[D].北京:北京工业大学,2016.
LIU Yi.Research and development of automatic inspection system for belt conveyer[D].Beijing:Beijing University of Technology,2016.
[9] 龚桂荣.皮带机巡检机器人控制系统设计与研究[D].徐州:中国矿业大学,2019.
GONG Guirong.Design and research on an inspection robot control system for belt conveyer[D].Xuzhou:China University of Mining and Technology,2019.
[10] 张树生,马静雅,岑强,等.煤矿综采工作面巡检机器人系统研究[J].煤炭科学技术,2019,47(10):136-140.
ZHANG Shusheng,MA Jingya,CEN Qiang,et al.Research on inspection robot system for fully-mechanized mining face in coal mine[J].Coal Science and Technology,2019,47(10):136-140.
[11] 李现国,李斌,刘宗鹏,等.井下视频行人检测方法[J].工矿自动化,2020,46(2):54-58.
LI Xianguo,LI Bin,LIU Zongpeng,et al.Underground video pedestrian detection method[J].Industry and Mine Automation,2020,46(2):54-58.
[12] 杨清翔,吕晨,冯晨晨,等.煤矿井下行人检测算法[J].工矿自动化,2020,46(1):80-84.
YANG Qingxiang,LYU Chen,FENG Chenchen,et al.Pedestrian detection algorithm of coal mine underground[J].Industry and Mine Automation,2020,46(1):80-84.
[13] 张雄.视觉计算在煤矿巷道变形监测中的应用研究[D].西安:西安科技大学,2015.
ZHANG Xiong.Research on the method for calculation of roadway deformation[D].Xi'an:Xi'an University of Science and Technology,2015.
[14] 徐剑坤.基于机器视觉的巷道变形实时监测预警技术研究[D].徐州:中国矿业大学,2012.
XU Jiankun.Real-time monitoring and early warning roadway deformation based on machine vision[D].Xuzhou:China University of Mining and Technology,2012.
[15] 陈星明.基于背景建模的运动目标监控视频检测算法[D].南京:南京大学,2015.
CHEN Xingming.Moving object detection algorithm based on background modeling in surveillance video[D].Nanjing:Nanjing University,2015.
[16] SAJID H,CHEUNG S C S.Universal multimode background subtraction[J].IEEE Transactions on Image Processing,2017,26(7):3249-3260.
[17] STAUFFER C,GRIMSON W E L.Learning patterns of activity using real-time tracking[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2000,22(8):747-757.
[18] 王永忠,梁彦,潘泉,等.基于自适应混合高斯模型的时空背景建模[J].自动化学报,2009,35(4):371-378.
WANG Yongzhong,LIANG Yan,PAN Quan,et al.Spatiotemporal background modeling based on adaptive mixture of Gaussians[J].Acta Automatica Sinica,2009,35(4):371-378.
[19] BARNICH O, DROOGENBROECK M V. ViBe:a universal background subtraction algorithm for video sequences[J].IEEE Transaction on Image Processing,2011,20(6):1709-1724.
[20] 张文雅,徐华中,罗杰.基于ViBe的复杂背景下的运动目标检测[J].计算机科学,2017,44(9):304-307.
ZHANG Wenya,XU Huazhong,LUO Jie.Moving objects detection under complex background based on ViBe[J].Computer Science,2017,44(9):304-307.
[21] FEI Mengjuan,LI Jing,LIU Honghai.Visual tracking based on improved foreground detection and perceptual hashing[J].Neurocomputing,2015,152:413-428.