科研成果
孙继平,靳春海,曹玉超
(中国矿业大学(北京), 北京 100083)
摘要:分析了矿井水灾视频图像特征,提出了基于视频图像的矿井水灾识别及趋势预测方法,包括水灾视频动态识别、区域分割、面积估算及趋势预测,并通过了试验验证,得出如下主要结论: ① 阈值像素灰度统计法和像素灰度值统计法均可监测和识别水灾,阈值像素灰度统计法不但可抑制低于灰度阈值的噪声,提高识别的准确性,还可减少像素灰度统计数,增强特定像素灰度范围的对比度。② 阈值分割法和视频差分分割法均可分割水灾区域图像,前者整体性较好,后者细节刻画更强。③ 根据分割出的水灾区域图像可估算突水区域面积及进行趋势预测。
关键词:矿井水灾; 图像识别; 水灾区域分割; 面积估算; 趋势预测
煤炭是我国的主要能源,约占一次能源的70%[1]。煤炭生产受瓦斯、水灾、火灾、顶板、冲击地压等事故困扰,近年来,虽然全国煤矿安全生产形势逐年好转,百万吨死亡率逐年下降,但形势依然严峻[2-4]。水灾是煤矿重特大事故之一,平均每起死亡人数位居煤矿事故前三位[5-7]。因此,及时发现水灾事故,撤出井下作业人员,开展有效应急救援,对减少事故伤亡和财产损失具有重要意义。
目前,矿井水灾的发现与报警主要依靠井下作业人员,若突水现场人员遇难,或突水现场人员只顾自己逃生,不及时将灾情上报矿调度室,将不能通知井下其他作业地点的作业人员撤离,也不能组织有效的应急救援,将会造成大量人员伤亡、设备损毁和淹井[8-10]。因此,研究矿井水灾识别方法对避免和减少煤矿水灾事故伤亡和财产损失具有重要意义[11]。为此,笔者提出了基于视频图像的矿井水灾识别及趋势预测方法。
矿井水灾发生是从无到有、从小到大的过程。水灾视频由多帧序列图像组成,在水灾发生过程中,视频多帧图像间必然存在着联系与变化。分析前后多帧图像之间的信息,可以对水灾发生过程进行监测和识别,并对突水面积、水灾趋势进行预测。
矿井突水时,突水点呈现喷射现象,会产生大量水花,快速流动的水也会产生大量水花。水花呈白色,且亮度大,同煤、岩和设备等相比,特征明显。随着突水量的增大,水的图像像素点随之增多,图像整体亮度(灰度值)也会随之增大[11]。通过统计分析视频多帧图像间的灰度变化,可以实现水灾识别和报警。
笔者提出基于像素灰度值统计的水灾视频动态监测识别方法,将摄像头置于易发生水灾的采煤工作面、掘进工作面和巷道,统计、监测视频每帧图像的像素灰度值,比较前后帧间图像像素灰度值的变化,当满足设定的报警条件时,发出水灾报警。
一张像素分辨率为m×n图像的总像素灰度值是其每个像素点f(x,y)的灰度值总和。视频第t帧图像(ft(x,y))的总像素灰度值g(t)可以表示为
(1)
光线变化和设备移动等都会引起视频图像某一帧总像素灰度值的变化。因此,仅通过监测视频图像总像素灰度值变化难以判定矿井水灾。因矿井水灾发生是一个从无到有、从小到大的连续变化的过程,矿井水灾视频图像总像素灰度值g(t)也必然有一个从小到大的过程,是一个连续上升的曲线。因此,笔者提出根据矿井水灾视频图像总像素灰度值g(t)的变化趋势来识别矿井水灾。
像素灰度值统计法是统计图像全部像素灰度值。光线变化、作业人员走动、采煤机和掘进机移动等都会造成像素值变化,进而影响图像整体灰度值统计。水花的图像灰度值高于煤、岩、设备和人员等图像的灰度值,因此,根据水花图像灰度值设定阈值或阈值区间,只统计满足阈值或阈值区间的像素灰度,可减少作业人员走动、采煤机和掘进机移动等对水灾图像识别的影响。根据水花图像灰度值设定阈值DS,仅统计大于该阈值(f(x,y)≥DS)的像素灰度值。或根据水花图像灰度值设定阈值区间,设阈值上限和下限分别为DP和DS,仅统计阈值区间(DP≥f(x,y)≥DS)的像素灰度值,可进一步提高水灾图像识别的准确率。
模拟矿井突水过程,以数字摄像机获取视频图像,利用Windows系统搭建图像处理环境,集成开发环境是pycharm,以python语言配合opencv、skimage等算法库进行图像处理。本试验包括像素灰度值统计和阈值像素灰度统计2个部分。
1.4.1 像素灰度值统计试验
选取视频第1 001~第1 600帧图像,对其进行像素灰度值统计,如图1所示。从图1可看出,第1 001~第1 180帧图像的像素总灰度值变化不大;第1 180~第1 250帧图像的像素总灰度值有稍微降低;从第1 280帧开始,像素总灰度值呈波动上升趋势;在第1 580帧后,像素总灰度值开始下降。
图1 像素总灰度值变化曲线
Fig.1 Change curve of pixel total gray value
模拟涌水视频图像如图2所示,读取视频第1 001、第1 180、第1 250、第1 280、第1 380、第1 480、第1 580和第1 600帧8帧图像。将图2所示视频图像与图1所示总像素灰度值进行对比分析后可以发现,第1 180帧之前,没有模拟涌水,视频图像监测画面变化较小; 第1 180~第1 250帧之间,因为光照差异,引起像素总灰度值较小的变化;从第1 280帧开始模拟涌水,之后涌水呈现上升趋势,像素总灰度值波动上升;第1 580帧后,模拟涌水量开始减小,像素总灰度值开始下降。因此,可以通过像素总灰度值增长趋势识别矿井水灾。
(a) 第1 001帧
(b) 第1 180帧
(c) 第1 250帧
(d) 第1 280帧
(e) 第1 380帧
(f) 第1 480帧
(g) 第1 580帧
(h) 第1 600帧
图2 模拟涌水视频图像
Fig.2 Video image of simulated water burst
1.4.2 阈值像素灰度统计试验
为便于与像素灰度值统计方法比较,保持其他试验条件不变,仅统计大于阈值DS的像素灰度(f(x,y)≥DS)值。
根据试验环境和多次阈值验证,将灰度阈值设为90,阈值像素总灰度值如图3所示。阈值像素灰度统计所用视频图像与像素灰度值统计所用视频一样(图2)。与像素总灰度值不同的是,第1 001~第1 180帧的阈值像素总灰度值接近于0;第1 180~第1 250帧的阈值像素总灰度值变化曲线并没有图1下降那么明显;在第1 280帧之后,阈值像素总灰度值呈现波动上升趋势;在第1 580帧后,阈值像素总灰度值开始下降。
图3 阈值为90的阈值像素总灰度值变化曲线
Fig.3 Change curve of threshold pixel total gray value with a threshold of 90
试验表明,阈值像素灰度统计法和像素灰度值统计法均可监测和识别水灾。阈值像素灰度统计方法不但可抑制低于灰度阈值的噪声,提高识别的准确性,还可减少像素灰度统计数,增强特定像素灰度范围的对比度。
为估算突水面积和分析突水趋势,需进行水灾区域图像分割,将突水区域从煤岩等背景图像中分离出来。
矿井突水时,会产生大量水花,水花图像灰度高于煤岩等背景图像。因此,可以通过设定阈值,将突水区域分割出来,阈值可以人为设定,也可以自适应产生。阈值分割如式(2)所示,DS为阈值,当图像像素点f(x,y)的灰度值大于DS时,对应像素点设置为255,否则设置为0,最终呈现二值图像。
(2)
式中D(x,y)为二值图像。
视频差分分割是将视频2帧图像作差分。设定视频某一帧为背景图像,背景图像可以是前一帧采样图像,也可以是最初采样图像,最好为静态图像。以视频当前帧图像减去背景图像,当对应像素位置点的灰度值大于设定阈值时,则该像素点设置为255,否则设置为0,最终得到差分二值图像为
(3)
式中:E(x,y)为差分二值图像;fk(x,y)为视频第k帧图像;fk0(x,y)为第k0帧图像,即背景图像;ES为阈值。
2.3.1 阈值分割试验
本试验采用最大类间方差自适应阈值分割方法,其原理是以直方图计算为基础,类间方差最大的情况为条件,最终计算最佳灰度阈值[12]。最大类间方差法阈值分割效果如图4所示。从图4可看出,当最大类间方差法分割的最佳阈值为84时,可以将水灾区域分割出来。
2.3.2 视频差分分割试验
本试验以视频第1 260帧图像为背景图像,第1 282帧图像为目标图像,差分图像分割结果如图5所示。从图5可看出,差分图像可以准确地将右上角动态涌水部分分割出来,甚至能将溅水痕迹分割出来。
(a) 原图像
(b) 直方图
(c) 阈值分割效果
图4 最大类间方差法阈值分割效果
Fig.4 Effect of OSTU threshold segmentation
(a) 第1 260帧
(b) 第1 282帧
(c) 差分图像
图5 差分图像分割结果
Fig.5 Result of difference image segmentation
水灾区域图像分割后,可以将视频动态目标区域与背景图像进行分离,得到一个二值图像,如fk(x,y)为视频第k帧图像,像素分辨率为M×N,则目标分割后,目标图像gk(x,y)为
(4)
第k帧图像分割后,可以根据二值图像的像素数量进行突水面积估算。n255代表灰度值为255的像素数量,相对突水面积可用表征,可与实际面积进行拟合。
突水面积的估算可以按照图像面积比例进行估算,则突水面积扩张速度可用表征,其中T为视频第k帧采集图像和第(k-1)帧采集图像的间隔时间。水灾面积扩张速度可以表征突水趋势,水灾面积扩张速度越快,说明水势越凶猛,突水量越大。
(1) 阈值像素灰度统计法和像素灰度值统计法均可监测和识别水灾,但阈值像素灰度统计法不但可抑制低于灰度阈值的噪声,提高识别的准确性,还可减少像素灰度统计数,增强特定像素灰度范围的对比度。
(2) 阈值分割法和视频差分分割法均可以分割水灾区域图像,前者整体性较好,后者细节刻画更强。
(3) 根据分割出的水灾区域图像可估算突水区域面积及进行趋势预测。
参考文献( References):
[1] 孙继平.煤矿安全生产理念研究[J].煤炭学报,2011,36(2):313-316.
SUN Jiping.Research on coal mine safety production concept[J].Journal of China Coal Society,2011,36(2):313-316.
[2] 孙继平.煤矿安全生产监控与通信技术[J].煤炭学报,2010,35(11):1925-1929.
SUN Jiping.Technologies of monitoring and communication in the coal mine[J].Journal of China Coal Society,2010,35(11):1925-1929.
[3] 孙继平.现代化矿井通信技术与系统[J].工矿自动化,2013,39(3):1-5.
SUN Jiping.Modern mine communication technology and system [J].Industry and Mine Automation,2013,39(3):1-5.
[4] 孙继平.煤矿信息化自动化新技术与发展[J].煤炭科学技术,2016,44(1):19-23.
SUN Jiping.New technology and development of mine informatization and automation[J].Coal Science and Technology,2016,44(1):19-23.
[5] 孙继平.煤矿事故分析与煤矿大数据和物联网[J].工矿自动化,2015,41(3):1-5.
SUN Jiping.Accident analysis and big data and Internet of things in coal mine [J].Industry and Mine Automation,2015,41(3):1-5.
[6] 孙继平.煤矿事故特点与煤矿通信、人员定位及监视新技术[J].工矿自动化,2015,41(2):1-5.
SUN Jiping.Characteristics of coal mine accidents and new technologies of coal mine communication,personnel positioning and monitoring [J].Industry and Mine Automation,2015,41(2):1-5.
[7] 孙继平,钱晓红.2004—2015年全国煤矿事故分析[J].工矿自动化,2016,42(11):1-5.
SUN Jiping,QIAN Xiaohong.Analysis of coal mine accidents in China during 2004-2015[J].Industry and Mine Automation,2016,42(11):1-5
[8] 孙继平,钱晓红.煤矿重特大事故应急救援技术及装备[J].煤炭科学技术,2017,45(1):112-116.
SUN Jiping,QIAN Xiaohong.Emergency rescue technology and equipment of mine extraordinary accidents[J].Coal Science and Technology,2017,45(1):112-116.
[9] 孙继平,钱晓红.煤矿事故与应急救援技术装备[J].工矿自动化,2016,42(10):1-5.
SUN Jiping,QIAN Xiaohong.Coal mine accident and emergency rescue technology and equipment[J].Industry and Mine Automation,2016,42(10):1-5.
[10] 孙继平,田子建.矿井图像监视系统与关键技术[J].煤炭科学技术,2014,42(1):65-68.
SUN Jiping,TIAN Zijian.Image monitoring system and key technology in underground mine[J].Coal Science and Technology,2014,42(1):65-68.
[11] 孙继平,靳春海.矿井水灾感知与水源判定方法研究[J].工矿自动化,2019,45(4):1-5.
SUN Jiping,JIN Chunhai.Research on methods of mine flood perception and water source determination [J].Industry and Mine Automation,2019,45(4):1-5.
[12] OTSU N .A threshold selection method from gray-level histograms[J].IEEE Transactions on Systems,Man,and Cybernetics,1979,9(1):62-66.
SUN Jiping, JIN Chunhai, CAO Yuchao
(China University of Mining and Technology(Beijing), Beijing 100083, China)
Abstract:The characteristics of mine flood video images were analyzed. The mine flood identification and trend prediction methods based on video images were proposed, including flood video dynamic identification, region segmentation, area estimation and trend prediction. The results were verified by experiments. The main conclusions are as follows: ① Both threshold pixel grayscale statistical method and pixel grayscale statistical method can monitor and identify floods. The threshold pixel grayscale statistical method not only can suppresses noise below the grayscale threshold and improve the accuracy of recognition, but also can reduce the pixel grayscale statistics, enhance contrast of a particular pixel grayscale range. ② Both the threshold segmentation method and the video differential segmentation method can segment the image of the flood area, the former is better overall and the latter is more detailed.③ The area of the water inrush area can be estimated and the trend can be forecast based on the segmented flood area image.
Key words:mine flood; image recognition; flood area segmentation; area estimation; trend prediction
中图分类号:TD745
文献标志码:A
文章编号:1671-251X(2019)07-0001-05
DOI:10.13272/j.issn.1671-251x.17459
收稿日期:2019-06-06;修回日期:2019-06-20;
责任编辑:张强。
基金项目:国家重点研发计划资助项目(2016YFC0801800)。
作者简介:孙继平(1958-),男,山西翼城人,教授,博士,博士研究生导师,中国矿业大学(北京)信息工程研究所所长;获国家科技进步二等奖3项(第1完成人2项);作为第1完成人获省部级科技进步特等奖和一等奖8项;作为第1完成人主持制定中华人民共和国煤炭行业和安全生产行业标准28项;主持制定《煤矿安全规程》第十一章“监控与通信”;作为第1作者或独立完成著作12部;被SCI和EI检索的第1作者或独立完成论文90余篇;作为第1发明人获国家授权发明专利60余项;作为国务院煤矿事故调查专家组组长参加了10起煤矿特别重大事故调查工作;E-mail:sjp@cumtb.edu.cn。
引用格式:孙继平,靳春海,曹玉超.基于视频图像的矿井水灾识别及趋势预测方法研究[J].工矿自动化,2019,45(7):1-4.
SUN Jiping, JIN Chunhai, CAO Yuchao. Research on mine flood identification and trend prediction method based on video image[J].Industry and Mine Automation,2019,45(7):1-4.