谢鹏程, 陈青山, 李响
(北京信息科技大学 仪器科学与光电工程学院, 北京 100192)
摘要:针对传统粉尘监测方法实时性差、覆盖面不全的问题,提出了2种基于机器视觉的工矿现场粉尘实时监测系统设计方案,即基于单目视觉的粉尘监测系统和基于双目视觉的粉尘监测系统。基于单目视觉的粉尘监测系统采用帧差法、腐蚀膨胀算法等实现对视场内粉尘目标的快速识别;基于双目视觉的粉尘监测系统在单目视觉粉尘监测系统的基础上,利用标定靶,通过空间三维重建实现粉尘定位。实验结果表明,基于单目视觉的粉尘监测系统可以捕捉粉尘团生成的过程,实时处理速率为4帧/s;而基于双目视觉的粉尘监测系统可以进一步测量粉尘团位置信息,定位误差在10%以内。
关键词:粉尘监测; 机器视觉; 单目视觉; 双目视觉; 三维定位
粉尘对人体﹑生产﹑环境﹑生态平衡都有影响。粉尘会造成空气污染,引起尘肺病等职业病;还会加速工厂机器设备某些部件的磨损,降低机器的寿命和精度;粉尘弥漫在车间会降低可见度,作业现场粉尘浓度过高时甚至有爆炸的潜在危险[1-2]。另外,粉尘扩散到室外会影响周围的生态环境[3-5]。传统的粉尘消除方式是对全空间喷洒水雾,这样虽然能有效除尘,但是同时对机器设备也产生了不利影响,如加速机器腐蚀老化等。若能对可能出现粉尘的位置进行实时监测[6],在粉尘产生初期就将其消灭,不但可以提高除尘效率,还可以减少对生产设备的损坏。
国内外专家对粉尘监测技术做了大量的研究工作,研究了一系列粉尘监测方法,如光电式粉尘监测法[7]、激光式粉尘监测法[8]。光电式粉尘监测法原理:点光源发出的光经过透镜后形成平行光,平行光与两透镜之间的粉尘颗粒作用形成衍射场,最后通过监测衍射光场形成的信号实现粉尘监测。激光式粉尘监测法原理:通过空气泵将被测气体吸入测光室,粉尘粒子经激光照射后产生空间漫反射,光电监测器接收光信号并转换成相应的电信号,从而得到瞬时粉尘粒子数。以上方法可以快速监测出空气中粉尘的浓度,但是在突然出现大面积粉尘团时无法准确测量,也无法全工时、快速地对粉尘进行实时监测与定位,导致后续无法及时有效地对粉尘进行控制和消除。
本文提出了基于机器视觉的2种工矿现场粉尘监测系统设计方案:一种是基于双目视觉的粉尘监测系统,利用2台摄像机对目标同时进行监测,该系统基于帧差法和三维空间重建实现粉尘识别和定位[9-10];另一种是基于单目视觉的粉尘监测系统,利用单台摄像机对目标进行监测,该系统基于帧差法,可以快速识别视场内粉尘目标,但不能对粉尘位置进行定位。传统粉尘监测方法基于点、线测量,而基于机器视觉的粉尘监测方法可以对整个视场面进行监测。基于单目视觉的粉尘监测系统监测速度快,适合定点监测;基于双目视觉的粉尘监测系统定位精度高,适合全场监测。
基于单目视觉的粉尘监测系统由1台工业CMOS摄像机(包含单目视觉传感器和镜头组)、计算机组成,如图1所示。
图1 基于单目视觉的粉尘监测系统
基于单目视觉的粉尘监测系统适用于出尘位置相对固定的情况,其具体步骤:首先固定好摄像机位置,对出尘位置进行连续图像采集;对采集到的图像进行预处理,包括灰度图转换和图像增强处理;分离出粉尘目标与工矿背景,通过帧差法、阈值处理、腐蚀膨胀操作、重心提取等[11]对粉尘进行特征识别与提取。
帧差法:将预处理后的前后两帧图像相减,用前帧图像每个像素的灰度值与后帧图像所对应的像素点的灰度值相减,然后取绝对值,即,其中P1,P2分别为前后两帧图像对应像素点的灰度值,N为相减后的灰度值的绝对值[12]。如果前后两帧的像素灰度值相同,则作差值后为0,否则得到相应的灰度。
阈值处理:设定阈值,并对图像的像素点进行二值化处理。将灰度值高于阈值的像素点灰度值设为1,即白色;将灰度值低于阈值的像素点灰度值设为0,即黑色。此时灰度值为0的像素点即为没有改变的背景,而灰度值为1的像素点即可能为粉尘点。
腐蚀膨胀操作:由于原始图像在采集过程中可能受到环境干扰或自然起伏性噪声的影响,所以经二值化后的图像会出现白色区域夹杂个别孤立黑色像素的情况。因此,需要引入腐蚀膨胀算法。腐蚀是消除边界点、使边界向内部收缩的过程,可以用来消除图像中小且无意义的噪音颗粒。膨胀则相反,是将与物体接触的背景合并到该物体中,使边界向外部扩张的过程。图像经过腐蚀膨胀处理后,可消除小的噪声点,增强各区域的连通性,如图2所示。
图2 腐蚀膨胀效果
重心提取:经过上述处理后,图像中粉尘区域的轮廓被识别、提取出来。接着通过重心法求出粉尘区域的几何中心,得到粉尘在图像上的具体位置。
由于单目视觉只能记录二维信息,缺少第三维深度信息,所以只能确定粉尘在图像中的位置,不能确定粉尘相对于监测系统的距离信息,基于双目视觉的粉尘监测系统可以完成此项工作。
基于双目视觉的粉尘监测系统由2台工业CMOS摄像机、计算机和1个标定靶构成,如图3所示。
图3 基于双目视觉的粉尘监测系统
基于双目视觉的粉尘监测系统是一种被动视觉测量系统,不需要特殊光源,在自然光的照明条件下就能实现相关测量。其具体步骤:首先利用标定靶对2台摄像机进行内外参数标定,最少需要确定6个特征点[13];对出尘位置进行连续图像采集、处理,单帧图像处理与单目算法相同;最后通过空间三维重建对粉尘进行定位[14]。
三维定位过程:2台摄像机非平行摆放,设左摄
像机的摄像机坐标系为o1x1y1z1,图像坐标系为O1X1Y1;右摄像机的摄像机坐标系为o2x2y2z2,图像坐标系为O2X2Y2,世界坐标系为XwYwZw。则三维空间中任一点对应的像素坐标与世界坐标间的关系为
(1)
(2)
式中分别为摄像机的内外参数;si1,si2为比例因子;(u1,v1)为点a1的像素坐标;(u2,v2)为点a2的像素坐标;(Xw,Yw,Zw)为空间任一点A在世界坐标系下的坐标。
将式(1)、式(2)展开,消除式(1)中的si1和式(2)中的si2,得到关于Xw,Yw,Zw的方程:
(3)
(4)
联立式(3)、式(4)即可求出A点坐标[15],A点即为粉尘目标位置。
3.1 基于单目视觉的粉尘监测系统
在唐山某石矿现场对基于单目视觉的粉尘监测系统进行了实验,实验设备包括1台计算机、1台DH-HV1351UM USB 2.0接口CMOS工业数字摄像机(8.8 mm×6.6 mm靶面)、焦距为12~36 mm的变焦镜头。系统最大测量距离为30 m,单帧图像处理时间为0.25 s,采样速率为4帧/s。
对工矿现场进行连续图像采集及处理,矿场没开工时,没有粉尘产生,此时没有粉尘特征,无数据输出;当开动机器后,产生粉尘,此时粉尘可以被准确识别出来,如图4所示,其中图4(b)中方框部分为产生粉尘处。
基于单目视觉的粉尘监测系统具有一定的抗干扰能力,在监测背景发生小幅度干扰时,可以排除干扰,准确识别出粉尘。有人经过并对粉尘识别产生干扰时的情况如图5所示,方框部分为粉尘产生的位置,可以看出,在有人员进入监测范围时,系统依然可以准确识别出粉尘。
图4 基于单目视觉的粉尘监测系统粉尘识别过程
3.2 基于双目视觉的粉尘监测系统
双目视觉监测实验设备包括2台摄像机、2个靶面,其他设备及参数与单目实验相同。由于摄像机视场角的大小决定了测量范围的大小,实验中2台摄像机之间的基线为5 m,测量距离为30 m,双目视场宽度为30 m,测量距离分别为15,20,25,30 m。空间坐标以左摄像机在地面的垂直投影为坐标原点,X轴正向为基线到被测物方向,Y轴正向为左摄像机至右摄像机方向,Z轴正向为原点至左摄像机的垂直方向。
图5 有干扰情况的粉尘识别
首先用标定杆对2台摄像机进行内外参数标定。固定2台摄像机位置,随机将标定靶放置在视场中,对靶标点进行图像采集;然后人工测量出靶标点在世界坐标系下的坐标,再求出每个靶标点对应的图像坐标。至少需要采集6个不同的靶标点,本文记录了10个靶标点,见表1。靶标点世界坐标是在世界坐标系下人工测量靶标点的坐标,由靶标点世界坐标和左、右相面坐标即可求解出坐标系变换矩阵m。
表1 选定的10个靶标点坐标
测量时,固定2台摄像机相对位置不动,先采集无粉尘时的背景信息,然后抛洒石灰粉模拟工矿现场产生的粉尘团,通过靶标点和左、右摄像机采集的图像计算粉尘位置,粉尘识别结果如图6所示。
该系统单帧图像处理时间为0.8 s,采样速率为1帧/s,定位结果见表2。由表2可以看出,距离误差控制在10%以内。实验结果表明,基于双目视觉的粉尘监测系统不但能准确监测出粉尘,而且还能对其进行有效定位。
图6 基于双目视觉的粉尘监测系统识别结果
表2 基于双目视觉的粉尘监测系统定位结果
针对特殊工矿现场,提出了2种基于机器视觉的工矿粉尘实时监测系统设计方案:基于单目视觉的粉尘监测系统和基于双目视觉的粉尘监测系统。实验表明,基于单目视觉的粉尘监测系统可以捕捉灰团生成的过程,实时处理速率为4帧/s;而基于双目视觉的粉尘监测系统可以进一步测量灰团位置信息,距离误差在10%以内。基于机器视觉的粉尘监测系统具有识别速度快、监测范围广、定位精度高等优点,对保障工矿现场安全与环保具有一定的理论价值和实用意义。后续研究将对所提系统设计方案进行改进,将台式计算机更换成嵌入式系统,在图像中开小窗,以提高图像处理能力,增强实时性。
参考文献:
[1] 吴百剑.综采工作面粉尘分布规律研究[D].北京:煤炭科学研究总院,2008.
[2] 陶德保,姚均,冯育栋.矿用粉尘浓度传感器的设计与应用[J].工矿自动化,2013,39(9):20-22.
[3] 唐娟.粉尘浓度在线监测技术的现状及发展趋势[J].矿业安全与环保,2009,36(5):69-71.
[4] 耿凡,周福宝,罗刚.煤矿综掘工作面粉尘防治研究现状及方法进展[J].矿业安全与环保,2014,41(5):85-89.
[5] 王开松,李武.综采工作面的煤尘综合防治[J].煤炭科学技术,2005,33(1):48-50.
[6] 顾大钊.高产高效煤矿煤尘防治关键技术[J].矿业安全与环保,2010,37(6):34-37.
[7] 杨昆,吴东旭.矿井粉尘浓度在线监测技术[J].辽宁工程技术大学学报(自然科学版),2012,31(6):846-849.
[8] 魏爽.便携式激光测尘仪测控系统设计研究[D].长春:长春理工大学,2012.
[9] BROGGI A, CARAFFI C, FEDRIGA R I, et al. Obstacle detection with stereo vision for off-road vehicle navigation[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005.
[10] 孙军华,吴子彦,刘谦哲,等.大视场双目视觉传感器的现场标定[J].光学精密工程,2009,17(3):633-640.
[11] HAERING N, VENETIANER P L, LIPTON A. The evolution of video surveillance: an overview[J]. Machine Vision and Applications, 2008,19(5):279-290.
[12] 赵冠华,冯晓毅,王虎,等.结合对称差分法和背景减法的目标检测方法[J].计算机工程与应用,2010,46(3):145-147.
[13] GONZALEZ R C,WOODS R E. Digital image processing[M]. 2nd Edition. Upper Saddle River,USA:Prentice Hall, 2002:451-455.
[14] 张梁,徐锦法.基于双目视觉的无人飞行器目标跟踪与定位[J].计算机工程与应用,2014,50(24):27-31.
[15] 张广军.视觉测量[M].北京:科学出版社,2008.
Real-time dust monitoring for industrial site based on machine vision
XIE Pengcheng, CHEN Qingshan, LI Xiang
(School of Instrument Science and Opto Electronics Engineering, Beijing Information Science and Technology University, Beijing 100192, China)
Abstract:In view of problems of poor real-time performance and incomplete coverage of traditional dust monitoring methods, two kinds of design scheme of dust monitoring system based on machine vision were proposed, namely dust monitoring systems based on monocular vision and binocular vision. The dust monitoring system based on monocular vision uses frame difference method and corrosion expansion algorithm to realize rapid recognition of the dust target in the field of view. Based on monocular vision, the dust monitoring system based on binocular vision uses calibration target and three-dimensional space reconstruction to achieve dust positioning. The experimental results show that the dust monitoring system based on monocular vision can capture formation process of dust cluster, and the real-time processing rate is four frames per second; the dust monitoring system based on binocular vision can further measure the position information of dust clusters, and positioning error is less than 10%.
Key words:dust monitoring; machine vision; monocular vision; binocular vision; three-dimensional localization
文章编号:1671-251X(2017)03-0061-05
DOI:10.13272/j.issn.1671-251x.2017.03.014
收稿日期:2016-08-31;
修回日期:2017-01-20;责任编辑:胡娴。
基金项目:北京市自然科学基金项目(4154071);北京市组织部优秀人才项目(2014000020124G105)。
作者简介:谢鹏程(1990-),男,辽宁沈阳人,硕士研究生,主要研究方向为光电检测、模式识别,E-mail:xpc90823@163.com。
中图分类号:TD714.3
文献标志码:A
网络出版:时间:2017-02-28 17:04
网络出版地址:http://kns.cnki.net/kcms/detail/32.1627.TP.20170301.1515.014.html
谢鹏程,陈青山,李响.基于机器视觉的工矿现场粉尘实时监测[J].工矿自动化,2017,43(3):61-65.