带式输送机作为煤矿井下的重要运输设备,其稳定运行关系到煤矿安全生产。煤矿环境恶劣,带式输送机工作强度高,在运输过程中易发生胶带撕裂故障[1]。现有的胶带撕裂检测方法主要有接触式检测法和非接触式检测法[2-6]。其中非接触式检测法中的机器视觉技术因其较高的稳定性和准确性成为近年来的研究热点。王福斌等[4]提出了一种边缘扩展的胶带撕裂支持向量机检测方法,通过在边缘基础上增加权重的方法扩展胶带撕裂边缘,构建支持向量机模型,以裂纹图像的面积和长宽比作为输入特征向量,完成胶带撕裂检测。曹成等[5]提出了一种优化Canny边缘算子的纵向撕裂检测方法,通过KSW熵法(由Kapur、Sahoo和Wong等提出的最佳熵阈值确定法)和蚁群算法相结合选取最优阈值,将此最佳阈值运用于Canny算子,提高边缘检测算法的准确性。牛犇等[6]提出了一种基于LabVIEW和CCD(Charge-coupled Device,电荷耦合元件)相机的纵向撕裂检测系统,通过高斯滤波、边缘检测和卷积运算等算法提取胶带撕裂区域特征,再对撕裂区域特征进行阈值分析,判断胶带是否发生撕裂缺陷。上述机器视觉检测方法处理背景纹理复杂的图像时易将撕裂痕迹相对背景纹理不明显的缺陷区域误判为无缺陷。
针对上述问题,本文提出一种基于二维Gabor滤波器的胶带撕裂检测方法,以Gabor滤波为基础提出一种新的优化选择方法,辅以改进的Sobel算子提取和增强撕裂区域轮廓特征,采用自适应阈值和形态学技术2种方法完成最终检测。该方法可抑制背景纹理特征,最大程度地保留所有撕裂痕迹,检测效果良好,不易出现漏检。
基于二维Gabor滤波器的胶带撕裂检测方法流程如图1所示。
(1) 图像处理。通过二维Gabor滤波对标准图像和待检测图像进行滤波处理,分别得到标准图像和待检测图像滤波处理图。
(2) 最优滤波通道选取。计算标准图像与待检测图像在同一通道下滤波处理图的变异系数之差,最大差值对应的通道为最优滤波通道。
图1 基于二维Gabor滤波器的胶带撕裂检测方法流程
Fig.1 Two-dimensional Gabor filter-based belt
tear detection method flow chart
(3) 特征提取与增强。首先,利用Sobel算子分别提取水平和垂直方向的撕裂区域纹理特征,并得到2个方向的梯度图;其次,对所得梯度图进行自乘归一化操作,增强纹理信息;最后,以图像标准差占比为参数,采用像素加权平均法融合2幅图像。
(4) 图像检测。将得到的融合图像通过自适应阈值二值化的方法进行阈值分割,并利用形态学技术对待检测图像进行撕裂检测。
在检测胶带图像是否存在撕裂缺陷时,复杂的背景纹理会降低检测结果的准确性,为解决这一问题,需弱化背景纹理特征,增强撕裂区域纹理特征。
Gabor函数[7-11]由平移窗函数与高斯核函数卷积构成,具有良好的空间局部性和方向选择性,在检测过程中能够捕捉对应于空间和频率的局部结构信息,实现局部区域的特征增强。二维Gabor滤波函数g(x,y)的表达式为
(1)
式中:x和y为像素位置的坐标;σx、σy分别为高斯函数在x轴和y轴上的伸缩系数;W为函数的调制频率。
二维Gabor滤波函数经过适当的尺度膨胀和方向旋转可得到一组自相似Gabor小波函数hpq(x,y)。
(2)
x′=xcos θq+ysin θq
(3)
y′=-xsin θq+ycos θq
(4)
式中:p、q分别为尺度膨胀系数和方向旋转次数,p=1,2,…,S,S为最大尺寸数,q=1,2,…,L,L为方向旋转的总次数;g(x′,y′)为以g(x,y)为母函数,经过尺度膨胀和方向旋转所得的函数,x′和y′为旋转后的坐标;θq为滤波器的方向角度,
设输入的第k幅待检测图像为Ik(x,y),经过Gabor滤波器输出图像为Ipq(x,y),则
Ipq(x,y)={[hpq(x,y)e*Ik(x,y)]2+
(5)
式中:hpq(x,y)e、hpq(x,y)o分别为Gabor滤波函数的实部与虚部;*表示二维卷积运算。
Gabor优化选择方法[11]通过图像标准差、方差、均值等图像基本参数信息建立代价函数,计算各滤波通道下的代价函数值,选取最大代价函数值对应的通道为最优滤波通道,对最优滤波通道下的滤波图进行阈值分割处理,最终得到检测结果图,此方法对图像缺陷检测效果良好。
通过Gabor优化选择方法,以变异系数[12]为基础构建新的代价函数,选取最优滤波通道。
取待检测图像与标准图像滤波后所得图像的变异系数作差运算,差值即为代价函数,此值反映了待检测图像相对于标准图像像素的离散程度。差值越大,则偏差程度越大,撕裂区域纹理与背景纹理对比度越大,撕裂特征越明显。
(6)
(7)
J(i)=cd(i)-cs(i)
(8)
式中: cd(i)、cs(i)分别为第i个滤波通道的待检测图像和标准图像变异系数;i为滤波通道,i=1,2,…,SL;δd(i)、δs(i)分别为第i个滤波通道的待检测图像和标准图像像素标准差;μd(i)、μs(i)分别为第i个滤波通道的待检测图像和标准图像像素均值;J(i)为第i个通道的代价函数。
选取代价函数最大值Jbest对应的滤波通道为最优滤波通道。
(9)
最优滤波通道下的滤波图即为最优滤波通道图,此图有效保留了撕裂区域边缘的纹理特征,在一定程度上降低了局部噪声的干扰。
为减小背景纹理对检测结果的干扰,提高检测结果的准确性,通过改进Sobel边缘检测算法提取并增强撕裂区域纹理特征。
(1) 利用Sobel算子[13]在水平和垂直2个方向进行卷积运算,得到水平和垂直2幅梯度图。
(2) 对2幅梯度图进行自乘归一化处理,在增强图像对比度的同时,减小光线不均造成的干扰。
(3) 以标准差为基础,对处理后的图像进行融合。
(10)
f(x,y)=αfx(x,y)+(1-α)fy(x,y)
(11)
式中:α为融合系数;ax、ay分别为水平和垂直方向梯度图经自乘归一化处理所得图像的标准差;f(x,y)为融合图像;fx(x,y)、fy(x,y)分别为水平和垂直方向梯度图经自乘归一化处理所得图像。
首先采用自适应阈值二值化法将图像分为多个区域,计算各区域均值,减去常数,得到阈值;再对各区域进行二值化,得到分割图像;最后利用形态学技术[14]强化撕裂处的轮廓特征,完成最终检测。通过上述方法实现撕裂区域分割,能保证撕裂区域轮廓信息被较好地保留下来。
在Windows 10环境下,通过Python 3.7.3软件编写算法程序实现胶带撕裂检测。采集240张胶带受损情况不同的图像,像素大小均为256×256,缺陷图像和标准图像各120张,横向撕裂、纵向撕裂以及这2类缺陷任意组合的混合撕裂缺陷图各40张。
建立2个文件夹,分别存放标准图像、对应的缺陷图像,同时读取2个文件夹中的图像,选用4×4多通道二维Gabor滤波器对标准图像和缺陷图像进行处理,得到多幅Gabor滤波处理图,用新代价函数选取最优滤波通道图,利用改进的Sobel边缘检测算法对所得图像进行特征提取,最后通过自适应阈值二值化法和形态学技术完成检测。结果如图2所示。
由图2(a)和图2(b)可知,当采集到的图像背景中存在摩擦痕迹时,新代价函数在强化撕裂区域局部纹理特征的同时,弱化了背景纹理特征;由图2(c)可知,改进的Sobel边缘检测算法对提取的撕裂区域纹理特征起到很好的增强效果,同时,进一步弱化了背景纹理特征;由图2(d)可知,本文所用分割方法能有效分割出撕裂区域,并较好地保留撕裂区域轮廓信息,对胶带撕裂缺陷具有较好的检测效果。
图2 检测结果
Fig.2 Detection results
采用Gabor优化选择方法、基于Sobel算子的纵向撕裂检测方法[15]和改进后的Gabor优化选择方法对不同缺陷的胶带样本进行检测,通过检测结果(图3—图5)、正确检测率、整体检测率和漏检率(表1)反映算法的检测能力。
(a) 横裂和纵裂胶带图像(b) Gabor优化选择方法(c) 基于Sobel算子的纵向撕裂检测方法(d) 改进后的Gabor优化选择方法
图3 横裂和纵裂缺陷检测结果
Fig.3 Detection results of transverse crack and
longitudinal crack defect
(a) 大面积胶带撕裂图像(b) Gabor优化选择方法(c) 基于Sobel算子的纵向撕裂检测方法(d) 改进后的Gabor优化选择方法
图4 大面积撕裂缺陷检测结果
Fig.4 Detection results of large-area tear defect
(a) 横裂胶带图像(b) Gabor优化选择方法(c) 基于Sobel算子的纵向撕裂检测方法(d) 改进后的Gabor优化选择方法
图5 横裂缺陷检测结果
Fig.5 Detection results of transverse crack defect
图3(a)中背景复杂,一些撕裂痕迹并不明显,难以捕捉,3种方法中,Gabor优化选择方法和改进后的Gabor优化选择方法都能分割出所有裂痕,但Gabor优化选择方法的检测结果中含有大量噪点,导致撕裂痕迹不明显,不利于识别;图4(a)中的撕裂缺陷对比背景痕迹明显,3种方法都能分割出撕裂缺陷,但改进后的Gabor优化选择方法相比Gabor优化选择方法,检测结果中不含噪点,效果更好,相比基于Sobel算子的纵向撕裂检测方法,缺陷区域轮廓信息保留得更为完整;图5(a)中背景纹理信息复杂,摩擦痕迹明显,导致一些撕裂痕迹难以识别,3种方法中只有改进后的Gabor优化选择方法能检测出所有撕裂缺陷,并且检测结果清晰,撕裂区域轮廓被较好地保留下来。
表1 撕裂检测结果统计
Table 1 Statistics of tear detection results %
撕裂检测方法正确检测率漏检率整体检测率改进后的Gabor优化选择方法93794.5Gabor优化选择方法891388.7基于Sobel算子的纵向撕裂检测方法861590.2
由表1可知,改进后的Gabor优化选择方法整体检测率达到94.5%,且漏检率明显降低。综上所述,改进后的Gabor优化选择方法对背景复杂、裂痕相对不明显的撕裂缺陷有良好的检测效果。
对胶带图像进行Gabor变换,得到多幅Gabor滤波处理图,用一种新的代价函数选取最优滤波通道图,并用改进的Sobel边缘检测算法提取和增强撕裂区域纹理信息,最后通过自适应阈值二值化法和形态学技术完成胶带撕裂检测。实验结果表明,改进后的Gabor优化选择方法比原Gabor优化选择方法和基于Sobel算子的纵向撕裂检测方法漏检率更低,可以检测出背景纹理复杂的胶带缺陷图像中的所有缺陷,并且检测结果清晰,检测率更高。
[1] 郭鑫,周建,左英杰.带式输送机输送带撕裂力检测检验方法研究[J].煤矿机械,2019,40(3):43-44.
GUO Xin,ZHOU Jian,ZUO Yingjie.Research on testing method of tearing force of belt conveyor [J].Coal Mine Machinery,2019,40(3):43-44.
[2] 徐善永,黄友锐,冯涛,等.基于SMO算法的皮带撕裂红外图像检测方法[J].现代电子技术,2020,43(11):37-40.
XU Shanyong,HUANG Yourui,FENG Tao,et al.SMO algorithm based infrared image detection method for belt tearing[J].Modern Electronic Technique,2020,43(11):37-40 .
[3] 吕建军.输煤皮带机皮带撕裂检测装置的设计研究[J].机械管理开发,2018,33(2):26-27.
LYU Jianjun.Design and research of belt tear detection device for coal conveyor[J]. Mechanical Management and Development,2018,33(2):26-27.
[4] 王福斌,孙海洋,PAUL TU.边缘扩展的皮带撕裂支持向量机视觉检测[J].中国机械工程,2019,30(4):455-460.
WANG Fubin,SUN Haiyang,PAUL TU.Visual inspection for extended edge belt tearing based on SVM[J].China Mechanical Engineering,2019,30(4):455-460.
[5] 曹成,金林,赵娜娜.矿用带式输送机纵向撕裂检测方法研究[J].煤炭工程,2010,42(2):85-86.
CAO Cheng,JIN Lin,ZHAO Nana.Research on detection of longitudinal tear on mine conveyor belt[J].Coal Engineering,2010,42(2):85-86.
[6] 牛犇,乔铁柱,唐艳同.基于LabVIEW和CCD相机的输送带纵向撕裂检测系统设计[J].煤矿机械,2013,34(2):148-150.
NIU Ben,QIAO Tiezhu,TANG Yantong.Detection system design for longitudinal tear of conveyor belt based on LabVIEW and CCD camera[J].Coal Mine Machinery,2013,34(2):148-150.
[7] 曹玉超.基于Gabor域时空泛化建模的矿井水灾感知方法[J].工矿自动化,2020,46(10):76-79.
CAO Yuchao.Mine flood perception method based on spatiotemporal generalization modeling in Gabor domain[J].Industry and Mine Automation,2020,46(10):76-79.
[8] 薛婷婷,刘秀平,张凯兵,等.基于学习的Gabor滤波器多样式布匹瑕疵检测[J].西安工程大学学报,2017,31(6):775-780.
XUE Tingting,LIU Xiuping,ZHANG Kaibing,et al.Learning-based Gabor filter in multi-style fabric defect detection[J].Journal of Xi'an Polytechnic University,2017,31(6):775-780.
[9] 赵宏威,王亦红.基于改进Gabor优化选择的布匹瑕疵检测方法[J].计算机工程与应用,2019,55(24):202-207.
ZHAO Hongwei,WANG Yihong.Fabric defect detection method based on improved optimal Gabor filter [J].Computer Engineering and Applications,2019,55(24):202-207.
[10] JING J,YANG P,LI P,et al.Supervised defect detection on textile fabrics via optimal Gabor filter[J].Journal of Industrial Textiles,2014,44(1):40-57.
[11] KUMAR A,PANG G K H.Defect detection in textured materials using Gabor filters[J].IEEE Transactions on Industry Applications,2002,38(3):425-440.
[12] 李澄非,田果,董超俊,等.基于变异系数法的工业产品表面缺陷快速检测应用研究[J].化工学报,2018,69(3):1238-1243.
LI Chengfei,TIAN Guo,DONG Chaojun,et al.Application of variation coefficient to fast detection on surface defects of industrial products[J].CIESC Journal,2018,69(3):1238-1243.
[13] 王猛,李玉良,王庆飞.图像处理在矿井瓦斯监控中的应用研究[J].工矿自动化,2011,37(7):61-64.
WANG Meng,LI Yuliang,WANG Qingfei.Application research of image processing in gas monitoring of coal mine [J].Industry and Mine Automation,2011,37(7):61-64.
[14] NGAN H Y T,PANG G K H,YUNG N H C.Automated fabric defect detection—a review[J].Image and Vision Computing,2011,29(7):442-458.
[15] 张晞,刘鸿鹏,叶涛.带式输送机纵向撕裂数字图像检测系统设计研究[J].煤炭工程,2011,43(10):16-18.
ZHANG Xi,LIU Hongpeng,YE Tao.Design study on digital image detection system of longitudinal tearing for belt conveyor [J].Coal Engineering,2011,43(10):16-18.
LIU Xiaoyang,LIU Jing,ZHANG Xiangyang,et al.Two-dimensional Gabor filter-based belt tear detection[J].Industry and Mine Automation,2021,47(4):103-107.