0 引言
振动筛是一种广泛应用于煤炭、冶金、化工等行业的振动机械，可用于脱介、脱水、物料分级等作业，它的运行情况直接关系并影响工业原料的利用率和生产绩效[1]。对振动筛运行状态的检测是设备稳定高效运转的保证，目前，我国工矿企业对振动筛运行状态的检测以人工巡检和定期预防检修为主，检测强度大，速度慢，存在极高的安全隐患且不易察觉设备的细小故障，无法满足对振动筛的检测要求。近年来，基于电磁、振动、温度、力学、声波等多种信号处理技术的传感器检测方法被应用于振动筛运行状态的检测[2]，但受限于振动筛的机械结构，各种传感器只能针对振动筛的局部运行状态进行检测，如弹簧、横梁、筛体、筛网、激振器等，且工矿现场电磁干扰严重，传感器的测量精度和工作耐久性将受到严峻考验，无法保证检测方法的精度。应用低频涡流技术可以完成对振动筛大梁的检测，但该方法对仪器本身有较高要求，且缺乏对低频涡流频率特性的深入研究，难以针对不同检测环境的变化确定最适宜的检测频率[3]。应用能量算子可以有效提取振动筛的故障频率，以反映设备运行特征，但易受信号中背景噪声的影响，且通过大量模型分析和计算机仿真无法满足对振动筛运行状态分析的时效性要求[4]。
针对现有方法仅能对振动筛局部运行状态进行检测，且存在精度低、时效性差等问题，本文提出了一种基于双目视觉的振动筛运行状态在线检测方法。该方法不受振动筛设计结构和工作强度的影响，应用极线几何理论[5-6]恢复二维场景中检测目标的相对位姿和几何特性，对待测特征点的空间坐标进行定位。为精确捕捉高频振动筛各局部特征点的运动信息，在方法中改进了Harris角点检测算法[7-8]和Lucas-Kanade光流估计算法[9]，完成对特征点运动轨迹的追踪和辨识工作。借助Matlab神经网络工具箱，通过对大量数据的离线学习，建立基于BP神经网络[10]的振动筛运动轨迹分类器，完成对振动筛整体运行状态的检测。
1 检测方法原理
检测方法应用一种具有主动运行和定点观测功能的双目视觉检测装置完成对振动筛运动轨迹高速视频流的采集，并通过工业计算机完成对设备整体运行状态的算法分析。
双目视觉检测装置是由2台高速相机、补光源、控制器、中控旋转平台和行走底座构成的轨道式行走装置，硬件结构如图1所示。高速相机是双目视觉系统的核心，负责图像数据的采集。控制器和中控旋转平台设置于行走底座中，按照工矿现场的实际检测需要，可完成双目视觉检测装置的主动运行和定点观测功能，通过对振动筛各部位局部特征点的采集实现对整体运行状态的检测。
图1 双目视觉检测装置硬件结构
Fig.1 Hardware structure of binocular vision detection device
检测方法的精度依赖于双目相机本身的标定精度，设计中采用张正友标定法[11]来标定精度，以棋盘格标定板为平面靶标，在不考虑相机畸变参数的条件下，建立线性相机模型，通过提取不同位姿靶标图像的特征点，依据旋转矩阵正交性的约束条件，求取单应矩阵、相机内参数、外参数和深度系数，利用Levenberg-Marquardt算法[12]求解相机的非线性畸变参数，通过非线性畸变参数与线性参数的重复计算，提高相机的参数精度。运用极线几何原理和奇异值分解法求取基本矩阵，完成2个像平面间的坐标关联。通过Harris角点检测算法获取图像中的特征点，完成基于特征匹配算法[13-14]的立体匹配，实现对振动筛各局部特征点空间坐标的定位。检测过程中被测对象空间坐标P与像平面坐标P1,P2的关系如图2所示。
图2 检测过程中被测对象空间坐标与像平面坐标关系
Fig.2 Relation between spatial coordinates of measured object and image plane coordinates in detection process
2 检测方法实现
检测方法检测流程如图3所示。
图3 检测方法检测流程
Fig.3 Detection process of detection method
2.1 图像预处理
图像分析算法的有效性和检测方法的精度取决于被处理图像的质量。由于工矿现场的照明度低，采集的图像普遍存在细节无法辨识的现象[15]。为最大程度保留图像原始信息，减少运算量，提高图像的处理效率，对图像进行灰度化处理，通过直方图均衡化增强图像的对比度，应用高斯滤波器去除图像中的噪声。在图像增强过程中采用高提升滤波原理的拉普拉斯锐化算子(式(1))，在合理设定权重系数(本文中设定为2.5)后，将原图像与锐化后的图像进行复合，在增强边缘和细节的同时保留原图像中平滑区域的灰度信息。图像预处理效果如图4所示。图像预处理可有效提高图像的清晰度和对比度，突出主干区域的特征，得到更适合后续运动轨迹分析的图像数据，提高对振动筛特征点运动轨迹追踪的准确性。
(1)
式中：g(i,j)为锐化后的图像；f(i,j)为原图像；Sharpen(·)为锐化算子；A为权重系数，A越大,原图像所占比重越大，锐化效果越不明显。
(a) 原始图像
(b) 灰度化处理后的图像
(c) 直方图均衡化处理后的图像
(d) 高斯滤波处理后的图像
(e) 拉普拉斯锐化处理后的图像
图4 图像预处理效果
Fig.4 Result of image preprocessing
2.2 图像特征点提取
角点是图像中最直观的局部特征点，信息量丰富，稳定性好，对位置变化敏感，合理提取图像中的角点，可提高对振动筛运动轨迹追踪的准确性。作为主动视觉检测方法，为提高角点检测的精度，引入尺度空间理论改进Harris角点检测算法，如式(2)—式(5)所示，引入高斯核卷积函数建立多尺度空间，构造自相关矩阵，通过矩阵的2个特征值实现多尺度下图像特征点的提取。为保证角点的健壮性和提取的合理性，设定角点品质因数C(x,y)的阈值(本文中设定为0.01)，若C(x,y)大于阈值，则为角点邻域内最强特征点，角点检测结果如图5所示。
(2)
F(x,y,σ)=G(x,y,σ)I(x,y)
(3)
M(x,y,σ1,σD)=
(4)
C(x,y)=det(M)-k×trace(M(σ1,σD))2
(5)
式中：G(x,y,σ)为高斯核卷积函数；σ为尺度因子；F(x,y,σ)为多尺度空间图像；I(x,y)为原图像；M(x,y,σ1,σD)为自相关矩阵,σ1为尺度参数,σD为微分尺度参数。
图5 多尺度Harris角点检测结果
Fig.5 Result of multi-scale Harris corner detection
2.3 局部特征点的运动轨迹检测
选取振动筛的局部特征角点作为追踪目标，应用Lucas-Kanade(LK)光流估计算法完成特征点运动轨迹的追踪。由于振动筛特征点的振动速度过快，且相机捕捉的画面为大而不连贯的运动，违背了LK光流估计算法小而连贯的假设条件[16]，造成LK光流估计算法达不到预期跟踪效果。为此，本文采用LK光流估计算法与图像金字塔分层(图6)相结合的策略来检测局部特征点的运动轨迹。通过由粗至细的分层策略，缩小原始图像中对大位移量的特征跟踪，提高有效跟踪距离，使每层的光流增量足够小，将检测对象的大幅振动缩减为满足光流约束条件的小而连贯的运动，通过自上而下的迭代运算，从最高层开始计算光流，将得到的光流量作为下一层的起点，直至最底层，从而实现对振动筛特征点运动轨迹的追踪。金字塔LK光流估计算法检测结果如图7所示。
图6 图像金字塔分层
Fig.6 Layered image pyramid
2.4 稳健估计
在对振动筛特征点进行运动轨迹采样时，釆样轨迹中会含有干扰点，干扰点的存在将给轨迹追踪结果带来误差。研究使用RANSAC算法[17]去除直线运动方向上的干扰点，提高对运动轨迹追踪的精度。
图7 金字塔LK光流估计算法检测结果
Fig.7 Detection result of pyramid LK optical flow estimation algorithm
2.5 分类器设计
本文选用BP神经网络分类器完成对振动筛运行状态的识别与分类。分类器是振动筛运行模式识别的关键，建立并训练特征点运动轨迹与振动筛运行模式的映射模型，使其具有对大量图像数据正确分类的能力。首先构建BP神经网络结构，以特征点运动轨迹信息的检测数据作为网络输入，选取振动筛单个特征点在一个振动周期内的5个点的世界坐标Si(Xi,Yi,Zi)作为一组输入数据，运用PnP算法[18]和多项式拟合对振动筛运动轨迹进行拟合，将网络输入层节点定义为15，通过研究图像数据的处理方案，提高有用信息的提取效率，以改善分类器的精度；振动筛运行模式是待识别对象，作为网络输出，定义节点数为4：停止、正常、疑似故障、故障。由试凑法得，当隐含层节点数为10时，网络性能最好，网络结构如图8所示(W为权值，b为阈值)。然后对输入数据进行归一化处理，采用数据验证方式将输入数据的80%作为训练数据，10%作为测试数据，10%作为验证数据，以防止过拟合现象的发生。设定BP神经网络的隐含层传递函数为tansig，输出层的传递函数为purelin，网络训练函数为trainlm，选择均方误差函数mse作为性能函数。最后对大量历史数据进行离线网络训练，得到BP神经网络分类器模型，保存训练中性能最好的神经元模型，当输入新的特征点运动轨迹时直接调用模型并判断运行状态。网络性能曲线如图9所示。由图9分析可知，当网络训练到55次时，测试数据集的均方误差为最小值0.003 553 9，当训练次数为61次时停止训练，有效验证次数为6次。
图8 BP神经网络结构
Fig.8 Structure of BP neural network
图9 性能曲线
Fig.9 Verifying performance curves
3 试验分析
以某公司选煤装备产业制造基地的在调振动筛为测试对象，检验该方法对振动筛运行状态的检测精度是否达标。测试中振动筛振动频率为12 次/s，人为调整振动筛的运行状态，分别采集振动筛在停止、正常、疑似故障和故障4种运行状态下的特征点运动轨迹在1 min内的图像数据，并设定4种运动状态的优先级依次增加。在恒光照明条件下，应用多尺度Harris算法检测到的运动特征点具有较强的健壮性。统计每帧图像数据中局部特征点的总数，通过运动轨迹分类器对每个特征点在一个振动周期内的运行状态进行分类，计算各状态轨迹百分比，依据百分比下限值判据分析单周期振动筛运行状态，结果见表1。通过表1的判断标准对振动筛运行状态进行输出分析，振动筛在停止、正常、疑似故障和故障状态下检测的准确率分别为97.917%，90.667%，96.431%和93.181%。试验结果表明，在一个振动周期内，单个待测特征点可完成约10帧图像的采集，提高了轨迹拟合的时效性；通过图像分析方法，可有效追踪并识别每个周期内特征点的运动轨迹，具有极高的检测重复率；由评价标准准确率指标可知，该方法具有较高的准确性。
表1 振动筛运行状态分析结果
Table 1 Analysis results of running state of vibrating screen
4 结论
(1) 基于双目视觉的振动筛运行状态在线检测方法通过多尺度Harris角点检测、基于图像金字塔的Lucas-Kanade光流估计算法、BP神经网络分类器，并借助双目视觉检测装置的主动运行与定点观测功能，实现了对振动筛整体运行状态的在线检测，具有准确性高、抗干扰能力强、时效性好、重复率高等优点，可实时检测振动筛运动轨迹的细微变化并做出判断，对预估振动筛性能起到了关键作用。
(2) 该方法在特征点检测过程中，角点品质因数的阈值设定依赖人工经验，容易丢失关键的特征点信息，合理选择阈值是今后研究的方向。
参考文献(References)：
[1] LI Zhanfu,TONG Xin.A study of particles penetration in sieving process on a linear vibration screen[J].International Journal of Coal Science & Technology,2015,2(4):299-305.
[2] 晋亚松，郭德伟，张文斌．故障诊断技术在煤矿机械设备中的应用[J]．工矿自动化，2015，41(4):36-39．
JIN Yasong,GUO Dewei，ZHANG Wenbin.Application of fault diagnosis technologies in coal mine machinery[J].Industry and Mine Automation,2015,41(4):36-39．
[3] 付胜,许晓东,陈涛，等.基于低频涡流技术的振动筛梁裂纹检测方法[J].煤炭学报,2015,40(10):2490-2495.
FU Sheng,XU Xiaodong,CHEN Tao，et al.Detection method for the crack of shaker beam based on low-frequency eddy current[J].Journal of China Coal Society,2015,40(10):2490-2495.
[4] 徐元博,蔡宗琰.频率加权能量算子在振动筛故障诊断中的应用[J].煤炭学报,2017,42(9):2475-2482.
XU Yuanbo，CAI Zongyan.A frequency-weighted energy operator for bearing fault detection of vibrating screen [J].Journal of China Coal Society,2017,42(9):2475-2482.
[5] 马颂德,张正友.计算机视觉计算理论与算法基础[M].北京:科学出版社,1998.
[6] BURT P,JULESZ.A disparity gradient limit for binocular fusion[J].Science,1980,208(4)：615-617.
[7] HARRIS C,STEPHENS M.A combined corner and edge detector[C]//Proceedings of Fourth Alvey Vision Conference,1988:147-151.
[8] 陈白帆,蔡自兴.基于尺度空间理论的Harris角点检测[J].中南大学学报(自然科学版),2005,36(5)：37-40.
CHEN Baifan,CAI Zixing.Harris corner detection based on theory of scale space[J].Journal of Central South University(Science and Technology),2005,36(5):37-40.
[9] LUCAS B,KANADE T.An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 1981 DARPA Imaging Understanding Workshop,1981:121-130.
[10] 袁曾任.神经网络原理及其应用[M].北京:清华大学出版社,1999.
[11] ZHANG Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(11):1330-1334.
[12] UEDA K,YAMASITA N.On a global complexity bound of the levenberg-marquardt method[J].Journal of Optimization Theory & Applications,2010,147(3):443-453.
[13] TANG B,AIT-BOUDAOUD D,MATUSZEWSKI B J,et al.An efficient feature based matching algorithm for stereo images[C]//GMAI’06 Proceedings of the Conference on Geometric Modeling and Imaging:New Trends,Washington,DC,2006:195-202.
[14] SADEGHI H,MOALLEM P,MONADJEMI S A.Feature based dense stereo matching using dynamic programming and color[J].International Journal of Computational Intelligence,2007(3):179-186.
[15] 刘洁.基于光流法的运动目标检测和跟踪算法研究[D].徐州:中国矿业大学,2015:1-61.
[16] 肖军,朱世鹏,黄杭,等.基于光流法的运动目标检测与跟踪算法[J].东北大学学报(自然科学版),2016,37(6):770-774.
XIAO Jun,ZHU Shipeng,HUANG Hang,et al.Object detecting and tracking algorithm based on optical flow[J].Journal of Northeastern University(Natural Science),2016,37(6):770-774.
[17] FISCHLER M A,BOLLES R C.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):726-740.
[18] 徐德,谭民,李原.机器人视觉测量与控制[M].北京:国防工业出版社,2011.