0.   引言

带式输送机是一种现代化生产中的连续运输设备^[1-2]，具有运量大、运距远、运费低、效率高、运行平稳、装卸方便、适合散料运输等优点，已广泛应用于煤炭、矿山、港口、电力、冶金、化工等领域^[3-4]。

带式输送机主要由托辊、输送带、滚筒、传动装置等构成。托辊是承载输送带和物料的关键部件，在使用过程中，由于多种原因，会发生轴承辊轴、密封件损坏和筒体磨损等故障，引起托辊卡转，增加托辊与输送带间摩擦力，加大能耗，引发输送带跑偏、托辊和输送带温度升高，造成输送带断带、纵向撕裂、火灾等安全事故^[5]。为了保证带式输送机安全可靠运行，需要对托辊故障进行检测^[6-7]。由于托辊数量大且分散，工作环境恶劣，检测条件苛刻，所以其故障在线检测难度大。

传统的托辊故障检测方法主要有人工检测法、声音信号检测法、振动信号检测法等。人工检测法劳动强度大，易受检测人员主观因素影响，准确性差；因现场工作环境恶劣，声音信号检测法采集的信号噪声大，导致检测结果准确性差；振动信号检测法需接触式传感器，在恶劣的环境中不易进行数据采集，且采集的信号可靠性差、振动传感器易损坏^[8-10]。

基于巡检机器人及红外图像检测可实现非接触式的数据采集，受周围环境影响小，检测准确率较高。朱振^[11]采用输送带巡检机器人代替人工检测，使用ANSYS仿真托辊与输送带摩擦生热产生的温度场，分析托辊故障时其红外图像的特点，进而实现故障检测。苏耀瑞^[12]采用智能巡检机器人搭载拾音器，通过自动化巡检的方式采集信号，对声音信号进行去噪、特征参数提取和分类器构建等处理，实现托辊故障信号识别，然后根据信号的RFID标签追溯到故障托辊位置。马宏伟等^[13]提出一种基于连通分量的带式输送机托辊红外图像自动分割和定位算法，采用红外热像仪进行数据采集，通过垂直水平投影、Canny边缘检测、连通分量提取托辊闭合轮廓等图像处理算法，实现托辊图像自动分割与定位。金学智^[14]提出采用智能巡检机器人和红外热像仪进行托辊故障巡检，完成故障判定，并生成故障预警报告。P. Dabek等^[15]提出基于UGV机器人技术，对带式输送机过热托辊进行自动检测，通过对RGB图像进行预处理，将预处理后的图像与红外图像融合得到过热点，实现托辊故障检测。但目前带式输送机巡检机器人搭载红外采集设备移动受限，存在不能实时进行数据采集、数据处理并上传至监控终端，无法完成远程故障检测，续航能力不足等问题。

针对目前带式输送机托辊故障检测存在可靠性和准确性不高等问题，提出一种基于热红外图像的带式输送机托辊故障检测方法，利用带式输送机巡检机器人搭载托辊故障检测器及红外热像仪进行数据采集，红外热像仪将采集的托辊热红外图像序列与温度数据传输给托辊故障检测器，利用托辊故障检测算法实现故障检测，将检测结果通过无线传输模块发送至上位机，实现带式输送机托辊运行状态的远程实时监测与报警。

1.   带式输送机托辊故障检测系统

基于热红外图像的带式输送机托辊故障检测系统主要由带式输送机巡检机器人（搭载红外热像仪、托辊故障检测器、报警器等）、上位机组成，如图1所示。该系统采用艾睿T3S红外热像仪进行托辊热红外图像与温度数据采集。采集数据传输给托辊故障检测器进行数据处理与故障判定，通过内置的WH−L101无线传输模块将检测结果传输给上位机进行显示。若检测到托辊发生故障，启动托辊故障检测器与上位机报警器，实现双报警。

图  1  基于热红外图像带式输送机托辊故障检测系统

Figure  1.  Fault detection system of belt conveyor roller based on thermal infrared image

下载: 全尺寸图片 幻灯片

2.   带式输送机托辊故障检测算法

托辊故障检测算法部署在托辊故障检测器的Cortex−A57处理器中。利用YOLOv5s 目标检测算法提取托辊热红外图像的感兴趣区域（Region of Interest，ROI），采用维纳滤波和自适应中值滤波算法对ROI图像进行滤波，利用自适应直方图均衡化和图像锐化算法对滤波后的图像进行增强，采用基于形态学的Otsu图像分割算法对增强后的图像进行分割，得到待检测的托辊图像，利用Harris角点检测算法提取托辊图像特征，获得托辊位置信息并提取相应的温度信息。采用基于相对温差法的托辊故障检测算法判定托辊故障，当温度超过初始阈值时，算法进一步判断相对温差所在阈值范围，确定故障类型，并输出检测结果，否则直接输出无故障检测结果。托辊故障检测算法流程如图2所示。

图  2  托辊故障检测算法流程

Figure  2.  Process of the roller fault detection algorithm

下载: 全尺寸图片 幻灯片

2.1   托辊ROI提取

带式输送机巡检机器人沿预设好的轨道移动并进行数据采集，采集到的部分热红外图像没有目标托辊或存在其他物体，影响后续数据处理工作，因此采用YOLOv5s算法^[16]对目标进行识别并进行ROI提取。

实验过程中，首先对托辊热红外图像进行标注，完成数据集制作，然后在训练好的YOLOv5s网络模型中进行预测，最后准确框选出ROI部分并进行截取，如图3所示。

图  3  YOLOv5s网络模型处理结果

Figure  3.  YOLOv5s network model processing results

下载: 全尺寸图片 幻灯片

2.2   ROI图像预处理

采用维纳滤波对热红外图像运动模糊和高斯白噪声进行滤波处理，采用自适应中值滤波对热红外图像中的椒盐噪声进行抑制，并采用自适应直方图均衡化和图像锐化算法对图像进行增强。

维纳滤波通常用于提取被噪声污染的有用信号，以最小均方误差准则进行滤波，以图像和噪声各自的相关矩阵为最优准则，根据图像的局部方差调整滤波输出，局部方差越大，滤波的平滑作用越强^[17-18]，结果如图4所示。

图  4  维纳滤波结果

Figure  4.  Wiener filter results

下载: 全尺寸图片 幻灯片

中值滤波通过比较一定领域内像素值的大小，取其中值作为这个领域的中心像素值。根据预设好的条件，选用自适应中值滤波器动态改变窗口尺寸，不仅可滤除椒盐噪声，还可平滑其他非脉冲噪声，降低噪声对图像的影响并保护图像细节^[19-20]，处理后的结果如图5所示。

采用自适应直方图均衡化和Roberts图像锐化算法对托辊热红外图像进行处理，增强目标托辊区域与背景区域之间的不相关性，改善图像的局部对比度及获得更多的图像细节^[21]，处理结果如图6所示。

图  5  自适应中值滤波结果

Figure  5.  Adaptive median filtering results

下载: 全尺寸图片 幻灯片

图  6  图像增强结果

Figure  6.  Image enhancement results

下载: 全尺寸图片 幻灯片

2.3   托辊图像分割

带式输送机安装环境复杂，采集的托辊热红外图像包含支架、传感器等物体。采用基于形态学的Otsu图像分割算法对图像进行分割。Otsu图像分割算法是一种确定图像二值化分割阈值的算法，通过选择最佳阈值将图像分为背景区域及目标区域。最佳阈值由背景区域与目标区域间的类间方差确定。背景区域和目标区域间的类间方差越大，说明背景区域和目标区域间差别越大^[22]， 区域之间的相关性越小，分割效果就越好。区域间类间方差最大时的阈值即为最佳阈值。

假设灰度图像有$ M $个像素点，灰度等级总数为$ L $，图像的灰度等级为$ \left[0 ,L-1\right] $，灰度等级i对应的像素个数为$ {m}_{i} $。

灰度等级$ i $的像素点出现的概率$ {P}_{i} $满足：

将图像分为目标区域$ {S}_{ 0} $和背景区域$ {S}_{ 1} $，$ {S}_{ 0} $和$ {S}_{ 1} $的灰度等级为$ \left[0,\theta -1\right] $和$ \left[\theta ,L-1\right] $，其中$ \theta $为设定的阈值，分割后图像的各个点的像素值为$ F(x,y) $，$(x,y) $为像素点坐标，则

$ {S}_{ 0} $与$ {S}_{ 1} $出现的概率为$ {P}_{{S}_{ 0}} $和$ {P}_{{S}_{ 1}} $，对应的灰度等级均值为$ {\mu }_{0} $和$ {\mu }_{1} $。

$ {S}_{ 0} $和$ {S}_{ 1} $方差分别为

则目标区域和背景区域的类间方差为

$ {\sigma }_{ \theta }^{2} $ 表示构成图像的2部分之间像素差别的大小及分离效果的好坏。当$ {\sigma }_{ \theta }^{2} $ 取最大值时，对应的阈值为图像分割的最佳阈值${\theta '} $。

确定图像分割的最佳阈值$ \theta '$后，采用基于形态学的Otsu算法对图像进行分割处理，可准确地分割出输送带与托辊的形状。其中开运算处理可达到去除毛刺和增加图像边缘平滑度的效果，闭运算可通过填充图像的凹角对图像进行滤波，来弥合小断点及填充物体内细小空洞、连接邻近物体，使分割效果更好，结果如图7所示。

图  7  基于形态学的Otsu图像分割算法处理结果

Figure  7.  Image processing results by morphology-based Otsu image segmentation algorithm

下载: 全尺寸图片 幻灯片

2.4   托辊特征提取

Harris角点检测算法是使用一个固定窗口在图像上进行任意方向上的移动，判断移动后各方向上灰度值的变化情况，若发生较大变化则判定为窗口区域所在的位置就是角点所在的位置。

Harris角点检测算法采用泰勒级数展开的思想获取窗口移动后任意方向上的像素值变化，以像素点为中心，窗口对应的像素点位置为$ \left(x,\;y\right) $，窗口在$ x,\;y $方向上的移动量分别为$ u,\;v $。移动前与移动后对应的窗口中的像素点灰度变化可用自相关函数描述。

式中：$ w\left(x,\;y\right) $为窗口函数；$ I\left(x+u,\;y+v\right) $为移动后图像像素灰度值；$ I\left(x,\;y\right) $为移动前图像像素灰度值。

$ I\left(x+u,\;y+v\right) $经过泰勒级数展开并简化得

式中：${\dot I}_{x} $，${\dot I}_{y} $分别为在水平方向和垂直方向对图像像素灰度值求导；$ O\left({u}^{2},{v}^{2}\right) $为余项。

由于是局部微小的移动量，则可忽略上式中的余项，得

式中$ {\boldsymbol{H}} $为梯度的协方差矩阵，由图像的导数求得。

通过角点响应函数计算每个角点的响应值$ R $^[23]，$ R $只与$ {\boldsymbol{H}} $的特征值$ {\lambda }_{1} $和$ {\lambda }_{2} $有关。根据$ R $判断像素是否为角点，设角点阈值为$ N $，若某点的响应值$ R > N $，则该点为角点，若$ R < N， $则该点为图像的边缘，即为非角点。

式中：$ \mathrm{det}\left({\boldsymbol{H}}\right) $为 $ {\boldsymbol{H}} $的行列式；k为经验常数；trace为$ {\boldsymbol{H}} $的迹。

比较得到$ R $的最大值$ {R}_{\max } $，将0.01$ {R}_{\max } $作为设定的阈值$ N $，人为设置经验常数$ k=0.04～0.06 $。根据Harris角点检测算法对分割后的图像进行特征提取并得到托辊位置信息，如图8所示。可看出，将特征提取后的图像分为输送带与托辊接触面区域和轴承区域，并用绿色框标出，设为Tangent Area（简称TA）及Bearing Area（简称BA）。

图  8  基于Harris角点检测算法的特征提取结果

Figure  8.  Feature extraction results by Harris corner point detection algorithm

下载: 全尺寸图片 幻灯片

2.5   基于相对温差法的托辊故障检测

进行热红外图像和温度数据采集时，故障状态下采集的温度会随着故障部位温度升高而升高。为了避免环境温度对实验数据和故障判定的影响，本文选用相对温差法作为故障判定方法。

相对温差法需要求得发生故障时及无故障时关键区域的温升，即关键区域温度与环境温度的差值。相对温差为

式中：$ {\tau }_{1} $为发生故障时关键区域的温升；$ {\tau }_{2} $为无故障状态下关键区域的温升。

根据实验数据求得无故障状态时的TA和BA区域的温升最大值，将温升最大值分别设为TA、BA区域检测的初始阈值，用$ {t}_{0} $（TA）和$ {t}_{0} $（BA）表示，用于初步判断托辊运行时是否存在故障。当图像或视频提取TA及BA区域的温升均未超过$ {t}_{0} $（TA）和$ {t}_{0} $（BA）时，则判定为无故障，若温升超过任意初始阈值，则进行下一步的故障判定。

根据式（17）计算轴承锈蚀（B1）、托辊卡转（C1）和筒体磨穿（D1）故障下的相对温差，分别设阈值为$ {t}_{{\rm{B}}1}，{t}_{{\rm{C}}1} $，$ {t}_{{\rm{D}}1} $。当关键区域的相对温差超过$ {t}_{{\rm{B}}1} $且小于$ {t}_{{\rm{C}}1} $时，则托辊设备属于B1故障；当关键区域的相对温差超过$ {t}_{{\rm{C}}1} $但未超过$ {t}_{{\rm{D}}1} $时，则托辊设备属于C1故障；当关键区域的相对温差超过$ {t}_{{\rm{D}}1} $时，则为D1故障。最终输出故障类型。

3.   托辊故障检测器设计

采用Jetson Nano嵌入式开发板设计托辊故障检测器的硬件，其主要由主处理器电路、USB接口电路1和2、WH−L101无线传输模块、串口接口电路、GPIO接口电路、HDMI接口电路、显示器、键盘、鼠标等组成，如图9所示。选用Jetson Nano嵌入式开发板为托辊故障检测器的主处理器，其包含GPU和CPU，具有操作简单、功耗较低、尺寸小巧等优点，包含1块128核Maxwell架构的GPU，搭载四核Cortex−A57处理器及4 GiB内存，用于托辊热红外图像及温度数据处理、托辊故障判定等。USB接口电路1连接键盘鼠标，USB接口电路2连接红外热像仪，用于托辊热红外图像和温度数据采集；WH−L101无线传输模块使用串口进行数据的收发，可满足于上位机一对一或一对多的通信，实现多台上位机远程监测托辊运行情况，达到实时监控的检测要求；串口接口电路连接WH−L101无线传输模块；GPIO接口电路连接报警器，故障时启动报警器报警^[24]； HDMI接口电路连接显示器，用于故障显示。

图  9  带式输送机托辊故障检测器硬件组成

Figure  9.  Hardware composition of fault detector for belt conveyor roller

下载: 全尺寸图片 幻灯片

托辊故障检测器软件流程如图10所示。设置红外热像仪的技术参数，如焦距、测温范围、色板选择等，确保拍摄的托辊热红外图像满足质量要求。对于采集的热红外数据，利用部署在Jetson Nano上的托辊故障检测算法判断是否发生故障，并判定为何种故障，同时启动报警器进行报警。最终将结果显示在上位机软件。

图  10  托辊故障检测器软件流程

Figure  10.  Flow of idler fault detector software

下载: 全尺寸图片 幻灯片

4.   实验与结果分析

4.1   实验平台搭建

为了验证基于热红外图像的带式输送机托辊故障检测方法的准确性和可靠性，搭建了带式输送机托辊故障检测实验平台，如图11所示。

4.2   YOLOv5s目标检测算法结果分析

选用YOLOv5s目标检测算法提取热红外图像的ROI，制作数据集并训练网络，对训练好的网络进行测试。网络训练和测试平台配置见表1。

图  11  带式输送机托辊故障检测实验平台

Figure  11.  Experimental platform for belt conveyor idler fault detection

下载: 全尺寸图片 幻灯片

表  1  网络训练和测试平台配置

Table  1.  Network training and test platform configuration

设备	参数
CPU	Intel（R） Xeon（R） CPU E5−2678
GPU	Nvidia Geforce GTX1080Ti
内存	64 GiB DDR4
操作系统	64位Ubuntu 18.04LTS
深度学习框架	Pytorch

下载: 导出CSV 

| 显示表格

在实验室环境下，带式输送机巡检机器人搭载红外热像仪沿固定轨迹移动，对2个带式输送机进行视频拍摄。分别对A0（无故障）、B1、C1、D1 4种状态的视频数据进行取帧处理，获得1 032张图像，经过扩增获得8 256张图像，按照7∶3的比例随机划分训练集（5 780张）和测试集（2 476张）。训练迭代次数为100，使用自制数据集在训练好的YOLOv5s模型中进行测试，结果如图12所示，得到平均准确率为99.12%。

图  12  YOLOv5s目标检测结果

Figure  12.  YOLOv5s target detection results

下载: 全尺寸图片 幻灯片

4.3   温度特性实验结果分析

结合带式输送机工程设计规范和实验需求，通过对正常托辊进行盐水浸泡和一定程度的损坏，得到B1、C1、D1 3种托辊故障^[25]，如图13所示。

图  13  托辊故障

Figure  13.  The roller fault

下载: 全尺寸图片 幻灯片

实验环境的恒定温度为15.6 ℃，在同一带式输送机的托辊组上，采用红外热像仪分别采集A0、B1、C1、D1 4种状态下托辊热红外图像及温度数据。每隔5 min进行一次数据保存，进行25次采集，共得到100个样本。将采集图像经过ROI提取、图像处理、托辊分割和特征提取后，得到特征点所在区域的位置信息，根据TA区域和BA区域的位置信息对相应位置的温度数据进行提取。

对温度数据进行处理，求得100个样本中TA区域和BA区域的最大温度及平均温度，将TA区域的最大温度作为输送带与托辊接触面温度（简称TTA），BA区域的平均温度作为轴承温度（简称TBA）。4种状态下TA区域及BA区域的温度曲线如图14所示。可看出在TA区域前10 min内TTA迅速升高，在100 min进行第25次采样时趋于稳态，C1和D1的稳态温度分别为31 ℃和53 ℃，明显区别于B1，这说明对于C1或D1故障，TTA是有效的判别指标，且C1、D1达到稳态时的温度越高，卡转越严重。在BA区域前10 min内TBA迅速升高，B1的TBA有明显升高，且达到稳态时的温度为27 ℃，与A0状态下的温度形成鲜明对比， C1和D1状态下的温度变化不明显。在50 min后，B1的TBA逐渐下降，说明当出现BA时，润滑良好的轴承有自我修复的功能，且TBA是B1有效的判别指标。

图  14  4种状态下TA区域最大温度及BA区域平均温度

Figure  14.  The maximum temperature in TA region and average temperature in BA region under 4 states

下载: 全尺寸图片 幻灯片

4.4   托辊故障检测结果分析

对关键区域特征点的温度进行提取与处理，计算相对温差，得到托辊故障判定标准，见表2。当TTA≤2.84 ℃且TBA≤2.34 ℃时，判定为无故障。

表  2  托辊故障判定标准

Table  2.  Roller fault judgment criteria

指标	轴承锈蚀故障（B1）	托辊卡转故障（C1）	筒体磨穿故障（D1）
相对温差/%	76.7≤$ \alpha $<82.2	82.2≤$ \alpha $<92.3	$ \alpha $≥92.3

下载: 导出CSV 

| 显示表格

分别拍摄实验平台中托辊1和托辊2 在A0、B1、C1、D1 4种状态下的托辊红外视频，分别对托辊红外视频进行取帧得到托辊热红外图像序列，并从2个实验托辊的热红外图像中各抽取100张图像序列，将200张测试图像输入托辊故障检测器中，利用托辊故障检测算法分别对4种状态的图像序列进行处理，结果见表3。

表  3  托辊故障检测正确数量

Table  3.  Correct number of roller fault detection 张

托辊	A0	B1	C1	D1
托辊1	99	96	98	98
托辊2	100	97	96	97
总正确量	199	193	194	195

下载: 导出CSV 

| 显示表格

由表3可看出，利用托辊故障检测算法进行故障判定，得到无故障A0、轴承锈蚀B1、托辊卡转C1、筒体磨穿D1 4种状态的检测总正确数量分别为199张、193张、194张及195张，准确率分别为99.5%、96.5%、97%、97.5%，平均准确率为97.625%，帧率为16 帧/s。

为进一步验证本文方法的可靠性和准确性，制备A0、B1、C1、D1状态的托辊各2组，随机安装在2个不同的带式输送机托辊组上。巡检机器人搭载托辊故障检测器在不同环境温度下对8组托辊组进行巡检，经过托辊故障检测算法处理，得到检测结果，并通过WH−L101无线传输模块将检测结果传输给上位机。上位机软件界面显示4种状态的检测结果与相关数据，并进行报警处理，如图15所示。可看出基于热红外图像的带式输送机托辊故障检测方法可实现托辊检测。

图  15  托辊故障检测结果

Figure  15.  Roller fault detection results

下载: 全尺寸图片 幻灯片

5.   结论

1） 提出了基于热红外图像的带式输送机托辊故障检测方法，可实现ROI提取、图像滤波与增强、目标托辊分割、特征提取及故障判定等功能。

2） 基于热红外图像的带式输送机托辊故障检测方法使用YOLOv5s目标检测算法提取托辊图像ROI，平均准确率为99.12%，可准确识别目标托辊。对ROI图像进行预处理，可实现托辊特征提取。

3） 通过温度特性实验得到故障判定标准，根据托辊故障检测算法实现托辊故障检测，得到无故障A0、轴承锈蚀B1、托辊卡转C1、筒体磨穿D1的检测准确率分别为99.5%，96.5%，97%，97.5%，平均准确率为97.625%，帧率为16 帧/s。检测结果通过无线传输模块传送至上位机，可显示故障类型及关键区域温度，并进行报警。

4） 基于热红外图像的带式输送机托辊故障检测方法可实现托辊非接触式在线故障检测。下一步将模拟实际工况对该方法进行进一步论证及改进。