A point cloud denoising method for unstructured roadways based on regional growth
-
摘要: 目前针对地下巷道点云去噪研究未完全满足巷道点云的特殊去噪需求，尤其是在狭长、密闭且复杂的地下巷道环境中，未能充分应对管壁附属物、粉尘和人为噪声等因素造成的挑战。通过分析井下非结构场景和传感器误差，考虑行人、移动设备和管网带来的噪声，提出一种基于区域生长的非结构巷道点云去噪方法。利用三维激光扫描技术获得井下巷道场景的3D点云信息，并分析其中由于井下非结构场景和传感器误差造成的异常点，以及行人、移动设备和风/水管网形成的噪声特点；利用k维树（kd-tree）构建点云的拓扑关系，选取适当的种子节点和生长准则，设定合适的曲率和角度阈值，通过区域生长算法实现巷道点云的有效分割，去除未加入分割区域的离群点云；根据噪声特点，基于巷道点云区域分割结果进一步去噪优化。试验结果表明：对于巷道中存在行人、设备等特征的情况，建议将区域生长算法的角度阈值设定为10°左右，曲率阈值设定为3左右；在实际应用中，应平衡数据量的减少与去噪效果，以确保数据处理的有效性，同时提高数据质量；采用基于区域生长的非结构巷道点云去噪方法进行去噪时，点云数量减少幅度介于SOR滤波器和低通滤波器之间，能有效移除行人、设备等噪声。Abstract: Currently, research on point cloud denoising in underground roadways has not fully met the special denoising needs of roadway point clouds. Especially in narrow, enclosed, and complex underground roadway environments, the research has not fully addressed the challenges caused by pipe wall attachments, dust, and human noise. By analyzing the unstructured scenes and sensor errors underground, considering the noise caused by personnel, mobile devices, and pipeline networks, a point cloud denoising method for unstructured roadways based on region growth is proposed. The method uses 3D laser scanning technology to obtain 3D point cloud information of underground roadway scenes, and analyzes the abnormal points caused by unstructured underground scenes and sensor errors, as well as the noise features formed by personnel, mobile devices, and air and water pipelines. The method uses k-dimensional trees (kd-tree) to construct the topological relationship of point clouds, selects appropriate seed nodes and growth criteria, and sets appropriate curvature and angle thresholds. The method implements effective segmentation of roadway point clouds through region growth algorithms, and removes outlier point clouds that have not been added to the segmentation area. Based on the features of noise, further denoising optimization is carried out based on the segmentation results of the roadway point cloud region. The experimental results indicate that for situations where there are features such as personnel and equipment in the roadway, it is recommended to set the angle threshold of the region growth algorithm to around 10° and the curvature threshold to around 3. In practical applications, it is necessary to balance the reduction of data volume with the denoising effect to ensure the effectiveness of data processing and improve data quality. When using a region growth based unstructured roadway point cloud denoising method for denoising, the reduction in point cloud quantity is between SOR filter and low-pass filter, which can effectively remove noise such as personnel and equipment.
-
0. 引言
带式输送机是一种现代化生产中的连续运输设备[1-2]，具有运量大、运距远、运费低、效率高、运行平稳、装卸方便、适合散料运输等优点，已广泛应用于煤炭、矿山、港口、电力、冶金、化工等领域[3-4]。
带式输送机主要由托辊、输送带、滚筒、传动装置等构成。托辊是承载输送带和物料的关键部件，在使用过程中，由于多种原因，会发生轴承辊轴、密封件损坏和筒体磨损等故障，引起托辊卡转，增加托辊与输送带间摩擦力，加大能耗，引发输送带跑偏、托辊和输送带温度升高，造成输送带断带、纵向撕裂、火灾等安全事故[5]。为了保证带式输送机安全可靠运行，需要对托辊故障进行检测[6-7]。由于托辊数量大且分散，工作环境恶劣，检测条件苛刻，所以其故障在线检测难度大。
传统的托辊故障检测方法主要有人工检测法、声音信号检测法、振动信号检测法等。人工检测法劳动强度大，易受检测人员主观因素影响，准确性差；因现场工作环境恶劣，声音信号检测法采集的信号噪声大，导致检测结果准确性差；振动信号检测法需接触式传感器，在恶劣的环境中不易进行数据采集，且采集的信号可靠性差、振动传感器易损坏[8-10]。
基于巡检机器人及红外图像检测可实现非接触式的数据采集，受周围环境影响小，检测准确率较高。朱振[11]采用输送带巡检机器人代替人工检测，使用ANSYS仿真托辊与输送带摩擦生热产生的温度场，分析托辊故障时其红外图像的特点，进而实现故障检测。苏耀瑞[12]采用智能巡检机器人搭载拾音器，通过自动化巡检的方式采集信号，对声音信号进行去噪、特征参数提取和分类器构建等处理，实现托辊故障信号识别，然后根据信号的RFID标签追溯到故障托辊位置。马宏伟等[13]提出一种基于连通分量的带式输送机托辊红外图像自动分割和定位算法，采用红外热像仪进行数据采集，通过垂直水平投影、Canny边缘检测、连通分量提取托辊闭合轮廓等图像处理算法，实现托辊图像自动分割与定位。金学智[14]提出采用智能巡检机器人和红外热像仪进行托辊故障巡检，完成故障判定，并生成故障预警报告。P. Dabek等[15]提出基于UGV机器人技术，对带式输送机过热托辊进行自动检测，通过对RGB图像进行预处理，将预处理后的图像与红外图像融合得到过热点，实现托辊故障检测。但目前带式输送机巡检机器人搭载红外采集设备移动受限，存在不能实时进行数据采集、数据处理并上传至监控终端，无法完成远程故障检测，续航能力不足等问题。
针对目前带式输送机托辊故障检测存在可靠性和准确性不高等问题，提出一种基于热红外图像的带式输送机托辊故障检测方法，利用带式输送机巡检机器人搭载托辊故障检测器及红外热像仪进行数据采集，红外热像仪将采集的托辊热红外图像序列与温度数据传输给托辊故障检测器，利用托辊故障检测算法实现故障检测，将检测结果通过无线传输模块发送至上位机，实现带式输送机托辊运行状态的远程实时监测与报警。
1. 带式输送机托辊故障检测系统
基于热红外图像的带式输送机托辊故障检测系统主要由带式输送机巡检机器人（搭载红外热像仪、托辊故障检测器、报警器等）、上位机组成，如图1所示。该系统采用艾睿T3S红外热像仪进行托辊热红外图像与温度数据采集。采集数据传输给托辊故障检测器进行数据处理与故障判定，通过内置的WH−L101无线传输模块将检测结果传输给上位机进行显示。若检测到托辊发生故障，启动托辊故障检测器与上位机报警器，实现双报警。
![]()
图 1 基于热红外图像带式输送机托辊故障检测系统Figure 1. Fault detection system of belt conveyor roller based on thermal infrared image2. 带式输送机托辊故障检测算法
托辊故障检测算法部署在托辊故障检测器的Cortex−A57处理器中。利用YOLOv5s 目标检测算法提取托辊热红外图像的感兴趣区域（Region of Interest，ROI），采用维纳滤波和自适应中值滤波算法对ROI图像进行滤波，利用自适应直方图均衡化和图像锐化算法对滤波后的图像进行增强，采用基于形态学的Otsu图像分割算法对增强后的图像进行分割，得到待检测的托辊图像，利用Harris角点检测算法提取托辊图像特征，获得托辊位置信息并提取相应的温度信息。采用基于相对温差法的托辊故障检测算法判定托辊故障，当温度超过初始阈值时，算法进一步判断相对温差所在阈值范围，确定故障类型，并输出检测结果，否则直接输出无故障检测结果。托辊故障检测算法流程如图2所示。
2.1 托辊ROI提取
带式输送机巡检机器人沿预设好的轨道移动并进行数据采集，采集到的部分热红外图像没有目标托辊或存在其他物体，影响后续数据处理工作，因此采用YOLOv5s算法[16]对目标进行识别并进行ROI提取。
实验过程中，首先对托辊热红外图像进行标注，完成数据集制作，然后在训练好的YOLOv5s网络模型中进行预测，最后准确框选出ROI部分并进行截取，如图3所示。
2.2 ROI图像预处理
采用维纳滤波对热红外图像运动模糊和高斯白噪声进行滤波处理，采用自适应中值滤波对热红外图像中的椒盐噪声进行抑制，并采用自适应直方图均衡化和图像锐化算法对图像进行增强。
维纳滤波通常用于提取被噪声污染的有用信号，以最小均方误差准则进行滤波，以图像和噪声各自的相关矩阵为最优准则，根据图像的局部方差调整滤波输出，局部方差越大，滤波的平滑作用越强[17-18]，结果如图4所示。
中值滤波通过比较一定领域内像素值的大小，取其中值作为这个领域的中心像素值。根据预设好的条件，选用自适应中值滤波器动态改变窗口尺寸，不仅可滤除椒盐噪声，还可平滑其他非脉冲噪声，降低噪声对图像的影响并保护图像细节[19-20]，处理后的结果如图5所示。
采用自适应直方图均衡化和Roberts图像锐化算法对托辊热红外图像进行处理，增强目标托辊区域与背景区域之间的不相关性，改善图像的局部对比度及获得更多的图像细节[21]，处理结果如图6所示。
2.3 托辊图像分割
带式输送机安装环境复杂，采集的托辊热红外图像包含支架、传感器等物体。采用基于形态学的Otsu图像分割算法对图像进行分割。Otsu图像分割算法是一种确定图像二值化分割阈值的算法，通过选择最佳阈值将图像分为背景区域及目标区域。最佳阈值由背景区域与目标区域间的类间方差确定。背景区域和目标区域间的类间方差越大，说明背景区域和目标区域间差别越大[22]， 区域之间的相关性越小，分割效果就越好。区域间类间方差最大时的阈值即为最佳阈值。
假设灰度图像有$ M $个像素点，灰度等级总数为$ L $，图像的灰度等级为$ \left[0 ,L-1\right] $，灰度等级i对应的像素个数为$ {m}_{i} $。
$$ M=\sum _{i=0}^{i=L-1}{m}_{i} $$ (1) 灰度等级$ i $的像素点出现的概率$ {P}_{i} $满足：
$$ {P}_{i}=\frac{{m}_{i}}{M}\geqslant 0 $$ (2) $$ \sum _{i=0}^{i=L-1}{P}_{i}=1 $$ (3) 将图像分为目标区域$ {S}_{ 0} $和背景区域$ {S}_{ 1} $，$ {S}_{ 0} $和$ {S}_{ 1} $的灰度等级为$ \left[0,\theta -1\right] $和$ \left[\theta ,L-1\right] $，其中$ \theta $为设定的阈值，分割后图像的各个点的像素值为$ F(x,y) $，$(x,y) $为像素点坐标，则
$$ F\left(x,y\right)=\left\{ {\begin{array}{*{20}{c}} {S}_{ 0}&i < \theta \\ {S}_{ 1}&i\geqslant \theta \end{array}} \right.$$ (4) $ {S}_{ 0} $与$ {S}_{ 1} $出现的概率为$ {P}_{{S}_{ 0}} $和$ {P}_{{S}_{ 1}} $，对应的灰度等级均值为$ {\mu }_{0} $和$ {\mu }_{1} $。
$$ \left\{ \begin{array}{l} {P}_{{S}_{ 0}}=\displaystyle\sum _{i=0}^{i=\theta -1}{P}_{i}\\ {P}_{{S}_{ 1}}=\displaystyle\sum _{i=\theta }^{i=L-1}{P}_{i} \end{array} \right.$$ (5) $$ \left\{ \begin{array}{l} {\mu }_{0}=\displaystyle\sum _{i=0}^{i=\theta -1}\frac{i{P}_{i}}{{P}_{{S}_{ 0}}}\\ {\mu }_{1}=\displaystyle\sum _{i=\theta }^{i=L-1}\frac{i{P}_{i}}{{P}_{{S}_{ 1}}} \end{array} \right.$$ (6) $ {S}_{ 0} $和$ {S}_{ 1} $方差分别为
$$ {\sigma }_{0}^{2}=\sum _{i=0}^{i=\theta -1}{(i-{\mu }_{0})}^{2}\frac{{P}_{i}}{{P}_{{S}_{ 0}}} $$ (7) $$ {\sigma }_{1}^{2}=\sum _{i=\theta }^{i=L-1}{(i-{\mu }_{1})}^{2}\frac{{P}_{i}}{{P}_{{S}_{ 1}}} $$ (8) 则目标区域和背景区域的类间方差为
$$ {\sigma }_{ \theta }^{2}={P}_{{S}_{ 0}}{P}_{{S}_{ 1}}{({\mu }_{1}-{\mu }_{0})}^{2} $$ (9) $ {\sigma }_{ \theta }^{2} $ 表示构成图像的2部分之间像素差别的大小及分离效果的好坏。当$ {\sigma }_{ \theta }^{2} $ 取最大值时，对应的阈值为图像分割的最佳阈值${\theta '} $。
确定图像分割的最佳阈值$ \theta '$后，采用基于形态学的Otsu算法对图像进行分割处理，可准确地分割出输送带与托辊的形状。其中开运算处理可达到去除毛刺和增加图像边缘平滑度的效果，闭运算可通过填充图像的凹角对图像进行滤波，来弥合小断点及填充物体内细小空洞、连接邻近物体，使分割效果更好，结果如图7所示。
![]()
图 7 基于形态学的Otsu图像分割算法处理结果Figure 7. Image processing results by morphology-based Otsu image segmentation algorithm2.4 托辊特征提取
Harris角点检测算法是使用一个固定窗口在图像上进行任意方向上的移动，判断移动后各方向上灰度值的变化情况，若发生较大变化则判定为窗口区域所在的位置就是角点所在的位置。
Harris角点检测算法采用泰勒级数展开的思想获取窗口移动后任意方向上的像素值变化，以像素点为中心，窗口对应的像素点位置为$ \left(x,\;y\right) $，窗口在$ x,\;y $方向上的移动量分别为$ u,\;v $。移动前与移动后对应的窗口中的像素点灰度变化可用自相关函数描述。
$$ E\left(u,\;v\right)=\sum _{x,\;y}w\left(x,\;y\right){\left[I\left(x+u,\;y+v\right)-I\left(x,\;y\right)\right]}^{2} $$ (10) 式中：$ w\left(x,\;y\right) $为窗口函数；$ I\left(x+u,\;y+v\right) $为移动后图像像素灰度值；$ I\left(x,\;y\right) $为移动前图像像素灰度值。
$ I\left(x+u,\;y+v\right) $经过泰勒级数展开并简化得
$$ I\left(x+u,\;y+v\right)=I\left(x,\;y\right)+{\dot I}_{x}u+{\dot I}_{y}v+O\left({u}^{2},\;{v}^{2}\right) $$ (11) $$ E\left(u,\;v\right)=\sum _{x,\;y}w\left(x,\;y\right){\left[{\dot I}_{x}u+{\dot I}_{y}v+O\left({u}^{2},\;{v}^{2}\right)\right]}^{2} $$ (12) 式中：${\dot I}_{x} $，${\dot I}_{y} $分别为在水平方向和垂直方向对图像像素灰度值求导；$ O\left({u}^{2},{v}^{2}\right) $为余项。
由于是局部微小的移动量，则可忽略上式中的余项，得
$$ E\left(u,\;v\right)\cong \sum _{x,y}w\left(x,y\right){\left[{\dot I}_{x}u+{\dot I}_{y}v\right]}^{2} \cong \left[u,\;v\right]{\boldsymbol{H}}\left[\begin{array}{c}u\\ v\end{array}\right] $$ (13) $$ {\boldsymbol{H}}=\sum _{x,\;y}w\left(x,\;y\right)\left[\begin{array}{cc}{{\dot I}_{x}^{2}}& {\dot I}_{x}{\dot I}_{y}\\ {\dot I}_{x}{\dot I}_{y}& {{\dot I}_{y}^{2}}\end{array}\right] $$ (14) 式中$ {\boldsymbol{H}} $为梯度的协方差矩阵，由图像的导数求得。
通过角点响应函数计算每个角点的响应值$ R $[23]，$ R $只与$ {\boldsymbol{H}} $的特征值$ {\lambda }_{1} $和$ {\lambda }_{2} $有关。根据$ R $判断像素是否为角点，设角点阈值为$ N $，若某点的响应值$ R > N $，则该点为角点，若$ R < N， $则该点为图像的边缘，即为非角点。
$$ R=\mathrm{det}\left({\boldsymbol{H}}\right)-k{\left({\rm{trace}}{\boldsymbol{H}}\right)}^{2} ={\lambda }_{1}{\lambda }_{2}-k{\left({\lambda }_{1}+{\lambda }_{2}\right)}^{2} $$ (15) 式中：$ \mathrm{det}\left({\boldsymbol{H}}\right) $为 $ {\boldsymbol{H}} $的行列式；k为经验常数；trace为$ {\boldsymbol{H}} $的迹。
比较得到$ R $的最大值$ {R}_{\max } $，将0.01$ {R}_{\max } $作为设定的阈值$ N $，人为设置经验常数$ k=0.04～0.06 $。根据Harris角点检测算法对分割后的图像进行特征提取并得到托辊位置信息，如图8所示。可看出，将特征提取后的图像分为输送带与托辊接触面区域和轴承区域，并用绿色框标出，设为Tangent Area（简称TA）及Bearing Area（简称BA）。
![]()
图 8 基于Harris角点检测算法的特征提取结果Figure 8. Feature extraction results by Harris corner point detection algorithm2.5 基于相对温差法的托辊故障检测
进行热红外图像和温度数据采集时，故障状态下采集的温度会随着故障部位温度升高而升高。为了避免环境温度对实验数据和故障判定的影响，本文选用相对温差法作为故障判定方法。
相对温差法需要求得发生故障时及无故障时关键区域的温升，即关键区域温度与环境温度的差值。相对温差为
$$ \alpha =\frac{{\tau }_{1}-{\tau }_{2}}{{\tau }_{1}}\times 100{\text{%}} $$ (16) 式中：$ {\tau }_{1} $为发生故障时关键区域的温升；$ {\tau }_{2} $为无故障状态下关键区域的温升。
根据实验数据求得无故障状态时的TA和BA区域的温升最大值，将温升最大值分别设为TA、BA区域检测的初始阈值，用$ {t}_{0} $（TA）和$ {t}_{0} $（BA）表示，用于初步判断托辊运行时是否存在故障。当图像或视频提取TA及BA区域的温升均未超过$ {t}_{0} $（TA）和$ {t}_{0} $（BA）时，则判定为无故障，若温升超过任意初始阈值，则进行下一步的故障判定。
根据式（17）计算轴承锈蚀（B1）、托辊卡转（C1）和筒体磨穿（D1）故障下的相对温差，分别设阈值为$ {t}_{{\rm{B}}1}，{t}_{{\rm{C}}1} $，$ {t}_{{\rm{D}}1} $。当关键区域的相对温差超过$ {t}_{{\rm{B}}1} $且小于$ {t}_{{\rm{C}}1} $时，则托辊设备属于B1故障；当关键区域的相对温差超过$ {t}_{{\rm{C}}1} $但未超过$ {t}_{{\rm{D}}1} $时，则托辊设备属于C1故障；当关键区域的相对温差超过$ {t}_{{\rm{D}}1} $时，则为D1故障。最终输出故障类型。
3. 托辊故障检测器设计
采用Jetson Nano嵌入式开发板设计托辊故障检测器的硬件，其主要由主处理器电路、USB接口电路1和2、WH−L101无线传输模块、串口接口电路、GPIO接口电路、HDMI接口电路、显示器、键盘、鼠标等组成，如图9所示。选用Jetson Nano嵌入式开发板为托辊故障检测器的主处理器，其包含GPU和CPU，具有操作简单、功耗较低、尺寸小巧等优点，包含1块128核Maxwell架构的GPU，搭载四核Cortex−A57处理器及4 GiB内存，用于托辊热红外图像及温度数据处理、托辊故障判定等。USB接口电路1连接键盘鼠标，USB接口电路2连接红外热像仪，用于托辊热红外图像和温度数据采集；WH−L101无线传输模块使用串口进行数据的收发，可满足于上位机一对一或一对多的通信，实现多台上位机远程监测托辊运行情况，达到实时监控的检测要求；串口接口电路连接WH−L101无线传输模块；GPIO接口电路连接报警器，故障时启动报警器报警[24]； HDMI接口电路连接显示器，用于故障显示。
![]()
图 9 带式输送机托辊故障检测器硬件组成Figure 9. Hardware composition of fault detector for belt conveyor roller托辊故障检测器软件流程如图10所示。设置红外热像仪的技术参数，如焦距、测温范围、色板选择等，确保拍摄的托辊热红外图像满足质量要求。对于采集的热红外数据，利用部署在Jetson Nano上的托辊故障检测算法判断是否发生故障，并判定为何种故障，同时启动报警器进行报警。最终将结果显示在上位机软件。
4. 实验与结果分析
4.1 实验平台搭建
为了验证基于热红外图像的带式输送机托辊故障检测方法的准确性和可靠性，搭建了带式输送机托辊故障检测实验平台，如图11所示。
4.2 YOLOv5s目标检测算法结果分析
选用YOLOv5s目标检测算法提取热红外图像的ROI，制作数据集并训练网络，对训练好的网络进行测试。网络训练和测试平台配置见表1。
![]()
图 11 带式输送机托辊故障检测实验平台Figure 11. Experimental platform for belt conveyor idler fault detection表 1 网络训练和测试平台配置Table 1. Network training and test platform configuration设备 参数 CPU Intel（R） Xeon（R） CPU E5−2678 GPU Nvidia Geforce GTX1080Ti 内存 64 GiB DDR4 操作系统 64位Ubuntu 18.04LTS 深度学习框架 Pytorch 在实验室环境下，带式输送机巡检机器人搭载红外热像仪沿固定轨迹移动，对2个带式输送机进行视频拍摄。分别对A0（无故障）、B1、C1、D1 4种状态的视频数据进行取帧处理，获得1 032张图像，经过扩增获得8 256张图像，按照7∶3的比例随机划分训练集（5 780张）和测试集（2 476张）。训练迭代次数为100，使用自制数据集在训练好的YOLOv5s模型中进行测试，结果如图12所示，得到平均准确率为99.12%。
4.3 温度特性实验结果分析
结合带式输送机工程设计规范和实验需求，通过对正常托辊进行盐水浸泡和一定程度的损坏，得到B1、C1、D1 3种托辊故障[25]，如图13所示。
实验环境的恒定温度为15.6 ℃，在同一带式输送机的托辊组上，采用红外热像仪分别采集A0、B1、C1、D1 4种状态下托辊热红外图像及温度数据。每隔5 min进行一次数据保存，进行25次采集，共得到100个样本。将采集图像经过ROI提取、图像处理、托辊分割和特征提取后，得到特征点所在区域的位置信息，根据TA区域和BA区域的位置信息对相应位置的温度数据进行提取。
对温度数据进行处理，求得100个样本中TA区域和BA区域的最大温度及平均温度，将TA区域的最大温度作为输送带与托辊接触面温度（简称TTA），BA区域的平均温度作为轴承温度（简称TBA）。4种状态下TA区域及BA区域的温度曲线如图14所示。可看出在TA区域前10 min内TTA迅速升高，在100 min进行第25次采样时趋于稳态，C1和D1的稳态温度分别为31 ℃和53 ℃，明显区别于B1，这说明对于C1或D1故障，TTA是有效的判别指标，且C1、D1达到稳态时的温度越高，卡转越严重。在BA区域前10 min内TBA迅速升高，B1的TBA有明显升高，且达到稳态时的温度为27 ℃，与A0状态下的温度形成鲜明对比， C1和D1状态下的温度变化不明显。在50 min后，B1的TBA逐渐下降，说明当出现BA时，润滑良好的轴承有自我修复的功能，且TBA是B1有效的判别指标。
![]()
图 14 4种状态下TA区域最大温度及BA区域平均温度Figure 14. The maximum temperature in TA region and average temperature in BA region under 4 states4.4 托辊故障检测结果分析
对关键区域特征点的温度进行提取与处理，计算相对温差，得到托辊故障判定标准，见表2。当TTA≤2.84 ℃且TBA≤2.34 ℃时，判定为无故障。
表 2 托辊故障判定标准Table 2. Roller fault judgment criteria指标 轴承锈蚀故障（B1） 托辊卡转故障（C1） 筒体磨穿故障（D1） 相对温差/% 76.7≤$ \alpha $<82.2 82.2≤$ \alpha $<92.3 $ \alpha $≥92.3 分别拍摄实验平台中托辊1和托辊2 在A0、B1、C1、D1 4种状态下的托辊红外视频，分别对托辊红外视频进行取帧得到托辊热红外图像序列，并从2个实验托辊的热红外图像中各抽取100张图像序列，将200张测试图像输入托辊故障检测器中，利用托辊故障检测算法分别对4种状态的图像序列进行处理，结果见表3。
表 3 托辊故障检测正确数量Table 3. Correct number of roller fault detection张 托辊 A0 B1 C1 D1 托辊1 99 96 98 98 托辊2 100 97 96 97 总正确量 199 193 194 195 由表3可看出，利用托辊故障检测算法进行故障判定，得到无故障A0、轴承锈蚀B1、托辊卡转C1、筒体磨穿D1 4种状态的检测总正确数量分别为199张、193张、194张及195张，准确率分别为99.5%、96.5%、97%、97.5%，平均准确率为97.625%，帧率为16 帧/s。
为进一步验证本文方法的可靠性和准确性，制备A0、B1、C1、D1状态的托辊各2组，随机安装在2个不同的带式输送机托辊组上。巡检机器人搭载托辊故障检测器在不同环境温度下对8组托辊组进行巡检，经过托辊故障检测算法处理，得到检测结果，并通过WH−L101无线传输模块将检测结果传输给上位机。上位机软件界面显示4种状态的检测结果与相关数据，并进行报警处理，如图15所示。可看出基于热红外图像的带式输送机托辊故障检测方法可实现托辊检测。
5. 结论
1） 提出了基于热红外图像的带式输送机托辊故障检测方法，可实现ROI提取、图像滤波与增强、目标托辊分割、特征提取及故障判定等功能。
2） 基于热红外图像的带式输送机托辊故障检测方法使用YOLOv5s目标检测算法提取托辊图像ROI，平均准确率为99.12%，可准确识别目标托辊。对ROI图像进行预处理，可实现托辊特征提取。
3） 通过温度特性实验得到故障判定标准，根据托辊故障检测算法实现托辊故障检测，得到无故障A0、轴承锈蚀B1、托辊卡转C1、筒体磨穿D1的检测准确率分别为99.5%，96.5%，97%，97.5%，平均准确率为97.625%，帧率为16 帧/s。检测结果通过无线传输模块传送至上位机，可显示故障类型及关键区域温度，并进行报警。
4） 基于热红外图像的带式输送机托辊故障检测方法可实现托辊非接触式在线故障检测。下一步将模拟实际工况对该方法进行进一步论证及改进。
-
![]()
图 5 不同曲率阈值下巷道点云区域分割效果
Figure 5. Effect of roadway point cloud region segmentation under different curvature thresholds
![]()
图 8 主运大巷21406工作面段三维点云
Figure 8. 3D point cloud in 21406 working face section of the main haulage tunnel
![]()
图 13 不同阈值下巷道点云区域分割效果
Figure 13. Effect of roadway point cloud region segmentation under different thresholds
![]()
图 14 不同方法的巷道点云去噪效果
Figure 14. Denoising effect of different methods for roadway point cloud
表 1 去噪过程点云数量变化
Table 1 The number of point clouds changes during the denoising process
样本
序号点云数量/个 点云总
体减少
比例/%原始点云 分割点云 去噪后点云 1 148 690 123 424 123 424 16.99 2 123 338 102 271 101 014 18.10 3 145 379 129 775 98 114 32.51 4 210 808 184 270 148 858 29.30 
下载: 导出CSV
表 2 不同方法去噪后点云数量对比
Table 2 Comparison of the number of point clouds after denoising by different methods
样本
序号原始点云
数量/个去噪后点云数量/个 SOR
滤波器低通
滤波器本文
方法1 148 690 142 549 99 004 123 424 2 123 338 118 979 74 039 101 014 3 145 379 136 073 90 882 98 114 4 210 808 195 975 143 882 148 858
下载: 导出CSV
-
[1] 王国法,杜毅博. 智慧煤矿与智能化开采技术的发展方向[J]. 煤炭科学技术,2019,47(1):1-10. WANG Guofa,DU Yibo. Development direction of intelligent coal mine and intelligent mining technology[J]. Coal Science and Technology,2019,47(1):1-10.
[2] 王国法,刘峰,孟祥军,等. 煤矿智能化(初级阶段)研究与实践[J]. 煤炭科学技术,2019,47(8):1-36. WANG Guofa,LIU Feng,MENG Xiangjun,et al. Research and practice on intelligent coal mine construction(primary stage)[J]. Coal Science and Technology,2019,47(8):1-36.
[3] 余润泽,单伽锃,李培振,等. 基于三维点云的工程结构平面分割及表面检测[J]. 中南大学学报(自然科学版),2023,54(6):2233-2243. DOI: 10.11817/j.issn.1672-7207.2023.06.014 YU Runze,SHAN Jiazeng,LI Peizhen,et al. Point cloud-based plane segmentation and surface inspection of engineering structures[J]. Journal of Central South University(Science and Technology),2023,54(6):2233-2243. DOI: 10.11817/j.issn.1672-7207.2023.06.014
[4] KUMAR S S,PRATAP B B,SIMIT R. A review of laser scanning for geological and geotechnical applications in underground mining[J]. International Journal of Mining Science and Technology,2023,33(2):133-154. DOI: 10.1016/j.ijmst.2022.09.022
[5] 戴文祥,陈雷,闫鹏飞,等. 基于三维激光扫描的煤矿巷道形变监测方法[J]. 工矿自动化,2023,49(10):61-67,95. DAI Wenxiang,CHEN Lei,YAN Pengfei,et al. A deformation monitoring method for coal mine roadway based on 3D laser scanning[J]. Journal of Mine Automation,2023,49(10):61-67,95.
[6] RUSU R B,COUSINS S. 3D is here:point cloud library (PCL)[C]. IEEE International Conference on Robotics and Automation,Shanghai,2011:6324-6327.
[7] KOLLURI R. Provably good moving least squares[C]. The 16th Annual ACM-SIAM Symposium on Discrete Algorithms,Vancouver,2008:1008-1017.
[8] LIPMAN Y,COHEN-OR D,LEVIN D,et al. Parameterization-free projection for geometry reconstruction[J]. ACM Transactions on Graphics(TOG),2007,26(3). DOI: 10.1145/1276377.1276405.
[9] HUANG Hui,WU Shihao,GONG Minglun,et al. Edge-aware point set resampling[J]. ACM Transactions on Graphics,2013,32(1):1-12.
[10] HUANG Hui,LI Dan,ZHANG Hao,et al. Consolidation of unorganized point clouds for surface reconstruction[J]. ACM Transactions on Graphics,2009,28(5):1-7.
[11] MATTEI E,CASTRODAD A. Point cloud denoising via moving RPCA[J]. Computer Graphics Forum:Journal of the European Association for Computer Graphics,2017,36(8):123-137.
[12] SUN Yujing,SCHAEFER S,WANG Wenping. Denoising point sets via L0 minimization[J]. Computer Aided Geometric Design,2015,35:2-15.
[13] ROVERI R,ÖZTIRELI A C,PANDELE I,et al. Pointpronets:consolidation of point clouds with convolutional neural networks[J]. Computer Graphics Forum,2018,37(2):87-99. DOI: 10.1111/cgf.13344
[14] ZHANG Dongbo,LU Xuequan,QIN Hong,et al. Pointfilter:point cloud filtering via encoder-decoder modeling[J]. IEEE Transactions on Visualization and Computer Graphics,2020,27(3):2015-2027.
[15] RAKOTOSAONA M J,LA BARBERA V,GUERRERO P,et al. Pointcleannet:learning to denoise and remove outliers from dense point clouds[J]. Computer Graphics Forum,2020,39(1):185-203. DOI: 10.1111/cgf.13753
[16] CASAJUS P H,RITSCHEL T,ROPINSKI T. Total denoising:unsupervised learning of 3D point cloud cleaning[C]. IEEE/CVF International Conference on Computer Vision,Seoul,2019:52-60.
[17] JONES T R. Feature preserving smoothing of 3D surface scans[D]. Cambridge:Massachusetts Institute of Technology,2003.
[18] FLEISHMAN S,DRORI I,COHEN-OR D. Bilateral mesh denoising[J]. ACM Transactions on Graphics,2003,22(3):950-953. DOI: 10.1145/882262.882368
[19] VOLLMER J,MENCL R,MUELLER H. Improved laplacian smoothing of noisy surface meshes[J]. Computer Graphics Forum,1999,18(3):131-138. DOI: 10.1111/1467-8659.00334
[20] DESBRUN M,MEYER M,SCHRODER P,et al. Implicit fairing of irregular meshes using diffusion and curvature flow[C]. The 26th Annual Conference on Computer Graphics and Interactive Techniques,1999:317-324. DOI: 10.1145/311535.311576.
[21] COMANICIU D,RAMESH V,MEER P. The variable bandwidth mean shift and data-driven scale selection[C]. The 8th IEEE International Conference on Computer Vision,Vancouver,2001:438-445.
[22] GEORGESCU B,SHIMSHONI I,MEER P. Mean shift based clustering in high dimensions:a texture classification example[C]. The 9th IEEE International Conference on Computer Vision,Nice,2003:456-463.
[23] COMANICIU D,MEER P. Mean shift analysis and applications[C]. The 7th IEEE International Conference on Computer Vision,Kerkyra,1999:1197-1203.
[24] XU Xiangyang,YANG Hao,NEUMANN I. Time-efficient filtering method for three-dimensional point clouds data of tunnel structures[J]. Advances in Mechanical Engineering,2018,10(5). DOI: 10.1177/16878140187731.
[25] 余鹏磊,于海洋,谢秋平,等. 基于RANSAC算法的地铁隧道点云数据滤波[J]. 测绘工程,2014,23(8):28-31. DOI: 10.3969/j.issn.1006-7949.2014.08.007 YU Penglei,YU Haiyang,XIE Qiuping,et al. Filtering for subway tunnel point cloud data based on RANSAC algorithm[J]. Engineering of Surveying and Mapping,2014,23(8):28-31. DOI: 10.3969/j.issn.1006-7949.2014.08.007
[26] ZHU Ningning,JIAA Y,LUO Lun. Tunnel point cloud filtering method based on elliptic cylindrical model[J]. The International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,2016,41:735-740.
[27] 陈建华,马宝,王蒙. 基于二次特征提取的煤矿巷道表面点云数据精简方法[J]. 工矿自动化,2023,49(12):114-120. CHEN Jianhua,MA Bao,WANG Meng. A method for simplifying surface point cloud data of coal mine roadways based on secondary feature extraction[J]. Journal of Mine Automation,2023,49(12):114-120.
-
期刊类型引用(9)
1. LI Jiamin，HAN Bo，JIANG Mingshun. Anomaly monitoring and early warning of electric moped charging device with infrared image. Optoelectronics Letters. 2025(03): 136-141 . 
必应学术
2. 陈辛镔，钟庆杨，廖辉，苏金辉. 管状带式输送机巡检机器人故障检测技术. 起重运输机械. 2025(01): 85-90 . 百度学术
3. 吴力兵. 煤矿井下带式输送机巡检系统研究. 能源与节能. 2025(03): 157-159 . 百度学术
4. 游卿华，伍鹏，马波. 带式输送机托辊轴承声信号增强方法. 工矿自动化. 2025(03): 70-77 . 本站查看
5. 孟铁柱. 基于物联网的矿用带式输送机托辊状态在线监测方法. 中国机械. 2024(06): 98-101 . 百度学术
6. 闫培培. 矿用皮带输送机智能巡检机器人系统设计. 自动化应用. 2024(09): 131-133+137 . 百度学术
7. 孙树根，王鹏. 矿用带式输送机托辊轴承故障诊断与监测技术分析. 能源与节能. 2024(06): 178-180+184 . 百度学术
8. 韩继玲，刘伟，奚辰，肖雨芯，朱仁杰，杨龙兴，张陈. 基于机器视觉的方形电池缺陷检测系统设计. 物联网技术. 2024(11): 9-11 . 百度学术
9. 周坪，马国庆，周公博，马天兵，李远博. 智能化带式输送机健康监测技术研究综述. 仪器仪表学报. 2023(12): 1-21 . 百度学术
其他类型引用(4)
计量
- 文章访问数: 120
- HTML全文浏览量: 37
- PDF下载量: 19
- 被引次数: 13
