矿井提升机钢丝绳外观缺陷视觉识别技术研究

王国锋, 王守军, 陶荣颖, 李南, 罗自强

王国锋,王守军,陶荣颖,等. 矿井提升机钢丝绳外观缺陷视觉识别技术研究[J]. 工矿自动化,2024,50(5):28-35. DOI: 10.13272/j.issn.1671-251x.2024010080
引用本文: 王国锋,王守军,陶荣颖,等. 矿井提升机钢丝绳外观缺陷视觉识别技术研究[J]. 工矿自动化,2024,50(5):28-35. DOI: 10.13272/j.issn.1671-251x.2024010080
WANG Guofeng, WANG Shoujun, TAO Rongying, et al. Research on visual recognition technology for appearance defects of steel wire rope in mine hoist[J]. Journal of Mine Automation,2024,50(5):28-35. DOI: 10.13272/j.issn.1671-251x.2024010080
Citation: WANG Guofeng, WANG Shoujun, TAO Rongying, et al. Research on visual recognition technology for appearance defects of steel wire rope in mine hoist[J]. Journal of Mine Automation,2024,50(5):28-35. DOI: 10.13272/j.issn.1671-251x.2024010080

矿井提升机钢丝绳外观缺陷视觉识别技术研究

基金项目: 安徽省自然科学基金项目(1808085QE130)。
详细信息
    作者简介:

    王国锋(1967—),男,安徽淮南人,高级工程师,研究方向为矿井机电运输装备信息化、智能化,E-mail:huamuna@sina.com

  • 中图分类号: TD532

Research on visual recognition technology for appearance defects of steel wire rope in mine hoist

  • 摘要: 针对多根钢丝绳检测部署困难、钢丝绳图像采集质量较低、视觉检测法适应性差、准确性不高等问题,提出了一种基于计算机视觉和深度学习的矿井提升机钢丝绳外观缺陷视觉识别方法。首先构建矿井提升机钢丝绳在线监测系统;其次由地面移动巡检平台和井下本安高速相机采集钢丝绳图像,建立钢丝绳图像数据集;然后考虑井下粉尘影响、相机镜头易受污染、光照不均、钢丝绳高光反射等问题,采用基于Retinex算法的图像去噪方法和基于同态滤波的图像去噪方法对钢丝绳图像进行去噪处理,处理结果表明,基于色彩增益加权的多尺度Retinex(AutoMSRCR)算法为较优方案;最后缺陷检测过程以卷积神经网络为基础,构建基于YOLOv5s的缺陷检测模型,为降低人为因素影响、调参工作量,在YOLOv5s中加入Focus结构对其进行优化,并将改进的YOLOv5s模型作为钢丝绳缺陷检测的预训练模型,以进一步降低模型内存占用率,提高模型加载和检测速度。实验结果表明,所提方法对钢丝绳2处断丝的检测误差分别为1.61%,1.35%,对钢丝绳4处磨损的检测误差分别为2.43%,3.44%,2.11%,3.39%。针对淮河能源控股集团顾北煤矿主井提升机原有钢丝绳安全监测系统的检测精度无法满足现场需求的问题,采用所提方法对原系统进行改进,现场应用效果表明,钢丝绳断丝检测准确率由80%提升至96%,损伤定位误差由500 mm降低至300 mm范围内,损伤定位准确率由75%提升至98%,损伤实时检出率由76%提升至90%,尾绳畸变检出率由70%提升至85%。
    Abstract: A visual recognition method for appearance defects of mine hoist steel wire ropes based on computer vision and deep learning is proposed to address the problems of difficult deployment for detecting multiple steel wire ropes, low image acquisition quality of steel wire ropes, poor adaptability and accuracy of visual detection methods. Firstly, an online monitoring system for the steel wire rope of the mine hoist is constructed. Secondly, the steel wire rope images are collected by the ground mobile inspection platform and the underground intrinsic safety high-speed camera, and a steel wire rope image dataset is established. Considering the effects of underground dust, susceptibility of camera lenses to contamination, uneven lighting, and high light reflection of steel wire ropes, image denoising methods based on Retinex algorithm and homomorphic filtering are used to denoise the steel wire rope images. The processing results show that the automated multi-scale Retinex with color restoration (AutoMSRCR) algorithm based on color gain weighting is the optimal solution. The defect detection process is based on convolutional neural networks, and a defect detection model based on YOLOv5s is constructed. In order to reduce the influence of human factors and the workload of parameter tuning, a Focus structure is added to YOLOv5s for optimization. The improved YOLOv5s model is used as a pre training model for steel wire rope defect detection to further reduce the memory usage of the model and improve the loading and detection speed of the model. The experimental results show that the proposed method has detection errors of 1.61% and 1.35% for wire breakage at 2 positions of the steel wire rope, and detection errors of 2.43%, 3.44%, 2.11%, and 3.39% for wear at 4 positions of the steel wire rope. In response to the problem that the detection precision of the original steel wire rope safety monitoring system for the main shaft hoist of Gubei Coal Mine, Huaihe Energy Holding Group, cannot meet the on-site requirements, the proposed method is adopted to improve the original system. The on-site application results show that the accuracy of wire rope breakage detection is increased from 80% to 96%, the damage positioning error is reduced from 500 mm to within 300 mm. The damage positioning accuracy is increased from 75% to 98%, the real-time detection rate of damage is increased from 76% to 90%, and the tail rope distortion detection rate is increased from 70% to 85%.
  • 由于煤炭开采环境复杂,在煤炭传输过程中常混入异物,如锚杆、铁丝网、大块矸石等。若带式输送机上异物清理不及时,可能造成输送带转接处阻塞,严重时会发生输送带划伤或撕裂等安全事故[1-2]。目前在原煤运输过程中常采用人眼观测的方式检测异物,耗时耗力且安全风险大。因此,研发一种实时的煤流异物自动检测方法对于保证煤矿安全生产、降低人工成本、提高煤炭开采和运输效率具有重要意义。

    随着机器学习技术的发展,一系列基于图像处理的异物检测算法相继被提出[3-5]。此类算法大致可分为基于监督学习和基于半监督学习的算法2种。传统机器学习为监督学习,基于传统机器学习的目标检测方法模型简单、效率高,但误判率高、泛化性差[6-7]。随着深度学习的发展,部分学者将其用于输送带异物检测。例如,郝帅等[8]提出了基于CBAM− YOLOV5的煤矿输送带大块异物检测方法。基于深度学习的目标检测大多属于监督学习方法,需要大量数据指导模型训练。然而,煤矿带式输送机运输现场异常样本较少,难以满足深度学习对建模数据的需求。

    半监督学习是介于监督学习与无监督学习之间的一种学习方式[9]。针对异物检测,部分学者提出一种基于正常样本训练的半监督学习方式,即训练集中仅包含正常样本,测试集中包含异常样本和正常样本。该方式通过学习正常样本的特征分布实现异常检测。例如,T. Schlegl等[10]提出了运用生成对抗网络(Generative Adversarial Network,GAN)完成异常检测的AnoGAN算法,用深度卷积生成对抗网络 (Deep Convolutional Generative Adversarial Networks,DCGAN)在训练集中学习正常样本的数据分布,该算法需要反复进行迭代优化,效率较低。S. Akcay等[11]提出了基于GAN的异常检测算法GANomaly,利用编码器−解码器结构学习正常样本的分布,在比对输入图像及生成图像之间差别的同时,结合2次编码得到潜在空间差距。但该算法未考虑解码器和编码器的信息损失,精度较低。在此基础上,S. Akcay等[12]进一步提出了Skip−GANomaly算法,通过借鉴U−Net模型[13]中的跳跃连接方式,将编码器的特征与解码器同维度的特征进行拼接,进一步减少了编码−解码过程中的信息损失。该方法在CIFAR10和UBA等常规图像数据集上表现出优异性能。

    然而,在实际输煤现场,包含大块矸石、锚杆、铁丝网等异物的煤流图像与正常煤流图像之间的差异较小[14-15]。若仅对编码器和解码器的中间特征做简单的拼接处理,一些能显著区分正常样本与异常样本的特征可能会丢失,同时在拼接过程中容易造成输入信号的误差传递。人脑在处理视觉信号时,往往通过扫描全局图像获取需要重点关注的目标区域,并在该区域投入更多注意力。计算机视觉中的注意力机制通过对不同特征赋予不同的注意力权重,可从众多信息中提取与当前任务相关的信息[16-17]。针对真实工矿场景下样本极不平衡且显著特征易丢失的问题,本文提出一种基于双注意力生成对抗网络(Dual-Attention Skip-GANomaly,DA−GANomaly)的煤流异物智能检测方法。该方法在模型训练阶段仅需利用正常煤流图像,有效解决了样本不平衡问题;在编码器与解码器特征传递的过程中引入双注意力机制,以抑制无关特征和噪声,同时增强区分异常样本的显著特征表达,进一步提高模型分类的准确性。

    DA−GANomaly模型主要包括用于生成虚拟图像的生成器和用于判别虚拟图像的判别器。训练数据集仅包含正常煤流图像。输入图像在反复对抗训练过程中不断减少重构图像$ x' $ 与输入图像之间的误差,使得生成器尽可能拟合正常煤流图像的特征分布。经充分对抗训练后,生成器能够重建更加符合真实样本特征分布的虚拟图像。

    在模型测试阶段,测试集包含正常煤流图像与异常煤流图像。对于已经训练完成的模型,当输入正常煤流图像时,生成器输出的重建图像与输入样本之间差距较小;当输入异常煤流图像时,生成器的输出$x' $与输入图像相差较大。通过选取合适的差异表征函数及合适的阈值即可有效区分正常样本与异常样本。基于DA−GANomaly的煤流异物智能检测模型如图1所示。

    图  1  基于DA−GANomaly的煤流异物智能检测模型
    Figure  1.  Intelligent detection model for coal flow foreign objects based on DA-GANomaly

    生成器模块主要包含3个子模块:编码器M1—M6、解码器N1—N6及基于双注意力的特征连接模块。其中,编码器M1—M6用于提取输入的图像特征,包括6层,每层包含激活函数、卷积层、批量标准化层,通过调整卷积核尺寸与步长进行下采样操作。生成器网络参数见表1

    表  1  生成器网络参数
    Table  1.  Generator network parameters
    网络层级 M1 M2 M3 M4 M5 M6 N1 N2 N3 N4 N5 N6
    卷积核尺寸 4×4 4×4 4×4 4×4 4×4 4×4 4×4 4×4 4×4 4×4 4×4 4×4
    输出特征维度 64 128 256 512 512 512 512 512 256 128 64 3
    输出特征图尺寸 32×32 16×16 8×8 4×4 2×2 1×1 2×2 4×4 8×8 16×16 32×32 64×64
    下载: 导出CSV 
    | 显示表格

    编码器输入$x$的尺寸为64×64,维度为3,每层的卷积核尺寸为4×4,步长为2。编码器模型采用LeakyReLU激活函数,其输出特征维度依次为64,128,256,512,512,512,通过每层卷积后,特征图尺寸变为原来尺寸的1/2,经过6层卷积后得到最终的特征尺寸为1×1,维度为512。解码器主要包含6层,每层包含激活函数、反卷积层和批量标准化层。解码器模型采用ReLU激活函数,反卷积层卷积核尺寸为4×4,步长为2,其输出特征维度依次为512,512,256,128,64,3。通过每层反卷积后,特征图尺寸为原来的2倍,经过6层反卷积后,得到生成器的输出$x'$,其尺寸为64×64,维度为3。同时,为了加强模型的特征提取能力,充分利用编码器及解码器中的信息,提高感兴趣区域的权重,抑制无关区域,本文引入了双注意力机制,以融合编码器和解码器的信息。

    相关研究表明,经过多次卷积处理后,高层特征具有更多语义信息,而低层特征则具有更多空间结构信息[18]。因此,本文采用一种双注意力机制:对高层解码信息,通过维度注意力提取更多语义信息;对低层编码信息,通过空间注意力提取更多空间形态信息;再将经过2种注意力机制处理后的特征图相加,得到最终的特征图。双注意力机制如图2所示。

    图  2  双注意力机制
    Figure  2.  Dual attention mechanism

    首先,利用空间注意力机制对低层特征进行处理。假设特征图为$ {x_{\mathrm{l}}} \in (h,w,c) $,hwc分别为特征图的高、宽和通道数,经过3个1×1卷积后得到特征向量$ {\boldsymbol{B},{\boldsymbol{C}},{\boldsymbol{D}}} $。其次,对特征向量进行维度变换,使得$ {\boldsymbol{B},{\boldsymbol{C}},{\boldsymbol{D}}} \in (h \times w,c) $。然后,将特征向量$ {\boldsymbol{B},{\boldsymbol{C}}} $输入到Softmax激活函数中,得到注意力特征图A

    $$ {A_{ji}} = \frac{{\exp ({{{B}}_i}{{{C}}_j})}}{{\displaystyle\sum\limits_{i = 1}^N {\exp ({{{B}}_i}{{{C}}_j})} }} $$ (1)

    式中:AjiA中第$i$个通道与第$j$个通道之间的注意力影响,ij=1, 2, ···, N, ijBi为特征向量B中的第i个通道值;Cj为特征向量C中的第j个通道值;NA的通道数。

    最后,用注意力特征图乘以特征向量$ {\boldsymbol{D}_i} $并加上低层特征向量$ \boldsymbol{x}_{\mathrm{l}j} $,作为空间注意力机制输出T

    $$ \boldsymbol{T}_j=\boldsymbol{x}_{\mathrm{l\mathit{j}}}+\sum\limits_{i=1}^N(A_{ji}\boldsymbol{D}_i) $$ (2)

    式中TjT中第j个通道的特征向量。

    利用维度注意力模块对高层特征进行处理。与空间注意力机制不同,本文直接利用高层特征得到维度注意力。假设特征图$ {x_{\mathrm{h}}} \in (h,w,c) $,先对特征向量进行维度变换,使得$ {x_{\mathrm{h}}} \in (h \times w,c) $,接着通过Softmax函数计算注意力特征图S

    $$ {{S }_{ ji}} = \frac{{\exp ({{\boldsymbol{x}}_{{\mathrm{h}}j}}{{\boldsymbol{x}}_{{\mathrm{h}}i}})}}{{\displaystyle\sum\limits_{i = 1}^c {\exp ({{\boldsymbol{x}}_{{\mathrm{h}}j}}{{\boldsymbol{x}}_{{\mathrm{h}}i}})} }} $$ (3)

    式中Sjixh中第$i$个通道xhi与第$j$个通道xhj之间的注意力影响,$ {{S }_{ ji}} \in S $。

    用$ S $乘以特征向量$ {{\boldsymbol{x}}_{{\mathrm{h}}i}} $,得到最终的输出$ {\boldsymbol{O}} $。

    $$ {{\boldsymbol{O}}_j} = {{\boldsymbol{x}}_{{\mathrm{h}}j}} + \sum\limits_{i = 1}^c {({{S }_{ji}}{{\boldsymbol{x}}_{{\mathrm{h}}i}})} $$ (4)

    式中Oj为$ {\boldsymbol{O}} $中第$j$个通道的特征向量。

    将维度注意力机制输出O及空间注意力机制输出$ {\boldsymbol{T}} $相加,得到最后的输出$ {{\boldsymbol{X}}} $:

    $$ {{\boldsymbol{X}}} = {\boldsymbol{O}} + {\boldsymbol{T}} $$ (5)

    判别器旨在判断图像是真实图像还是重建图像。本文采用类似编码器的模型结构作为判别器,其网络参数见表2。判别器主要包括6层卷积Q1—Q6及1层全连接,每层卷积核尺寸为4×4,步长为2,输出维度依次为64,128,256,512,512,100。通过6层卷积后特征图尺寸调整为1×1×100,然后输入到全连接分类器中得到最终的判断类别。

    表  2  判别器网络参数
    Table  2.  Discriminator network parameters
    网络层级 Q1 Q2 Q3 Q4 Q5 Q6
    卷积核尺寸 4×4 4×4 4×4 4×4 4×4 4×4
    输出特征维度 64 128 256 512 512 100
    输出特征图尺寸 32×32 16×16 8×8 4×4 2×2 1×1
    下载: 导出CSV 
    | 显示表格

    本文采用与Skip−GANomaly相同的损失函数,主要包括对抗损失$ {L_{{\mathrm{adv}}}} $、语义损失$ {L_{{\mathrm{con}}}} $及潜在变量损失$ {L_{{\mathrm{lat}}}} $。对抗损失用于在训练过程中提升判别器判别图像是否为虚拟图像的能力,计算公式为

    $$ {L_{{\mathrm{adv}}}} = {E_{x \sim p(x)}}{\mathrm{ln}}\; {U}(x) + {E_{x \sim p(x)}}(1 - {\mathrm{ln}}\; {U}(x)) $$ (6)

    式中:$ {E_{x \sim p(x)}} $为训练样本的预计期望值,$ p(x) $为样本$ x $的分布;U(x)为判别器输出。

    语义损失用于约束重构图像与输入图像之间的误差,计算公式为

    $$ {L_{{\mathrm{con}}}} = {E_{x \sim p(x)}}||x - x'|{|_1} $$ (7)

    式中$ || \cdot |{|_1} $为L1范数。

    在上述损失函数基础上添加一个额外损失,用于约束潜在变量的损失。为了最小化重建图像$ x\mathrm' $与输入图像之间的距离,选取判别器最后一个卷积层的输出作为潜在变量损失,计算公式为

    $$ {L_{{\mathrm{lat}}}} = {E_{x \sim p(x)}}||f(x) - f(x')|{|_2} $$ (8)

    式中:$ f( \cdot ) $为判别器最后一层卷积操作;$ || \cdot |{|_2} $为L2范数。

    整体损失函数为

    $$ {L_{{\mathrm{sum}}}} = \lambda {L_{{\mathrm{lat}}}} + {L_{{\mathrm{con}}}} + {L_{{\mathrm{adv}}}} $$ (9)

    式中$ \lambda $为潜在变量损失的权重系数,本文设置为10。

    用异常分数$ y_{\mathrm{a}} $作为评价图像中是否含有异物的标准,分数越高,表示包含异物的可能性越大。其计算公式为

    $$ {y_{\mathrm{a}}} = {\lambda _1}{L_{{\mathrm{con}}}} + (1 - {\lambda _1}){L_{{\mathrm{lat}}}} $$ (10)

    式中$ {\lambda _1} $ 为语义损失的权重系数,本文设置为0.5。

    对于已训练完成的模型权重,包含异物的煤流图像对应的异常分数与正常煤流图像对应的异常分数差别较大,通过选取合适的阈值即可实现对正常样本和异常样本的分类。

    为获得输送带煤流异物检测数据集,在山东某矿区部署煤流图像采集设备,使用高速夜视相机作为采集摄像头,以60°俯视角度安装固定于输送带上方,采集到的图像数据通过网络上传到数据处理中心。部分异常样本如图3所示,包括大块矸石、橡胶带、木块等。不同异物形状、大小存在较大差异,且部分异物被煤流遮挡,因此,当采用统一的特征提取算法时,区分难度较大。

    图  3  部分异常样本
    Figure  3.  Partial abnormal samples

    截取煤矿井下时长为150 h的视频,选取不同时刻的煤流图像14 707张,经过人为标定,数据中包含107张含有异物的图像及14 600张正常图像。选取正常煤流图像作为训练集,107张包含异物的异常煤流图像和600张正常煤流图像作为测试集。数据集划分见表3

    表  3  数据集划分
    Table  3.  Dataset partitioning
    数据类型训练集样本数/张测试集样本数/张
    正样本14 000600
    负样本0107
    总体样本14 000707
    下载: 导出CSV 
    | 显示表格

    由于实验数据中正负样本不平衡,相较于接收者操作特征(Receiver Operating Characteristic,ROC)曲线,精确率−召回率曲线下面积(Area Under the Precision Recall Curve,AUPRC)更具有代表性。因此,本文选取AUPRC、召回率R和精确率P作为评价标准[19]。召回率和精确率计算公式为

    $$ {R} = \frac{{{T_{\mathrm{P}}}}}{{{T_{\mathrm{P}} + F_{\mathrm{N}}}}} $$ (11)
    $$ {{P = }}\frac{T_{\mathrm{P}}}{{{T_{\mathrm{P}} + F_{\mathrm{P}}}}} $$ (12)

    式中:TP为真正例,即异物煤流图像被预测正确的数量;FN为假反例,即正常煤流图像被预测成异常煤流图像的数量;FP为假正例,即异物煤流图像被预测成正常煤流的数量。

    本文实验平台为NVIDIA−2080TI显卡,采用Pytorch深度学习框架和Adam优化器,初始学习率设置为10−4,Batch-Size大小为64。

    为验证本文DA−GANomaly模型的有效性,选取5种常见的基于深度学习的异物检测模型进行比较,包括AnoGAN、EGBAD(Efficient GAN−based Anomaly Detection) [20]、GANomaly[11]、ALAD (Adversarially Learned Anomaly Detection)[21] 和 Skip−GANomaly[12]。实验结果见表4,可见本文DA−GANomaly模型的精确率、召回率及AUPRC分别为79.5%,83.2%和85.1%,均优于其他模型。相较于次优的Skip−GANomaly模型,DA−GANomaly模型的AUPRC提升了3%,精确率提升了24.1%,召回率提升了3.8%。

    表  4  不同模型实验结果对比
    Table  4.  Comparison of experimental results of different models
    模型 AUPRC/% 精确率/% 召回率/%
    AnoGAN[10] 36.2 22.3 52.3
    EGBAD[15] 54.5 42.0 61.6
    GANomaly[11] 69.9 51.5 82.2
    ALAD[16] 75.56 55.7 77.5
    Skip−GANomaly[12] 82.1 55.4 79.4
    DA−GANomaly 85.1 79.5 83.2
    下载: 导出CSV 
    | 显示表格

    6种模型的精确率−召回率曲线(Precision Recall Curve,PRC)如图4所示。可看出,相较于其他模型,本文所提DA−GANomaly模型的AUPRC最大,综合性能表现最优异。

    图  4  6种模型的PRC
    Figure  4.  Precision recall curves of 6 models

    测试数据集中样本的异常分数分布直方图如图5所示,包含异物的煤流图像对应的异常分数明显高于正常样本,两者分布具有明显差异,表明本文提出的模型能够区分正常煤流图像和包含异物的异常煤流图像。

    图  5  DA−GANomaly模型的异常分数分布直方图
    Figure  5.  Histogram of abnormal fraction distribution of DA-GANomaly model

    为进一步验证本文模型的有效性,对另外的4.5 h煤矿现场视频进行识别,结果如图6所示。

    人工筛选共发现4个不同异物,如图6(a)所示。采用表4中综合表现较好的ALAD、Skip−GANomaly和本文模型进行异物识别,结果分别如图6(b)−图6(d)所示,其中标注Y的图像为识别出的异常煤流图像。本文模型检测出3例异物,而其他模型最多检出2例。观察发现,上述模型均未检测出图6中的第4张异常煤流图像。该煤流表面异物与煤流背景高度相似,区分难度大。而针对第1张样本图像,仅本文模型识别出了异物。相较于其他模型,本文模型通过引入双注意力机制,进一步突出了异常煤流图像的特征,从而有效提升了异物检测精度。

    图  6  异物识别结果
    Figure  6.  Foreign object recognition results

    为了验证本文模型的实时性,对模型的计算时间进行了测试,结果见表5。可看出本文模型的单帧计算时间为7.2 ms,每秒可处理138帧图像,满足在线检测的实时性要求。测试结果验证了本文模型应用于煤流异物实时检测的可行性,然而,目前该模型还未在实际煤矿系统中进行部署,下一步将考虑进行这方面的工作。

    表  5  模型实时性测试结果
    Table  5.  Real time test results of the model
    每秒浮点计算数/109 模型参数量/106 单帧计算时间/ms 每秒计算帧数
    5.30 32.8 7.2 138
    下载: 导出CSV 
    | 显示表格

    提出了一种基于DA−GANomaly的煤流异物智能检测方法。为克服实际生产过程中煤流异常样本稀缺导致的样本不平衡问题,采用半监督学习的方式,通过正常样本完成异物检测模型的训练。针对开采环境光线条件恶劣的情况,在生成器中引入双注意力机制,突出有利于区分异常样本的感兴趣特征。实验结果表明,与5种经典异常检测模型相比,DA−GANomaly模型的综合性能最佳。需要说明的是,基于图像的异物检测方法受限于视觉传感器的感知范围,目前仅适用于煤流表面异物的智能检测,对于埋在煤流下的异物尚缺乏感知能力。

  • 图  1   矿井提升机钢丝绳在线监测系统组成

    Figure  1.   Online monitoring system composition of mine hoist steel wire rope

    图  2   移动巡检平台

    Figure  2.   Mobile inspection platform

    图  3   Retinex算法处理结果

    Figure  3.   Processing results of Retinex algorithms

    图  4   同态滤波算法处理结果

    Figure  4.   Processing results of homomorphic filtering algorithms

    图  5   钢丝绳缺陷检测实验流程

    Figure  5.   Experimental flow of wire ropes defect detection

    图  6   改进YOLOv5s网络结构

    Figure  6.   Improved YOLOv5s network structure

    图  7   钢丝绳断丝检测结果

    Figure  7.   Breakage detection results of steel wire rope

    图  8   钢丝绳磨损检测结果

    Figure  8.   Surface wear detection results of steel wire rope

    表  1   不同方法的峰值信噪比

    Table  1   Peak signal-to-noise ratio of different methods

    去噪方法AutoMSRCRMSR高斯滤波指数滤波
    PSNR13.2512.6311.7911.18
    下载: 导出CSV

    表  2   断丝检测定位结果

    Table  2   Breakage detection and positioning results of steel wire rope

    方法 断丝实际位置/m 检测位置/m 误差/%
    文献[9]方法10.5610.183.60
    11.1210.693.87
    文献[11]方法10.5610.292.56
    11.1211.463.06
    本文方法10.5610.391.61
    11.1210.971.35
    下载: 导出CSV

    表  3   磨损检测定位结果

    Table  3   Surface wear detection and positioning results of steel wire rope

    方法 磨损实际位置/m 检测位置/m 误差/%
    文献[9]方法 5.75 5.41 5.91
    6.11 未识别
    6.62 6.31 4.68
    6.79 未识别
    文献[11]方法 5.75 5.50 4.35
    6.11 未识别
    6.62 6.37 3.78
    6.79 未识别
    本文方法 5.75 5.89 2.43
    6.11 6.32 3.44
    6.62 6.48 2.11
    6.79 7.02 3.39
    下载: 导出CSV

    表  4   效果对比

    Table  4   Effect comparison

    比较项目改进前改进后
    断丝检测准确率/%≥80≥96
    损伤定位误差/mm≤500≤300
    损伤定位准确率/%≥75≥98
    损伤实时检出率/%≥76≥90
    尾绳畸变检出率/%≥70≥85
    下载: 导出CSV
  • [1] 朱真才,李翔,沈刚,等. 双绳缠绕式煤矿深井提升系统钢丝绳张力主动控制方法[J]. 煤炭学报,2020,45(1):464-473.

    ZHU Zhencai,LI Xiang,SHEN Gang,et al. Wire rope tension active control of double-rope winding deep well hoisting systems[J]. Journal of China Coal Society,2020,45(1):464-473.

    [2] 李腾宇,寇子明,吴娟,等. 超千米深井提升机可视化监测系统应用[J]. 煤炭学报,2020,45(增刊2):1069-1078.

    LI Tengyu,KOU Ziming,WU Juan,et al. Monitoring system of the hoist in the over kilometer deep shaft[J]. Journal of China Coal Society,2020,45(S2):1069-1078.

    [3] 王红尧,田劼,张艳林,等. 矿用钢丝绳在线监测教学实验装置关键技术[J]. 煤矿安全,2021,52(6):177-182.

    WANG Hongyao,TIAN Jie,ZHANG Yanlin,et al. Key technologies of teaching experimental device for on line inspection of mining wire rope[J]. Safety in Coal Mines,2021,52(6):177-182.

    [4]

    ZHANG Guoyang,TANG Zhaohui,FAN Ying,et al. Steel wire rope surface defect detection based on segmentation template and spatiotemporal gray sample set[J]. Sensors,2021,21(16). DOI: 10.3390/s21165401.

    [5]

    ZHOU Ping,ZHOU Gongbo,HE Zhenzhi,et al. A novel texture-based damage detection method for wire ropes[J]. Measurement,2019,148(12). DOI: 10.1016/j.measurement.2019.106954.

    [6] 刘钰,康爱国,李良辉,等. 基于TMR传感器的矿用钢丝绳断丝缺陷检测系统[J]. 煤矿安全,2019,50(5):122-125.

    LIU Yu,KANG Aiguo,LI Lianghui,et al. Broken wire defect detection system in mine wire rope based on TMR sensor[J]. Safety in Coal Mines,2019,50(5):122-125.

    [7] 田劼,田壮,郭红飞,等. 矿用钢丝绳损伤检测磁通回路优化设计[J]. 工矿自动化,2022,48(3):118-122.

    TIAN Jie,TIAN Zhuang,GUO Hongfei,et al. Optimization design of magnetic flux circuit for mine wire rope damage detection[J]. Journal of Mine Automation,2022,48(3):118-122.

    [8] 叶辉,乔铁柱. 矿用钢丝绳在线检测系统[J]. 煤矿安全,2018,49(8):131-134.

    YE Hui,QIAO Tiezhu. Research on on-line detection system of mine wire rope[J]. Safety in Coal Mines,2018,49(8):131-134.

    [9] 李金华,夏黎明. 图像识别技术在矿用钢丝绳检测中的应用[J]. 山西焦煤科技,2022,46(4):16-18,21. DOI: 10.3969/j.issn.1672-0652.2022.04.005

    LI Jinhua,XIA Liming. Application of image recognition technology in mining wire rope detection[J]. Shanxi Coking Coal Science & Technology,2022,46(4):16-18,21. DOI: 10.3969/j.issn.1672-0652.2022.04.005

    [10] 姜泓宇,董增寿,贺之靖. 基于机器视觉的钢丝绳表面缺陷检测[J]. 太原科技大学学报,2023,44(5):434-439,446.

    JIANG Hongyu,DONG Zengshou,HE Zhijing. Surface defect detection of wire rope based on feature fusion and IWOA-SVM[J]. Journal of Taiyuan University of Science and Technology,2023,44(5):434-439,446.

    [11] 刘晓磊,吴国群,阚哲. 基于深度学习的煤矿钢丝绳缺损检测方法研究[J]. 煤炭工程,2023,55(11):148-153.

    LIU Xiaolei,WU Guoqun,KAN Zhe. Research on defect detection method of coal mine wire rope based on deep learning[J]. Coal Engineering,2023,55(11):148-153.

    [12] 吴东,张宝金,刘伟新,等. 强噪声背景下钢丝绳损伤信号降噪方法[J]. 工矿自动化,2022,48(1):58-63.

    WU Dong,ZHANG Baojin,LIU Weixin,et al. Noise reduction method for wire rope damage signal under strong noise background[J]. Industry and Mine Automation,2022,48(1):58-63.

    [13] 阮顺领,刘丹洋,白宝军,等. 基于自适应MSRCP算法的煤矿井下图像增强方法[J]. 矿业研究与开发,2021,41(11):186-192.

    RUAN Shunling,LIU Danyang,BAI Baojun,et al. Image enhancement method for underground coal mine based on the adaptive MSRCP algorithm[J]. Mining Research and Development,2021,41(11):186-192.

    [14] 朱海平. 矿井提升钢丝绳表面损伤在线视觉检测系统研究[D]. 徐州:中国矿业大学,2023.

    ZHU Haiping. Research on online visual detection system for surface damage of mine hoisting wire rope[D]. Xuzhou:China University of Mining and Technology,2023.

    [15] 郭永坤,朱彦陈,刘莉萍,等. 空频域图像增强方法研究综述[J]. 计算机工程与应用,2022,58(11):23-32.

    GUO Yongkun,ZHU Yanchen,LIU Liping,et al. Research review of space-frequency domain image enhancement methods[J]. Computer Engineering and Applications,2022,58(11):23-32.

    [16]

    BHATT P M,MALHAN R K,RAJENDRAN P,et al. Image-based surface defect detection using deep learning[J]. Journal of Computing and Information Science in Engineering,2021,21(4):1-23.

    [17]

    HUANG Xinyuan,LIU Zhiliang,ZHANG Xiuyu,et al. Surface damage detection for steel wire ropes using deep learning and computer vision techniques[J]. Measurement,2020,161(12). DOI: 10.1016/j.measurement.2020.107843.

    [18] 李鑫. 基于机器视觉的钢丝绳直径在线检测方法研究[D] . 西安:西安石油大学,2023.

    LI Xin. Research on online inspection method of wire rope diameter based on machine vision[D]. Xi'an:Xi'an Shiyou University,2023.

    [19]

    LIU Shiwei,SUN Yanhua,KANG Yihua. A novel e-exponential stochastic resonance model and weak signal detection method for steel wire rope[J]. IEEE Transactions on Industrial Electronics,2022,69(7):7428-7440. DOI: 10.1109/TIE.2021.3095802

    [20] 赵文,薛涛,凡成华,等. 矿井提升机钢丝绳损伤在线检测方法研究[J]. 矿山机械,2022,50(6):22-26. DOI: 10.3969/j.issn.1001-3954.2022.06.006

    ZHAO Wen,XUE Tao,FAN Chenghua,et al. Research on online detection method for damage of wire rope of mine hoist[J]. Mining & Processing Equipment,2022,50(6):22-26. DOI: 10.3969/j.issn.1001-3954.2022.06.006

    [21]

    LIU Shiwei,CHEN Muchao. Wire rope defect recognition method based on MFL signal analysis and 1D-CNNs[J]. Sensors,2023,23(7). DOI: 10.3390/s23073366.

    [22]

    CHANG X D,PENG Y X,ZHU Z C,et al. Tribological behavior and mechanical properties of transmission wire rope bending over sheaves under different sliding conditions[J]. Wear,2023(514/515). DOI: 10.1016/j.wear.2022.204582.

  • 期刊类型引用(3)

    1. 郭鹏,谢逢选,孙培申,高彦平,卢志兴,李阳. 码头管沟可燃气体有毒气体检测装置的研制与应用. 钻采工艺. 2024(03): 140-146 . 百度学术
    2. 鲁旭臣,李爽,刘佳鑫,毕海涛,郎业兴,王雅楠,丁五行. 采用热释电原理检测SF_6气体中CO体积分数的方法与应用. 高压电器. 2024(09): 197-205 . 百度学术
    3. 许伟健,张德胜,黄增波. 基于双波长光电感烟的煤矿火灾烟雾监测技术. 煤矿安全. 2023(12): 204-212 . 百度学术

    其他类型引用(0)

图(8)  /  表(4)
计量
  • 文章访问数:  234
  • HTML全文浏览量:  41
  • PDF下载量:  51
  • 被引次数: 3
出版历程
  • 收稿日期:  2024-01-22
  • 修回日期:  2024-05-14
  • 网络出版日期:  2024-06-12
  • 刊出日期:  2024-05-29

目录

/

返回文章
返回