Foreign object detection for mining conveyor belts based on YOLOv5n-CND
-
摘要:
针对异物图像背景复杂、特征提取能力弱、粘连小目标的检测精度低、检测框定位及尺度失真等问题，提出了一种基于YOLOv5n−CND的矿用输送带目标检测算法。首先，采用C2f对特征金字塔进行优化，使用更少参数解决在井下异物图像采集背景复杂且存在复杂目标干扰对小目标检测不敏感的问题；然后，采用归一化高斯瓦萨斯坦距离(NWD)回归损失函数替代CIoU，改善多尺度异物检测效果不佳的问题，实现粘连小目标的精准检测；最后，添加目标检测头(Dy Head)，将尺度、空间和任务3种注意力机制结合，提高对异物轮廓的特征提取能力，增强对多尺度目标的适应能力。实验结果表明：YOLOv5n−CND的mAP@0.5、mAP@0.5∶0.95、参数量及检测速度分别为87.9%，55.9%，4.49×106个，85.5帧/s，满足煤矿井下异物检测需求；YOLOv5n−CND的mAP@0.5和mAP@0.5∶0.95较YOLOv5n分别提高了2.6%和3.4%，较YOLOv5s−CBAM分别提高了1.7%和3.8%；模型参数量在YOLOv5n的基础上略有提升，但较其他模型参数量均有所降低。选取异物与背景相近的细长检测物、光照比较低的锚杆检测物、大量煤矸石混杂的检测物、含有多个异物4种场景进行测试，结果表明：基于YOLOv5n−CND的矿用输送带异物检测算法未出现误检及重复检测的情况，漏检较少，检测框定位准确，对粘连小目标的处理效果更好，能够实现输送带异物的准确检测。
-
关键词:
- 矿用输送带 /
- 异物检测 /
- 粘连小目标检测 /
- YOLOv5n /
- C2f模块 /
- 归一化高斯瓦萨斯坦距离模块 /
- Dy Head检测头
Abstract:To address the issues of complex background in foreign object images, weak feature extraction, low detection accuracy for adhering small objects, and distortion in detection box positioning and scale, a foreign object detection algorithm for mining conveyor belts based on YOLOv5n-CND is proposed. First, the C2f module was used to optimize the feature pyramid, using fewer parameters to address the issue of poor sensitivity to small object detection caused by the complex background in foreign object images and interference from complex objects in underground environments. Second, the normalized Gaussian Wasserstein distance (NWD) regression loss function was used to replace CIoU, improving the performance of multi-scale foreign object detection and accurately predicting the detection of adhering small objects. Finally, a detection head (DyHead) was added, combining three attention mechanisms: scale, spatial, and task, to enhance feature extraction for foreign object contours and improve the adaptability to multi-scale targets. Experimental results demonstrated that YOLOv5n-CND achieved an mAP@0.5 of 87.9%, an mAP@0.5:0.95 of 55.9%, a parameter count of 4.49×106, and a detection speed of 85.5 frames per second, meeting the requirements for underground foreign object detection in coal mines. The mAP@0.5 and mAP@0.5:0.95 of YOLOv5n-CND were 2.6% and 3.4% higher than YOLOv5n, and 1.7% and 3.8% higher than YOLOv5s-CBAM, respectively. Although the model’s parameter count slightly increased compared to the YOLOv5n model, it was still lower than that of other models. Tests were conducted in four scenarios: foreign objects with elongated shapes resembling the background; anchor bolts with relatively low lighting; objects heavily mixed with coal gangue; and multiple foreign objects. The results indicated that the foreign object detection algorithm for mining conveyor belts based on YOLOv5n-CND did not result in false detections or duplicate detections, with very few missed detections. The detection box positioning was accurate, and the handling of adhering small objects was more effective, enabling precise detection of foreign objects on conveyor belts.
-
0. 引言
刮板输送机是煤矿工作面唯一的运输设备，链条是其关键运行部件。当出现刮板输送机断链故障时，若不能及时发现，将导致链条堆积，严重影响煤矿生产安全和效率。因此，众多专家学者对刮板输送机断链监测技术进行了研究。初期大多针对刮板输送机断链故障原因和预防措施进行分析，建立链条的强度条件[1]和有限元仿真模型[2]，探究卡、断链故障发生后刮板输送机动力学特性和链环之间接触力的变化规律[3]，并对落煤冲击条件下的链条进行动力学分析[4]，进而对断链后链条张力响应进行仿真研究[5]。目前刮板输送机断链监测方法主要包括压力监测法、差速监测法和视觉监测法[6]。吴孙阳等[7]设计了一种基于应力突变的刮板输送机断链监测系统，利用应变传感器测量与不同链条啮合的链轮轮齿受力面的应变，及时检测断链隐患；Zhang Xing等[8]提出了一种基于溜槽振动分析的刮板输送机链条故障检测策略，利用加速度传感器检测刮板输送机断链故障引起的溜槽振动信号，通过振幅识别断链故障；Hua Yilian等[9]通过安装在刮板两侧的超宽带节点实时反馈刮板是否出现倾斜情况，实现对刮板输送机断链故障的间接监测；高昌乐等[10]以刮板输送机链轮转速差为依据，当转速差超过预警值时，判断刮板输送机链条出现断裂现象；崔卫秀等[11]利用计算机诊断和AI视频识别技术，通过图像采集、分析和处理，对链条状态进行检测；Zou Huadong等[12]提出了一种基于划痕特征检测的视觉识别方法，通过监测识别链条划痕预测刮板输送机断链故障；Wang Zisheng等[13]采用Plackett−Burman试验确定刮板输送机链条裂纹深度、初始角度和拉伸载荷，为避免刮板输送机断链故障提供了参考。
煤矿井下工作面环境复杂恶劣，常规在刮板输送机中部槽或刮板上安装传感器检测断链的方法常出现传感器损坏现象，因此，基于视频监控的断链监测方法得到越来越多的应用。早期的煤矿井下视频监控技术主要是将井下各监控点的图像传输至地面中心监控室显示，并对设备参数异常、设备工作状态等情况进行人工识别。随着AI技术的快速发展，视频AI识别逐渐被引入煤矿井下安全监控领域。基于视频AI识别技术的刮板输送机断链监测技术[14-18]以AI算法为核心，依据视频AI摄像仪对井下刮板输送机断链状态进行实时监控。此类算法适应性强，能够解决复杂的非线性问题，但对数据样本集的要求较高，在线学习能力差，导致断链监测准确率和精确率相对较低。此外，现有技术通过采集样本数据进行离线算法训练，导致算法在陌生环境中适应性差、检测精度和鲁棒性不足。因此，提出一种基于在线贯序极限学习机（Online Sequential Extreme Learning Machine，OSELM）网络的刮板输送机断链智能监测技术。OSELM网络由极限学习机（Extreme Learning Machine，ELM）改进而来，采用增量式在线学习算法，通过分析样本数据集的自相关性和输入与输出关系，自动随机确定网络隐含层节点数量，不需要复杂的超参数调优和迭代优化过程，具备训练速度快、精度高、泛化能力强等优点。此外，OSELM网络能够更好地适应流式样本数据的训练，进而对网络输出权重进行更新迭代，使网络始终保持在最优状态，在处理不断变化的样本数据时具有显著优势。
1. ELM网络模型
ELM是一类单隐含层的FNN（Feedforward Neuron Network，前馈神经网络）[19-20]。ELM网络拓扑如图1所示，其包含n个输入层节点、L个隐含层节点和m个输出层节点。
ELM网络与传统人工智能网络不同，它随机获取神经网络输入层权值和隐含层偏置，利用最小二乘法准则，通过计算穆尔−彭罗斯广义逆矩阵得出网络输出权值，具有训练速度快、学习误差小等优势，且泛化性能极高[21-23]。
ELM网络在学习训练过程中随机获取样本{（xi，ti）}，其中xi为样本输入，ti为样本输出，i=1，2$ ,\cdots, $n。通过ELM网络隐含层S型激活函数g（·）计算隐含层输出函数：
$$ {h}_{k}\left({x}_{i}\right)=g\left({{\boldsymbol{w}}}_{k},{{\boldsymbol{b}}}_{k},{x}_{i}\right)=g\left({{\boldsymbol{w}}}_{k} {x}_{i}+{{\boldsymbol{b}}}_{k}\right) $$ (1) 式中：wk为第k个隐含层节点的输入权重矩阵，k=1，2$,\cdots , $L；bk为第k个隐含层节点偏置矩阵。
ELM网络模型可表示为
$$ {t}_{i}={\displaystyle \sum _{k=1}^{L}{{\boldsymbol{\beta}} }_{k}g\left({{\boldsymbol{w}}}_{k} {{{x}}}_{i}+{{\boldsymbol{b}}}_{k}\right)} $$ (2) 式中βk为ELM网络第k个隐含层节点的输出权重矩阵。
将训练ELM网络转换为求解一个期望输出线性矩阵系统问题，表示为
$$ {\boldsymbol{T}} = {\boldsymbol{H\beta}} $$ (3) 式中：T为ELM网络输出矩阵；H为隐含层输出矩阵；β为ELM网络输出权重矩阵。
为了最小化所有样本的整体预测误差，ELM网络通过最小二乘法计算网络输出权重矩阵β。
$$ {\boldsymbol{\beta}} {\text{ = }}{{\boldsymbol{H}}^\dagger }{\boldsymbol{T}} = {\left( {{{\boldsymbol{H}}^{\text{T}}}{\boldsymbol{H}}} \right)^{ - 1}}{{\boldsymbol{H}}^{\text{T}}}{\boldsymbol{T}} $$ (4) 式中${{\boldsymbol{H}}^\dagger }$为ELM网络输出矩阵H的穆尔−彭罗斯广义逆矩阵。
2. OSELM网络模型
传统ELM网络不能实时处理动态模型，对此，提出能产生大量序列化数据的在线增量生长式ELM网络，即OSELM网络。其将单隐含层神经网络输出权重的学习训练过程分为2个阶段：① 初始化阶段，通过海量刮板输送机断链故障状态的样本训练得到网络输出权重矩阵β。② 序列化阶段，利用序列化在线样本数据集不断完善β。
2.1 OSELM网络离线样本初始化训练
将获取的刮板输送机断链离线样本进行高精度可靠筛选，得到高质量刮板输送机断链离线样本。将离线样本输入OSELM网络进行初始化训练，同时将学习到的知识和经验存储到隐含层节点。OSELM网络根据离线样本特征随机获取隐含层节点的输入权重矩阵wk及偏置矩阵bk，结合广义逆矩阵计算方法，对批量离线样本数据进行训练，计算出初始化的网络输出权重矩阵β0。
$$ {{\boldsymbol{\beta}} ^0} = {\left( {{{\boldsymbol{H}}_0}^{\text{T}}{{\boldsymbol{H}}_0}} \right)^{ - 1}}{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} $$ (5) 式中：H0为初始化的隐含层输出矩阵；T0为初始化的网络输出矩阵。
将β0作为OSELM网络序列化迭代阶段的初始权重，进一步完善网络。
2.2 OSELM网络输出权重序列化迭代
定义隐含层输出矩阵为
$$ {\boldsymbol{H}} = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{H}}_0}} \\ {{{\boldsymbol{H}}_1}} \end{array}} \right] $$ (6) 式中H1为第1次迭代后的隐含层输出矩阵，为已知量。
定义ELM网络输出矩阵为
$$ {\boldsymbol{T}} = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{T}}_0}} \\ {{{\boldsymbol{T}}_1}} \end{array}} \right] $$ (7) 式中T1为第1次迭代后的网络输出矩阵，为已知量。
因此，ELM网络输出权重矩阵更新为
$$ \begin{split} {\boldsymbol{\beta}} =& {\left( {{{\boldsymbol{H}}^{\text{T}}}{\boldsymbol{H}}} \right)^{ - 1}}{{\boldsymbol{H}}^{\text{T}}}{\boldsymbol{T}}= \\ &{\left\{ {{{\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{H}}_0}} \\ {{{\boldsymbol{H}}_1}} \end{array}} \right]}^{\text{T}}}\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{H}}_0}} \\ {{{\boldsymbol{H}}_1}} \end{array}} \right]} \right\}^{ - 1}}{\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{H}}_0}} \\ {{{\boldsymbol{H}}_1}} \end{array}} \right]^{\text{T}}}\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{T}}_0}} \\ {{{\boldsymbol{T}}_1}} \end{array}} \right]= \\ & {\left( {{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} \right)^{ - 1}}\left( {{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{T}}_1}} \right) \end{split} $$ (8) 令P0=（${{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0} $）−1，P1=（${{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0} $+${{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1} $）−1，可得到P1和P0的迭代计算公式：
$$ {{\boldsymbol{P}}_1} = {\left( {{{\boldsymbol{P}}_0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} \right)^{ - 1}} $$ (9) 根据Sherman−Morrison矩阵求逆公式[24]，可将式（9）简化为
$$ {{\boldsymbol{P}}_1} = {{\boldsymbol{P}}_0} - \frac{{{{\boldsymbol{P}}_0}{{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}{{\boldsymbol{P}}_0}}}{{1 + {{\boldsymbol{H}}_1}{{\boldsymbol{P}}_0}{{\boldsymbol{H}}_1^{\text{T}}}}} $$ (10) 将式（9）两边同时求逆，得
$$ {{\boldsymbol{P}}_1^{ - 1} }= {{\boldsymbol{P}}_0^{ - 1}} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1} $$ (11) 通过式（11）可推导出${{\boldsymbol{P}}_0^{ - 1}} $计算公式：
$$ {{\boldsymbol{P}}_0^{ - 1}} = {{\boldsymbol{P}}_1^{ - 1}} - {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1} $$ (12) 将P0=（${{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0} $）−1代入式（5），得
$$ {{\boldsymbol{\beta}} ^0} = {\left( {{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0}} \right)^{ - 1}}{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} = {P_0}{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} $$ (13) $$ {{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} = {{\boldsymbol{P}}_0^{ - 1}}{{\boldsymbol{\beta}} ^0} = \left( {{{\boldsymbol{P}}_1^{ - 1}} - {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} \right){{\boldsymbol{\beta}} ^0} $$ (14) 将P1=（${{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0}} $+${{{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} $）−1和式（14）同时代入式（8），得到第1次迭代后的网络输出权重矩阵：
$$\begin{split} {{\boldsymbol{\beta}} ^1} = &{\left( {{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{H}}_0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} \right)^{ - 1}}\left( {{{\boldsymbol{H}}_0^{\text{T}}}{{\boldsymbol{T}}_0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{T}}_1}} \right) = \\ &{{\boldsymbol{P}}_1}\left[ {\left( {{{\boldsymbol{P}}_1^{ - 1}} - {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{H}}_1}} \right){{\boldsymbol{\beta}} ^0} + {{\boldsymbol{H}}_1^{\text{T}}}{{\boldsymbol{T}}_1}} \right] = \\ &{{\boldsymbol{\beta}} ^0} + {{\boldsymbol{P}}_1}{{\boldsymbol{H}}_1^{\text{T}}}\left( {{{\boldsymbol{T}}_1} - {{\boldsymbol{H}}_1}{{\boldsymbol{\beta}} ^0}} \right) \end{split} $$ (15) 定义OSELM网络第k+1次迭代的网络输出权重矩阵为βk+1，中间参数矩阵为Pk+1。根据OSELM网络在线迭代关系，可由第k次迭代参数计算出第k+1次迭代参数，在线学习递推公式为
$$ {{\boldsymbol{P}}_{k + 1}} = {{\boldsymbol{P}}_k} - \frac{{{{\boldsymbol{P}}_k}{{\boldsymbol{H}}_{k + 1}^{\text{T}}}{{\boldsymbol{H}}_{k + 1}}{{\boldsymbol{P}}_k}}}{{1 + {{\boldsymbol{H}}_{k + 1}}{{\boldsymbol{P}}_k}{{\boldsymbol{H}}_{k + 1}^{\text{T}}}}}\qquad $$ (16) $$ {{\boldsymbol{\beta}} ^{k + 1}} = {{\boldsymbol{\beta}} ^k} + {{\boldsymbol{P}}_{k + 1}}{{\boldsymbol{H}}_{k + 1}^{\text{T}}}\left( {{{\boldsymbol{T}}_{k + 1}} - {{\boldsymbol{H}}_{k + 1}}{{\boldsymbol{\beta}} ^k}} \right) $$ (17) 2.3 OSELM网络训练流程
OSELM网络初始化阶段训练流程如下。
1） 获取样本数据集D={（xi, ti）}，在其中选取n0（n0≥L）个高可靠度采样数据并组成集合D0={（xj, tj）}，j=1, 2$, \cdots ,n_0 $，将其输入OSELM网络。
2） OSELM网络随机获取隐含层节点的输入权重矩阵wk和偏置矩阵bk，并计算初始化的隐含层输出矩阵H0。
3） 计算初始化的网络输出权重矩阵β0。
序列化阶段训练流程如下。
1） 通过在线学习，训练数据样本（xi+1, ti+1）。
2） 计算在线学习数据样本的隐含层输出矩阵Hk+1。
3） 计算OSELM网络的输出权重矩阵βk+1。
与多数在线生长型人工神经网络模型相比，OSELM网络具有参数少、训练速度快和在线学习泛化性能强等优势。
2.4 OSELM网络算法及框架设计
设计OSELM网络算法包含5个有限元模型，定义为
$$ \text{OSELM}=\langle g(\cdot ),{\boldsymbol{H}},{\boldsymbol{P}},{\boldsymbol{T}},{\boldsymbol{\beta}} \rangle $$ (18) 式（18）中，隐含层激活函数g（·）由系统模型和外界环境决定；中间参数P：Pk×Hk+1→Pk+1，其第k+1次迭代的计算结果Pk+1总是由第k次的中间参数Pk和OSELM网络第k+1次隐含层输出矩阵Hk+1共同决定；网络输出权重矩阵β：βk×Pk+1×Hk+1×Tk+1→βk+1，其第k+1次迭代的计算结果βk+1总是由OSELM网络第k次的输出权重矩阵βk、第k+1次中间参数Pk+1和第k+1次网络输出矩阵Hk+1三者共同决定。
OSELM网络框架如图2所示。将采集的刮板输送机断链离线样本和AI摄像仪实时在线感知图像输入OSELM网络，输出为AI摄像仪的决策信息。
3. 试验与结果分析
3.1 OSELM网络离线样本训练
采用离线样本对构建的OSELM网络进行训练，进而构建刮板输送机断链识别模型。试验硬件配置为13th Gen Intel（R） Core（TM） i9−13900K CPU @ 3.00 GHz处理器、12 GiB的NVIDIA RTX A2000GPU、Windows10操作系统，编程语言采用Python 3.10.1，开发环境为PyCharm。
样本数据集来自兖矿能源集团股份有限公司金鸡滩煤矿、中国华能集团有限公司高头窑煤矿、淮南矿业（集团）有限责任公司丁集煤矿等大型综采（放）工作面，由隔爆兼本安型高清摄像仪采集。为提升刮板输送机断链识别效果，使用LabelImg对样本数据集进行标注，得到6 952张有效图像，按照7∶1∶2的比例划分为训练集、测试集和验证集，用于网络训练和性能评估。部分样本如图3所示。
OSELM网络经离线样本训练和测试，其对刮板输送机断链状态识别的平均精度均值（Mean Average Precision，mAP）、准确率和精确率均达到90%以上，平均检测速度为183.5帧/s。
3.2 工业性试验
3.2.1 试验环境及方法
基于OSELM的刮板输送机断链智能监测模型如图4所示。
![]()
图 4 刮板输送机断链智能监测模型Figure 4. Intelligent chain-broken monitoring model for scraper conveyor依托兖矿能源集团股份有限公司石拉乌素煤矿工作面配置的海康威视KBA18（D）型AI摄像仪进行井下工业性试验。AI摄像仪安装于刮板输送机机尾架，如图5所示。考虑煤矿井下环境复杂、恶劣，AI摄像仪时常会附着大量煤尘，影响摄像仪视觉清晰度，对AI摄像仪设置定时雨刷功能，可根据工作面不同的采煤工艺及工况自定义雨刷工作时间间隔，在特殊情况下可手动操作雨刷工作。同时，为避免补光灯光照强度对拍摄质量和监测准确度的影响，为AI摄像仪配置自动变焦、曝光度自动调节和强光抑制功能。
![]()
图 5 刮板输送机断链智能监测AI摄像仪布置Figure 5. AI camera deployment for broken chain monitoring system on scraper conveyor将经过离线样本训练的OSELM网络与AI摄像仪融合，进行序列化在线学习训练。在线学习过程中，AI摄像仪先从外界环境中随机获取刮板输送机链条当前状态集合，之后产生相应的判断。随着AI摄像仪采集的在线样本不断增多，OSELM网络可以获取到最佳的“状态−决策”集合，从而进一步完成自主认知发育学习。
AI摄像仪实时采集的刮板输送机链条图像通过井下工业性千兆光纤环网上传至刮板输送机集中控制系统平台。在该平台主界面（图6）可显示刮板输送机断链监测的故障和通信信息，且具有断链监测的可视化界面，对断链识别结果进行全方位显示，如图7所示，蓝色框为采样识别区域，绿色和橙色锚框分别为左右两侧链环的识别状态和mAP。
![]()
图 6 刮板输送机集中控制系统主界面Figure 6. Main interface of centralized control system for scraper conveyor3.2.2 试验结果
采用文献[18-21]中的网络模型（分别为深度神经网络融合网络、RT−DETR、YOLOv5、YOLOv8）、ELM和OSELM网络进行可视化识别分析，结果如图8所示。可看出OSELM网络对刮板输送机断链和正常链环的识别准确度均高于对比模型。
![]()
图 8 不同网络模型的断链识别可视化结果Figure 8. Visualization results of broken chain identification using different networks从mAP50、准确率、精确率、检测速度4个指标方面，将OSELM网络与文献[18-22]所提网络模型、ELM和OSELM网络进行对比分析，结果见表1。
表 1 不同断链监测网络模型性能对比Table 1. Performance comparison of different network models for broken chain monitoring从表1可看出：OSELM网络的mAP50、准确率和精确率均处于较高水平，分别达98.6%，99.3%，91.7%，较ELM网络分别提高了4.5%，2.5%，3.5%；与文献[18-21]中网络模型和ELM相比，OSELM网络整体监测性能更高，主要原因是OSELM网络不仅能够通过断链离线样本信息进行训练，还能在线实时学习当前复杂场景的链条状态样本信息，而其他模型仅能依靠离线样本进行网络训练，存在较高的样本局限性；文献[22]中网络模型的断链识别精确率较OSELM网络高1.7%，但准确率较OSELM网络低23.5%，存在较大的目标识别误差；OSELM网络的检测速度达205.6帧/s，仅略低于深度神经网络融合网络，验证了OSELM网络在刮板输送机断链监测方面的高效性。
理论方面，文献[18-22]中网络模型和ELM网络的训练和参数调优过程复杂，训练时间长，在实时训练方面性能较差。OSELM网络对增加的样本能够进行实时学习训练，通过上一个状态的网络输出权重，结合新增加的离线样本和在线样本，对网络输出权重进行更新迭代，不断优化网络输出权重，从而达到优化目标识别网络的目的。该网络的迭代参数种类较少，且可随新样本数据的到来不断更新而无需重新训练网络，使得网络模型始终保持在最新状态。
工业性试验结果验证了基于OSELM网络的刮板输送机断链智能监测系统能准确识别刮板输送机链条断裂故障，未发生漏报和误报情况，表明OSELM网络在煤矿井下复杂环境中具有较高的自主学习能力及较强的泛化性和鲁棒性。
4. 结论
1） OSELM网络在ELM网络基础上增加了在线训练模块，不仅能学习离线样本信息，还能在煤矿井下复杂场景中进行样本的实时在线训练，提高了刮板输送机断链识别模型的可靠性和泛化性。
2） 工业性试验结果表明，OSELM网络的mAP50、准确率和精确率分别达98.6%，99.3%，91.7%，高于深度神经网络融合网络、RT−DETR、YOLOv5、YOLOv8、ELM等对比模型；检测速度达205.6帧/s，可满足实时性检测要求。
3） 未来将重点优化OSELM网络针对刮板输送机断链的检测速度，并研究该网络在刮板输送机上煤矸识别和转载机危险区域人员误入检测方面的应用。
-
表 1 数据集划分
Table 1 Dataset division
数据集 输送带异物数/个 矸石 锚杆 铁器 训练集 2 893 2 764 2 903 验证集 665 563 886 总数 3 558 3 327 3 789 
下载: 导出CSV
表 2 消融实验结果
Table 2 Ablation experiment results
模型 C2f NWD Dy
HeadP/% mAP@
0.5/%mAP@
0.5∶0.95/%参数
量/106个FPS/
（帧·s−1）YOLOv5n × × × 86.1 85.3 52.5 3.90 105.5 改进模型1 √ × × 88.5 86.7 54.9 4.47 95.8 改进模型2 × √ × 87.8 86.0 53.0 3.91 104.0 改进模型3 × × √ 87.1 86.0 52.8 4.18 87.5 改进模型4 √ √ √ 91.4 87.9 55.9 4.49 85.5
下载: 导出CSV
表 3 对比实验结果
Table 3 Comparative experimental results
模型 mAP@0.5/% mAP@0.5∶
0.95/%参数量/
106个FPS/
（帧·s−1）YOLOv5n 85.3 52.5 3.90 105.5 YOLOv5s 86.5 52.8 12.53 94.6 YOLOv5s−Ghost 85.7 52.5 6.54 101.0 YOLOv5s−ShuffleNetV2 85.4 52.3 4.73 103.6 YOLOv5s−ECA 85.8 51.7 7.07 82.2 YOLOv5s−CBAM 86.2 52.1 8.13 71.3 YOLOv5s−Biformer 85.9 52.3 7.56 75.6 YOLOv7-tiny 84.7 51.4 6.03 83.7 YOLOv5n−CND 87.9 55.9 4.49 85.5
下载: 导出CSV
-
[1] 谢和平,任世华,谢亚辰,等. 碳中和目标下煤炭行业发展机遇[J]. 煤炭学报,2021,46(7):2197-2211. XIE Heping,REN Shihua,XIE Yachen,et al. Development opportunities of the coal industry towards the goal of carbon neutrality[J]. Journal of China Coal Society,2021,46(7):2197-2211.
[2] 樊红卫,刘金鹏,曹现刚,等. 低照度尘雾下煤、异物及输送带早期损伤多尺度目标智能检测方法[J/OL]. 煤炭学报:1-12[2024-01-15]. https://doi.org/10.13225/j.cnki.jccs.2023.0707. FAN Hongwei,LIU Jinpeng,CAO Xiangang,et al. Multi-scale target intelligent detection method for coal,foreign object and early damage of conveyor belt surface under low illumination and dust fog[J/OL]. Journal of China Coal Society:1-12[2024-01-15]. https://doi.org/10.13225/j.cnki.jccs.2023.0707.
[3] 王海军,王洪磊. 带式输送机智能化关键技术现状与展望[J]. 煤炭科学技术,2022,50(12):225-239. WANG Haijun,WANG Honglei. Status and prospect of intelligent key technologies of belt conveyor[J]. Coal Science and Technology,2022,50(12):225-239.
[4] 刘浩,刘海滨,孙宇,等. 煤矿井下员工不安全行为智能识别系统[J]. 煤炭学报,2021,46(增刊2):1159-1169. LIU Hao,LIU Haibin,SUN Yu,et al. Intelligent recognition system of unsafe behavior of underground coal miners[J]. Journal of China Coal Society,2021,46(S2):1159-1169.
[5] 李博,王学文,庞尚钟,等. 煤与矸石图像特征分析及试验研究[J]. 煤炭科学技术,2022,50(8):236-246. LI Bo,WANG Xuewen,PANG Shangzhong,et al. Image characteristics analysis and experimental study of coal and gangue[J]. Coal Science and Technology,2022,50(8):236-246.
[6] 王景起,张驰. 带式输送机防长条形异物保护装置的设计[J]. 起重运输机械,2013(10):90-91. WANG Jingqi,ZHANG Chi. Design of elongated foreign material protector for belt conveyor[J]. Hoisting and Conveying Machinery,2013(10):90-91.
[7] 王哲兴. 煤矿皮带运输异物识别及去除技术研究[J]. 中国石油和化工标准与质量,2022,42(15):87-89. WANG Zhexing. Study on the identification and removal technology of foreign body in coal mine belt transportation[J]. China Petroleum and Chemical Standard and Quality,2022,42(15):87-89.
[8] 孔力,李红,徐恕宏,等. 双能γ射线透射法煤矸石在线识别与分选系统[J]. 华中理工大学学报,1997(10):108-109,113. KONG Li,LI Hong,XU Shuhong,et al. The on line identification and separation system for coal gangues based on double energy γ ray transmission[J]. Journal of Huazhong University of Science and Technology,1997(10):108-109,113.
[9] 王闰泽,郎利影,席思星. 用于智能煤矸分选机器人的改进型VGG网络煤矸识别模型[J]. 煤炭技术,2022,41(1):237-241. WANG Runze,LANG Liying,XI Sixing. Improved VGG network coal gangue recognition model for intelligent coal gangue sorting robot[J]. Coal Technology,2022,41(1):237-241.
[10] 王超,郝博南,张立亚,等. 基于RetinaNet的煤矿井下输送带异物检测技术[J]. 煤矿机械,2022,43(12):180-183. WANG Chao,HAO Bonan,ZHANG Liya,et al. conveyor belt roreign object detection technology based on RetinaNet in underground coal mine[J]. Coal Mine Machinery,2022,43(12):180-183.
[11] 吴守鹏,丁恩杰,俞啸. 基于改进FPN的输送带异物识别方法[J]. 煤矿安全,2019,50(12):127-130. WU Shoupeng,DING Enjie,YU Xiao. Foreign body identification of belt based on improved FPN[J]. Safety in Coal Mines,2019,50(12):127-130.
[12] 雷世威,肖兴美,张明. 基于改进YOLOv3的煤矸识别方法研究[J]. 矿业安全与环保,2021,48(3):50-55. LEI Shiwei,XIAO Xingmei,ZHANG Ming. Research on coal and gangue identification method based on improved YOLOv3[J]. Mining Safety & Environmental Protection,2021,48(3):50-55.
[13] 徐志强,吕子奇,王卫东,等. 煤矸智能分选的机器视觉识别方法与优化[J]. 煤炭学报,2020,45(6):2207-2216. XU Zhiqiang,LYU Ziqi,WANG Weidong,et al. Machine vision recognition method and optimization for intelligent separation of coal and gangue[J]. Journal of China Coal Society,2020,45(6):2207-2216.
[14] 郭永存,王希,何磊,等. 基于TW−RN优化CNN的煤矸识别方法研究[J]. 煤炭科学技术,2022,50(1):228-236. GUO Yongcun,WANG Xi,HE Lei,et al. Research on coal and gangue recognition method based on TW-RN optimized CNN[J]. Coal Science and Technology,2022,50(1):228-236.
[15] 任志玲,朱彦存. 改进CenterNet算法的煤矿皮带运输异物识别研究[J]. 控制工程,2023,30(4):703-711. REN Zhiling,ZHU Yancun. Research on foreign object detection of coal mine belt transportation with improved CenterNet algorithm[J]. Control Engineering of China,2023,30(4):703-711.
[16] 来文豪,周孟然,胡锋,等. 基于多光谱成像和改进YOLO v4的煤矸石检测[J]. 光学学报,2020,40(24):72-80. LAI Wenhao,ZHOU Mengran,HU Feng,et al. Coal gangue detection based on multi-spectral imaging and improved YOLOv4[J]. Acta Optica Sinica,2020,40(24):72-80.
[17] 李永上,马荣贵,张美月. 改进YOLOv5s+DeepSORT的监控视频车流量统计[J]. 计算机工程与应用,2022,58(5):271-279. LI Yongshang,MA Ronggui,ZHANG Meiyue. Traffic monitoring video vehicle volume statistics method based on improved YOLOv5s+DeepSORT[J]. Computer Engineering and Applications,2022,58(5):271-279.
[18] 沈科,季亮,张袁浩,等. 基于改进YOLOv5s模型的煤矸目标检测[J]. 工矿自动化,2021,47(11):107-111,118. SHEN Ke,JI Liang,ZHANG Yuanhao,et al. Research on coal and gangue detection algorithm based on improved YOLOv5s model[J]. Industry and Mine Automation,2021,47(11):107-111,118.
[19] 郝帅,张旭,马旭,等. 基于CBAM−YOLOv5的煤矿输送带异物检测[J]. 煤炭学报,2022,47(11):4147-4156. HAO Shuai,ZHANG Xu,MA Xu,et al. Foreign object detection in coal mine conveyor belt based on CBAM-YOLOv5[J]. Journal of China Coal Society,2022,47(11):4147-4156.
[20] 邢雪凯,刘晨怡,胡国华,等. 基于改进YOLOv5s的安全帽检测算法[J]. 西安文理学院学报(自然科学版),2025,28(1):21-26. XING Xuekai,LIU Chenyi,HU Guohua,et al. Helmet detection algorithm based on improved YOLOv5s[J]. Journal of Xi'an University(Natural Science Edition),2025,28(1):21-26.
[21] 薛晓强,王小勇,李凡卉,等. 基于改进YOLOv7−Tiny的煤矿井下轨道异物检测方法[J/OL]. 光电子· 激光:1-9[2024-01-23]. http://kns.cnki.net/kcms/detail/12.1182.O4.20250109.1516.010.html. XUE Xiaoqiang,WANG Xiaoyong,LI Fanhui,et al. Foreign object detection method of underground coal mine track based on improved YOLOv7-Tiny[J/OL]. Journal of Optoelectronics·Laser:1-9[2024-01-23]. http://kns.cnki.net/kcms/detail/12.1182.O4.20250109.1516.010.html.
-
期刊类型引用(9)
1. 毛清华，胡鑫，王孟寒，张旭辉，薛旭升. 改进YOLOv5s的采煤机滚筒与支架护帮板干涉状态智能识别. 煤炭科学技术. 2024(02): 253-263 . 
百度学术
2. 王新航. 煤矿安全目标检测技术研究进展. 能源与节能. 2023(04): 118-120 . 百度学术
3. 陈立烨，党浚哲，崔子航，陈思妍，段琦锋. 基于FocalLoss的煤矿井下人员安全视觉监测方法. 现代信息科技. 2023(13): 96-100 . 百度学术
4. 刘丁源，冯锋. 矿井下人员安全检测技术分析. 信息与电脑(理论版). 2022(15): 41-43+47 . 百度学术
5. 魏智锋，肖书浩，蒋国璋，伍世虔，程国飞. 基于深度学习的人造板表面缺陷检测研究. 林产工业. 2021(02): 21-26 . 百度学术
6. 董昕宇，师杰，张国英. 基于参数轻量化的井下人体实时检测算法. 工矿自动化. 2021(06): 71-78 . 本站查看
7. 杨建伟，涂兴子，梅峰漳，李亚宁，范鑫杰. 基于深度学习优化YOLOV3算法的芳纶带检测算法研究. 中国矿业. 2020(04): 67-72 . 百度学术
8. 孙杰臣，李敬兆，王继伟，许志. 煤矿井下人车联动控制系统. 工矿自动化. 2020(12): 7-12 . 本站查看
9. 张春堂，管利聪. 基于SSD-MobileNet的矿工安保穿戴设备检测系统. 工矿自动化. 2019(06): 96-100 . 本站查看
其他类型引用(18)
计量
- 文章访问数: 82
- HTML全文浏览量: 28
- PDF下载量: 18
- 被引次数: 27
