Research on multivariate abnormal image detection in coal mine transportation system
-
摘要: 煤矿运输系统的异常险情种类繁多、场景多样，煤矿现场异常事故的发生具有偶然性，异常样本的获取其数量远小于正常样本，造成正负样本不平衡。针对上述问题，提出一种基于超球重构数据描述（HRDD）的煤矿运输系统多元异常图像检测方法。在全卷积数据描述（FCDD）基础上引入图像重构辅助任务，选用均方差损失函数作为图像重构辅助任务的目标函数，将异常图像检测和定位量化为一个不等式约束优化问题。采用无缝融合技术将辅助数据集、异常样本融合到正常样本中，以缩小异常融合样本与正常样本的差异，扩大异常样本总量，平衡异常样本、正常样本的比例。通过多组噪声模拟实验和现场实验证明，以一定概率在抵抗区添加高斯噪声进行增强训练，可提高HRDD模型的抗噪效能、泛化能力、检测准确率等。消融实验结果表明：辅助数据集有效地改善了样本不平衡问题，准确率提高了36.5%；引入图像重构辅助任务可保证深层特征能够准确映射到异常位置，交并比（IoU）提升了33.4%；辅助数据集与图像重构辅助任务之间存在强耦合作用，二者组合使用能进一步激发HRDD算法的性能潜力；添加无缝融合样本、高斯噪声增强等在一定程度上提高了HRDD模型的泛化能力。对照实验结果表明，HRDD算法准确率及IoU均优于其他主流算法，相比FCDD算法，HRDD算法准确率、IoU分别提高了4.6%，7.0%，更适用于煤矿现场。Abstract: There are various types and scenarios of abnormal risks in coal mine transportation systems. The occurrence of abnormal accidents at coal mine sites is accidental, and the number of abnormal samples obtained is much smaller than that of normal samples, resulting in an imbalance of positive and negative samples. In order to solve the above problems, a multivariate abnormal image detection method for coal mine transportation systems based on hypersphere reconstructed data description (HRDD) is proposed. On the basis of full convolutional data description (FCDD), an image reconstruction auxiliary task is introduced. The mean square error loss function is selected as the objective function of the image reconstruction auxiliary task. Abnormal image detection and positioning are quantified as an inequality constrained optimization problem. The seamless fusion technology is used to fuse auxiliary datasets and abnormal samples into normal samples, in order to reduce the difference between abnormal fusion samples and normal samples, expand the total number of abnormal samples, and balance the proportion of abnormal and normal samples. Through multiple sets of noise simulation experiments and on-site experiments, it has been proven that adding Gaussian noise to the resistance zone with a certain probability for enhanced training can improve the noise resistance efficiency, generalization capability, detection accuracy, and other aspects of the HRDD model. The results of the ablation experiment show that the auxiliary dataset effectively improves the problem of sample imbalance, with an accuracy increase of 36.5%. The introduction of image reconstruction auxiliary tasks can ensure that deep features can be accurately mapped to abnormal positions, resulting in an IoU improvement of 33.4%. There is a strong coupling effect between the auxiliary dataset and the image reconstruction auxiliary task. The combination of the two can further stimulate the performance potential of the HRDD algorithm. The addition of seamless fusion samples and Gaussian noise enhancement has to some extent improved the generalization capability of the HRDD model. The comparative experimental results show that the accuracy and IoU of the HRDD algorithm are better than other mainstream algorithms. Compared with the FCDD algorithm, the accuracy and IoU of the HRDD algorithm have increased by 4.6% and 7.0% respectively, making it more suitable for coal mine sites.
-
0. 引言
煤矿运输系统实现少人化、智能化安全运行是目前发展趋势。然而，输送系统引发的人员伤亡、设备损坏及紧急停工仍占煤矿事故总数的20%以上，实现煤矿运输系统的安全化、智能化生产迫在眉睫[1]。煤矿运输系统的异常图像检测技术通过对输送带进行全局动态监控、人工智能分析，推理解析出高温火点、显著异物、人员入侵及堆煤过高等潜在危险，提前预报显著、突发、复杂的异常情况，实现煤矿运输系统的制动急停、智能调速，联动消防系统消除生产隐患，是支撑智慧矿山数字生态建设、无人生产、绿色运行的重要基石。
目前，国内外学者针对异物检测、人员入侵及火焰检测等任务，提出了大量具有参考意义的方法。① 在煤矿异物检测方面，Dai Lili等[2]使用改进模板匹配方法粗定位异常，通过帧差法和面积法精确筛选出煤矿中的大块异物，但改进模板匹配方法不具有泛化能力，不适用于复杂多变的煤矿场景。Mao Qinghua等[3]运用注意力机制改进YOLOv5模型并应用于煤矿异物检测。郝帅等[4]通过引入深度可分离卷积、优化损失函数等，提升网络模型检测复杂环境中显著异物的能力。上述2种方法都属于基于数据驱动的监督学习方法，具有准确率高、鲁棒性强、可复现性的特点，可用于各种工业现场，但也存在依赖数据集和超参数的缺陷，需要广泛采样、反复调参、准确标记等。② 针对人员入侵识别任务，Hao Bonan等[5]利用基于鬼影的Vibe目标提取方法，结合各帧图像信息进行人员入侵特征统计，凭借像素区域相似度的阈值判断，准确消除背景建模中的ghost区域，达到目标前景与煤矿背景精细分离的目的，实现煤矿危险区域入侵人员的精确定位。刘浩等[6]采用姿态识别算法识别人体关键点，通过YOLOv3神经网络前向推理出井下人员异常行为、非法入侵等，实现煤矿人员行为智能监控与异常报警。③ 在火焰检测方面，B. Kim等[7]使用Faster R-CNN检测火焰区域，提出了一种基于深度卷积网络和视频图像序列的火焰检测方法。梁煜等[8]根据火灾特征提出了一种基于Anchor-free结构的火灾检测方法，通过嵌入火焰特征设计自注意力模块，添加亚像素融合和自适应标签分配，改善网络对火焰特征的学习效果。
上述方法基本围绕煤矿特定场景展开，而煤矿运输系统的异常险情种类繁多、场景多样。面向每种异常情况训练对应的监督学习模型不现实，因此，现有方法已不能满足煤矿运输系统的安全需求。此外，煤矿现场异常事故的发生具有偶然性，异常样本的获取受限，其数量远小于正常样本，造成正负样本不平衡问题。针对煤矿运输系统真实异常多元化、正负样本不平衡问题，亟需研究一种适用性强、可均衡样本比例的高精度检测技术。本文提出一种基于超球重构数据描述（Hypersphere Reconstructed Data Description，HRDD）的煤矿运输系统多元异常图像检测方法。具体地，在全卷积数据描述（Full Convolutional Data Description，FCDD）[9]基础上引入图像重构辅助任务，通过嵌入图像注意力模块，结合无缝融合、高斯噪声和辅助样本库扩大异常样本总量，提升网络的抗噪效能、泛化能力、检测分辨率、多尺度定位能力等。该方法属于弱监督学习的单分类方法，具有不依赖异常样本集、无法容忍显著异常的特性，具备辨识和定位多种高度抽象异常的能力，适用于异物检测、人员入侵及火焰检测等任务。
1. 技术背景
FCDD算法利用神经网络中的偏置项取代正常样本的聚类中心，并且采用特定的全卷积网络提取特征热图。通过热图上采样定位异常区域，借助超球分类（Hypersphere Classification，HSC）作为损失函数，仅使用少量异常样本就可达到显著提升模型性能的目的。
FCDD算法也具有一些缺陷：卷积层可以将特征图的异常分数映射回原图位置，但其他模块不一定具备该特性。因此，FCDD的模型结构是相对固定的，只可选用卷积层、池化层等。该问题使FCDD网络结构受限，无法使用注意力机制、残差块等先进可靠的模块，限制了FCDD分析复杂抽象异常的潜力；另外，FCDD并非真正的end-to-end模型，网络的原始输出要经过热图上采样，热图上采样的本质是高斯加权操作，处理后结果伴有高斯分布的不确定性。因此，FCDD生成的异常热图大多分辨率低，且带有高斯模糊。
HRDD延续了FCDD算法框架，保留先进的HSC函数和辅助数据增强样本方法，在FCDD基础上，采用end-to-end模型架构，通过引入图像重构辅助任务，使网络模型的深层特征能够准确映射到原始图像的对应位置。同时，可使用注意力机制、连接块等，无需任何处理即可直接输出高分辨率的异常热图。
2. HRDD算法原理
2.1 HRDD基本原理
HRDD本质上是单分类模型，利用HSC函数训练正类球体边界，使正样本特征接近球体中心、负样本特征远离中心。因此，HRDD不依赖于异常样本，而需要大量正样本拟合正类边界。
在煤矿运输系统环境下，异常样本种类多、表现多元化，某些特征不能融于煤矿的单调场景。HRDD通过拟合一个符合煤矿场景的球体边界，使异常特征远离中心，异常特征到中心的距离向量构成了异常热图，该热图表征了煤矿运输系统多元异常的置信度和位置。
HRDD基本形式如图1所示。要求输入三通道RGB图像，宽度和高度分别为W，H。该基本形式属于end-to-end架构，网络结构采用encoder-decoder范式[10]，主体思想是根据HSC函数训练拟合一个包含大多数正样本的超球体边界，图像重构逼迫网络在训练过程中更多地考虑深层特征与图像位置间的联系。此外，HRDD网络主体结构中不能带有全连接层，因为全连接层会使深层特征被打乱而不能重新映射到原图位置。
![]()
图 1 HRDD基本形式Figure 1. Basic form of hypersphere reconstructed data description (HRDD)使用U−net结构的HRDD模型如图2所示[11]。该模型嵌入了注意力模块（Attention）、连接块（Catenate），异常检测和图像重构辅助任务共享网络参数，迫使模型学习异常特征与图像位置间的映射关系。文献[12-13]详细探讨了图像注意力模块的可行性、具体作用和嵌入位置等，本文不再赘述。
![]()
图 2 使用U−net结构的HRDD模型Figure 2. Hypersphere reconstructed data description model using U-net structure2.2 HRDD损失函数
HRDD算法的损失函数L包含HSC函数和重构损失函数d：
$$ L = d(I',I) + {\mathrm{HSC}}(A) $$ (1) 式中：I'为重构图像；I为输入图像；A为异常热图。
HSC函数能够压紧决策区域，使正样本更加集中，显著提升单分类模型的性能[14]。异常热图A的HSC函数为
$$ \begin{split} {\mathrm{HSC}}(A) =& \frac{1}{n}\sum\limits_{i = 1}^n {(1 - {y_i})} \frac{1}{{W H}}{\left\| {a({I_i})} \right\|_1} -\\& {y_i}\ln \left(1 - \exp \left( - \frac{1}{{W H}}{\left\| {a({I_i})} \right\|_1}\right)\right) \end{split} $$ (2) $$ a({I_i}) = \sqrt {\varphi {{({I_i};w)}^2} + 1} - 1 $$ (3) 式中：n为输入图像样本总数；yi为样本标签，正常样本为0，异常样本为1；Ii为第i个输入图像样本；$ a({I_i}) $为异常热图的huber loss[8]；φ为神经网络拟合函数，映射关系为IW×H×3→AW×H×3；w为$\varphi $的可训练参数。
重构损失函数可以为均方差、交叉熵、局部相似度等。本文选用均方差损失函数作为图像重构辅助任务的目标函数。
$$ d(I',I) = \frac{1}{n}\sum\limits_{i = 1}^n {\frac{1}{{3W H }}{{({{I}_i'} - {I_i})}^2}} $$ (4) 式中${I}_i' $为对应第i个样本的重构图像。
HRDD算法需要明确异常检测和图像重构辅助任务间的主次关系，检测和定位异常是HRDD算法的首要任务。将异常检测和定位量化为一个不等式约束优化问题，即在HSC函数趋于0的约束条件下，最小化输入图像和重构图像的重构损失d。
$$ \begin{split} & {\mathop {\min }\limits_{{w_1},{w_2}} }\;{d({\varphi _2}(D;{w_2}),I)} \\& {{\mathrm{s.t.}}}\;{{\mathrm{HSC}}({\varphi _1}(D;{w_1}))} \leqslant \varepsilon \end{split} $$ (5) 式中：D为图2中的深紫色特征；$\varphi _2 $为特征D到重构图像$I' $的简单线性映射，可直接理解为图2中的Conv 1×1；$\varphi _1 $为特征D到异常热图A的简单线性映射；$w_1 $，$w_2 $分别为$\varphi _1 $，$\varphi _2 $的可训练参数；ε为趋于0的正数。
式（5）的拉格朗日函数L为
$$ \begin{array}{*{20}{c}} {L = d({\varphi _2}(D;{w_2}),I) + \lambda ({\mathrm{HSC}}({\varphi _1}(D;{w_1})) - \varepsilon )}&{\lambda \geqslant 0} \end{array} $$ (6) 式中$\lambda $为拉格朗日变量。
改变$\varphi _1 $的映射关系，使其包含隐变量$\lambda $，非线性程度变高，得到$\varphi ' $，则HRDD损失函数为
$$ L = d({\varphi _2}(D;{w_2}),I) + {\mathrm{HSC}}(\varphi '(D;{w_1},\lambda )) $$ (7) $\varphi ' $的非线性程度高于$\varphi _2 $，结合式（1）和式（7）可知，特征D与异常热图A间的结构复杂度高于特征D与重构图像$I' $间的结构复杂度。因此，相比于重构图像$I' $，异常热图A要多经过一个非线性层Conv+ReLU再输出。
3. HRDD数据集
HRDD数据集分为正常样本和异常样本，每个样本仅需要标明正常（0）或异常（1），不需要进行其他标注。正常样本特指煤矿场景下带式输送机正常运煤、空载的图像，不属于煤矿场景、含非煤矸石目标的带式输送机图像都为异常样本。
对带式输送机正常运行、检修及故障等情况进行数据采集，如图3所示。数据集中正常样本总量达到2 312张，异常样本仅有42张，包含人员入侵、异物遮挡、烟雾等异常情况。
FCDD采用辅助数据集进行样本增强，平衡异常样本、正常样本的比例，保证模型学习到多样、健壮和泛化的异常特征。来源于ImageNet，COCO及CIFAR−10的辅助数据集样本如图4所示，这些样本主要包含室外景色、非生产人员及动物等，不可能出现在规范化的现代示范煤矿中，因此被归为异常样本。
辅助数据集与煤矿现场差异过大，如果直接使用，可能会忽略潜藏在煤矿场景中的关键特征，因此必须改进FCDD的辅助数据集增强方法。本文采用无缝融合技术[15]将辅助数据集、异常样本（图3（b））融合到正常样本（图3（a））中，并标记为异常，缩小异常融合样本与正常样本之间的差异。无缝融合样本如图5所示。
按无缝融合基本假设，将辅助数据集图像区域Ω融合到煤矿工业图像Itarget中，需要保证边界一致和梯度特征差异最小。
$$ \mathop {\min }\limits_f {\iint_\varOmega {\left| {\nabla f - v} \right|}^2}\;{\text{with }}f\left| {_{\partial \varOmega }} \right. = {I_{{\text{target}}}}\left| {_{\partial \varOmega}} \right. $$ (8) 式中：f为无缝融合样本；$\nabla f $为融合样本图像梯度；v为辅助图像梯度；$f\left| {_{\partial \varOmega }} \right. $为融合样本边界；${I_{{\text{target}}}}| {_{\partial \varOmega}} $为目标图像边界。
融合时，需保持融合样本边界$f\left| {_{\partial \Omega }} \right. $与煤矿工业图像边界${I_{{\text{target}}}}| {_{\partial \varOmega}} $一致，最小化融合样本图像梯度$\nabla f $与辅助图像梯度v的均方误差。
使用辅助数据集、无缝融合2种方法进行样本增强，对比模型的性能，结果如图6所示。可看到，当异常样本比例为20%～40%时，模型性能最佳，准确率在90%以上。采用无缝融合方法时，模型准确率最高达96.2%，高于直接使用辅助样本集时的92.5%，证明了无缝融合方法确实能够协助模型挖掘煤矿场景的潜在特征。
4. 煤矿环境噪声误差分析
煤矿输送现场噪声可分为加性噪声、乘性噪声及混合噪声。由于高斯混合模型可以任意精度逼近实数的非负黎曼可积函数，所以多个高斯噪声带权相加的形式完全可以表征煤矿噪声。这意味着只需分析高斯噪声，便可讨论大部分煤矿噪声对HRDD模型的影响。
向验证集引入不同强度的标准高斯加性噪声N（0,1），得到HRDD模型的准确率变化曲线，如图7所示。将高斯噪声曲线分为稳定区、抵抗区及失效区，3个区域的噪声图像如图8所示。可看出：稳定区图像与原始图像相差不大，物体轮廓和结构关系较为清晰，HRDD性能完全没有下降趋势；抵抗区图像噪点突出，物体轮廓能够勉强辨认，结构关系遭到了一定破坏，HRDD准确率陡然下降约22%，但仍能维持在70%以上；失效区图像噪声剧烈，轮廓细节已无法辨认，不存在结构关系，HRDD准确率整体下降21%，趋近于60%，输出结果近似随机。
稳定区噪声对HRDD影响甚微，证明HRDD本身具备一定抗噪能力，能够免疫强度较小的高斯噪声干扰；失效区图像本身趋近于纯噪声，仅有的少部分原始图像信息已不能支撑异常检测任务。因此，本文着重考虑提升模型对抵抗区的抗噪能力。
向输入图像添加高斯噪声进行增强训练（图9），进一步提高HRDD的抗噪能力。在HRDD模型训练过程中，以一定概率η生成带噪图像。将带噪图像直接输入HRDD模型，模型在自编码过程中自主去除噪声成分，保留清晰、关键的图像特征。由于图像特征摆脱了噪声干扰，可以利用更健壮的特征准确地描述热图的映射关系。
然而，频繁地添加高斯噪声会使HRDD模型产生样本偏好，将更加关注带噪图像，而忽略正常的真实图像，无法适应某些低噪场景。因此，HRDD模型仅以一定概率η进行高斯噪声增强训练，其余时间则进行正常训练，η的取值范围为0.1～0.5。
为了研究增强模型是否具有完备的抗噪能力，进行多组噪声模拟实验。分别在验证集中添加高斯噪声、泊松噪声、椒盐噪声及旋转等，实验结果如图10所示。模拟噪声的现实来源见表1。可看出增强模型的准确率全方位地超越了原始模型，具备更强、更全面的抗噪能力。此外，增强模型也能够准确辨识小角度旋转的样本。
表 1 模拟噪声来源Table 1. Simulate noise sources噪声类型 来源 高斯噪声 图像、通信干扰等 泊松噪声 光电脉冲干扰 椒盐噪声 强电干扰 旋转图片 相机位置挪动 为了验证增强模型是否适用于复杂的煤矿环境，从煤矿现场数据集中挑选出40张真实噪声样本组成噪声验证集。验证集上的可视化检测结果如图11所示。异常热图huber loss表征了异常的置信程度，色值越趋近于热色调，异常越可信。原始模型和增强模型的准确率对比见表2。结合表2、图11可看出，增强模型的准确率为95%，比原始模型高15.2%，可视化结果更加贴近真实的异常结果，验证了高斯噪声增强方法的有效性。
表 2 原始模型和增强模型的准确率对比Table 2. Comparison of accuracy between the original model and the enhanced model模型 准确率/% HSC损失 HRDD损失 原始模型 82.5 0.042 0.061 增强模型 95.0 0.029 0.044 5. 实验与分析
采用U−net结构的HRDD模型进行实验，模型训练参数见表3，优化器为adam。
表 3 HRDD模型训练参数Table 3. Training parameters of hypersphere reconstructed data description model参数名称 参数值 参数名称 参数值 学习率 10−4 噪声概率 0.2 平滑常数 （0.9，0.999） 融合样本占比 0.3 批量数 4 迭代次数 150 5.1 模型消融实验
为了验证HRDD算法各环节的必要性和交互关系，设计了消融实验，结果见表4。其中交并比（Intersection over Union，IoU）[16] 用来衡量模型定位异常的精度，IoU越大，定位越精准；准确率表征模型检测异常的能力。对比1号、3号实验可知，辅助数据集有效地改善了样本不平衡问题，准确率增加了36.5%。对比6号、7号实验可知，引入图像重构辅助任务可保证深层特征准确映射到异常位置，IoU提升了33.4%。对比2号、3号、4号实验可知，辅助数据集与图像重构辅助任务之间存在强耦合作用，二者组合使用能进一步激发HRDD算法的性能潜力。此外，添加无缝融合样本、高斯噪声增强等在一定程度上提高了HRDD模型的泛化能力。
表 4 消融实验结果Table 4. Results of ablation experiments% 实验序号 引入图像
重构任务使用辅助
数据集添加无缝
融合样本高斯噪声
增强训练IoU 准确率 1 − − − − 24.5 62.3 2 √ − − − 26.5 60.3 3 − √ − − 33.5 85.1 4 √ √ − − 43.1 91.3 5 √ √ √ − 46.2 94.3 6 − √ √ √ 36.2 90.1 7 √ √ √ √ 48.3 96.6 5.2 算法对照实验
分别使用HRDD算法（A）、FCDD算法（B）、嵌入注意力机制的FCDD算法（C）、基于监督学习的YOLOv5目标检测算法[16]（D）进行异常检测，结果如图12所示。算法A，B，C输出结果为异常热图，算法D输出结果为检测框。可看出HRDD热图完整地辐射了异常区域，无论是防护网异物、融合样本等尺度较小的异常，还是燃烧火焰、胶带异物、其他异物等尺度较大的异常，HRDD检测结果都更贴近真实情况。而其他算法受制于本身局限性，或仅能框选出常规异常，或无法准确定位其他异物，或不能检测出融合样本中的异常，揭示了HRDD算法具有比其他算法更强的尺度表达能力、更准的定位异常能力及更高的辨识异常能力。
使用煤矿现场数据集进行交叉验证实验，对上述4种算法进行性能评估，结果见表5。由表5可知，HRDD算法准确率及IoU均优于其他算法。相比FCDD算法，HRDD算法准确率、IoU分别增加4.6%，7.0%，与图12所示的可视化结果相符，证明HRDD算法更适用于煤矿现场。
表 5 4种算法性能评估Table 5. Performance evaluation of four algorithms% 算法 准确率 IoU HRDD 96.6 48.3 FCDD 92.3 44.5 嵌入注意力机制的FCDD 93.1 39.3 YOLOv5 90.5 46.8 为了验证HRDD算法具备广泛的适用性，利用MVTec AD工业缺陷数据集[17]进行性能评估，并与其他检测算法进行对比，结果见表6。其中，AUROC反映模型的整体检测精度，PRO-score表示模型的定位异常能力[18]。MVTec AD数据集包含了大量工业零件图像，主要用于工业缺陷检测，具备环境噪声少、细节丰富、背景单调的特点，与煤矿数据集迥然不同。
表 6 MVTec AD数据集上的性能评估Table 6. Performance evaluation on the MVTec AD dataset从表6可看出HRDD各项指标仅次于领域内最先进的PaDiM算法，充分说明了HRDD算法能够从复杂的细节纹理、抽象的结构特征中准确推理出潜藏的各类异常，具备泛用性、鲁棒性，在工业缺陷检测领域也有着广阔的应用前景。
6. 结论
1） 针对煤矿输送工业现场的环境特点，提出一种基于HRDD的煤矿运输系统多元异常图像检测方法。结合添加辅助数据集、无缝融合等手段，平衡异常样本与正常样本的比例，使HRDD模型能够挖掘煤矿输送现场的关键特征。
2） 研究了煤矿场景下HRDD模型的噪声误差影响，通过多组噪声模拟实验和现场实验，证明只需在抵抗区添加高斯噪声参与训练，就可得到泛化、可靠、抗噪的HRDD增强模型。
3） 消融实验结果表明：辅助数据集有效地改善了样本不平衡问题，准确率提高了36.5%；引入图像重构辅助任务可保证深层特征能够准确映射到异常位置，IoU提升了33.4%；辅助数据集与图像重构辅助任务之间存在强耦合关系，二者组合使用能进一步激发HRDD算法的性能潜力；添加无缝融合样本、高斯噪声增强等在一定程度上提高了HRDD模型的泛化能力。
4）对照实验结果表明，HRDD算法准确率及IoU均优于其他主流算法，相比FCDD算法，HRDD算法准确率、IoU分别增加了4.6%，7.0%，更适用于煤矿现场。
-
![]()
图 1 HRDD基本形式
Figure 1. Basic form of hypersphere reconstructed data description (HRDD)
![]()
图 2 使用U−net结构的HRDD模型
Figure 2. Hypersphere reconstructed data description model using U-net structure
表 2 原始模型和增强模型的准确率对比
Table 2 Comparison of accuracy between the original model and the enhanced model
模型 准确率/% HSC损失 HRDD损失 原始模型 82.5 0.042 0.061 增强模型 95.0 0.029 0.044 
下载: 导出CSV
表 3 HRDD模型训练参数
Table 3 Training parameters of hypersphere reconstructed data description model
参数名称 参数值 参数名称 参数值 学习率 10−4 噪声概率 0.2 平滑常数 （0.9，0.999） 融合样本占比 0.3 批量数 4 迭代次数 150
下载: 导出CSV
表 4 消融实验结果
Table 4 Results of ablation experiments
% 实验序号 引入图像
重构任务使用辅助
数据集添加无缝
融合样本高斯噪声
增强训练IoU 准确率 1 − − − − 24.5 62.3 2 √ − − − 26.5 60.3 3 − √ − − 33.5 85.1 4 √ √ − − 43.1 91.3 5 √ √ √ − 46.2 94.3 6 − √ √ √ 36.2 90.1 7 √ √ √ √ 48.3 96.6
下载: 导出CSV
表 5 4种算法性能评估
Table 5 Performance evaluation of four algorithms
% 算法 准确率 IoU HRDD 96.6 48.3 FCDD 92.3 44.5 嵌入注意力机制的FCDD 93.1 39.3 YOLOv5 90.5 46.8
下载: 导出CSV
-
[1] 毛清华,郭文瑾,翟姣,等. 煤矿带式输送机异常状态视频AI识别技术研究[J]. 工矿自动化,2023,49(9):36-46. MAO Qinghua,GUO Wenjin,ZHAI Jiao,et al. Research on video AI recognition technology for abnormal state of coal mine belt conveyors[J]. Journal of Mine Automation,2023,49(9):36-46.
[2] DAI Lili,ZHANG Xu,GARDONI P,et al. A new machine vision detection method for identifying and screening out various large foreign objects on coal belt conveyor lines[J]. Complex & Intelligent Systems,2023,9(5):5221-5234.
[3] MAO Qinghua,LI Shikun,HU Xin,et al. Coal mine belt conveyor foreign objects recognition method of improved YOLOv5 algorithm with defogging and deblurring[J]. Energies,2022,15(24). DOI:10. 3390/en15249504.
[4] 郝帅,张旭,马旭,等. 基于CBAM−YOLOv5的煤矿输送带异物检测[J]. 煤炭学报,2022,47(11):4147-4156. HAO Shuai,ZHANG Xu,MA Xu,et al. Foreign object detection in coal mine conveyor belt based on CBAM-YOLOv5[J]. Journal of China Coal Society,2022,47(11):4147-4156.
[5] HAO Bonan,ZHANG Liya,PENG Ran. An improved vibe algorithm to detect personnel underground in coal mines[J]. Journal of Physics:Conference Series,2021,2025(1). DOI: 10.1088/1742-6596/2025/1/012032.
[6] 刘浩,刘海滨,孙宇,等. 煤矿井下员工不安全行为智能识别系统[J]. 煤炭学报,2021,46(增刊2):1159-1169. LIU Hao,LIU Haibin,SUN Yu,et al. Intelligent recognition system of unsafe behavior of underground coal miners[J]. Journal of China Coal Society,2021,46(S2):1159-1169.
[7] KIM B,LEE J. A video-based fire detection using deep learning models[J]. Applied Sciences,2019,9(14). DOI: 10.3390/app9142862.
[8] 梁煜,陈童,张为. 融合自适应注意力的多尺度火灾检测算法[J]. 北京理工大学学报,2024,44(1):91-101. LIANG Yu,CHEN Tong,ZHANG Wei. Multi-scale fire detection algorithm with adaptive attention[J]. Transactions of Beijing Institute of Technology,2024,44(1):91-101.
[9] LIZNERSKI P,RUFF L,VANDERMEULEN R A. Explainable deep one-class classification[EB/OL]. [2024-04-10]. https://arxiv.org/abs/2007.01760.
[10] 来杰,王晓丹,向前,等. 自编码器及其应用综述[J]. 通信学报,2021,42(9):218-230. DOI: 10.11959/j.issn.1000-436x.2021160 LAI Jie,WANG Xiaodan,XIANG Qian,et al. Review on autoencoder and its application[J]. Journal on Communications,2021,42(9):218-230. DOI: 10.11959/j.issn.1000-436x.2021160
[11] 殷晓航,王永才,李德英. 基于U-Net结构改进的医学影像分割技术综述[J]. 软件学报,2021,32(2):519-550. YIN Xiaohang,WANG Yongcai,LI Deying. Suvery of medical image segmentation technology based on U-net structure improvement[J]. Journal of Software,2021,32(2):519-550.
[12] 刘英,何雪,李单阳,等. 注意力引导全尺度连接网络的高分辨率影像变化检测[J]. 遥感学报,2024,28(4):1052-1065. LIU Ying,HE Xue,LI Danyang,et al. CBAM UNet+++:attention mechanism to guide change detection studies of full-scale connected networks[J]. National Remote Sensing Bulletin,2024,28(4):1052-1065.
[13] WOO S H,PARK J Y,LEE J Y,et al. CBAM:convolutional block attention module[C]. European Conference on Computer Vision,Munich,2018:3-19.
[14] RUFF L,VANDERMEULEN R A,FRANKS B J,et al. Rethinking assumptions in deep anomaly detection[EB/OL]. [2024-04-10]. https://arxiv.org/abs/2006.00339v3.
[15] 傅新元,郭禾,王宇新,等. 基于抠像技术的图像无缝融合算法[J]. 中国图象图形学报,2008,13(6):1082-1089. DOI: 10.11834/jig.20080609 FU Xinyuan,GUO He,WANG Yuxin,et al. Seamless cloning algorithm based on image matting technique[J]. Journal of Image and Graphics,2008,13(6):1082-1089. DOI: 10.11834/jig.20080609
[16] 邵延华,张铎,楚红雨,等. 基于深度学习的YOLO目标检测综述[J]. 电子与信息学报,2022,44(10):3697-3708. DOI: 10.11999/JEIT210790 SHAO Yanhua,ZHANG Duo,CHU Hongyu,et al. A review of YOLO object detection based on deep learning[J]. Journal of Electronics & Information Technology,2022,44(10):3697-3708. DOI: 10.11999/JEIT210790
[17] BERGMANN P,FAUSER M,SATTLEGGER D,et al. MVTec AD-a comprehensive real-world dataset for unsupervised anomaly detection[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition,Long Beach,2019:9584-9592.
[18] 吕承侃,沈飞,张正涛,等. 图像异常检测研究现状综述[J]. 自动化学报,2022,48(6):1402-1428. LYU Chengkan,SHEN Fei,ZHANG Zhengtao,et al. Review of image anomaly detection[J]. Acta Automatica Sinica,2022,48(6):1402-1428.
[19] LI Dan,CHEN Dacheng,GOH J,et al. Anomaly detection with generative adversarial networks for multivariate time series[EB/OL]. [2024-04-10]. https://arxiv.org/abs/1809.04758.
[20] VENKATARAMANAN S,PENG Kuanchuan,SINGH R V,et al. Attention guided anomaly localization in images[EB/OL]. [2024-04-10]. https://arxiv.org/abs/1911.08616.
[21] DEFARD T,SETKOV A,LOESCH A,et al. PaDiM:a patch distribution modeling framework for anomaly detection and localization[EB/OL]. [2024-04-10]. https://arxiv.org/abs/2011.08785.
计量
- 文章访问数: 93
- HTML全文浏览量: 26
- PDF下载量: 17
