0.   引言

由于煤炭开采环境复杂，在煤炭传输过程中常混入异物，如锚杆、铁丝网、大块矸石等。若带式输送机上异物清理不及时，可能造成输送带转接处阻塞，严重时会发生输送带划伤或撕裂等安全事故^[1-2]。目前在原煤运输过程中常采用人眼观测的方式检测异物，耗时耗力且安全风险大。因此，研发一种实时的煤流异物自动检测方法对于保证煤矿安全生产、降低人工成本、提高煤炭开采和运输效率具有重要意义。

随着机器学习技术的发展，一系列基于图像处理的异物检测算法相继被提出^[3-5]。此类算法大致可分为基于监督学习和基于半监督学习的算法2种。传统机器学习为监督学习，基于传统机器学习的目标检测方法模型简单、效率高，但误判率高、泛化性差^[6-7]。随着深度学习的发展，部分学者将其用于输送带异物检测。例如，郝帅等^[8]提出了基于CBAM− YOLOV5的煤矿输送带大块异物检测方法。基于深度学习的目标检测大多属于监督学习方法，需要大量数据指导模型训练。然而，煤矿带式输送机运输现场异常样本较少，难以满足深度学习对建模数据的需求。

半监督学习是介于监督学习与无监督学习之间的一种学习方式^[9]。针对异物检测，部分学者提出一种基于正常样本训练的半监督学习方式，即训练集中仅包含正常样本，测试集中包含异常样本和正常样本。该方式通过学习正常样本的特征分布实现异常检测。例如，T. Schlegl等^[10]提出了运用生成对抗网络（Generative Adversarial Network，GAN）完成异常检测的AnoGAN算法，用深度卷积生成对抗网络 （Deep Convolutional Generative Adversarial Networks，DCGAN）在训练集中学习正常样本的数据分布，该算法需要反复进行迭代优化，效率较低。S. Akcay等^[11]提出了基于GAN的异常检测算法GANomaly，利用编码器−解码器结构学习正常样本的分布，在比对输入图像及生成图像之间差别的同时，结合2次编码得到潜在空间差距。但该算法未考虑解码器和编码器的信息损失，精度较低。在此基础上，S. Akcay等^[12]进一步提出了Skip−GANomaly算法，通过借鉴U−Net模型^[13]中的跳跃连接方式，将编码器的特征与解码器同维度的特征进行拼接，进一步减少了编码−解码过程中的信息损失。该方法在CIFAR10和UBA等常规图像数据集上表现出优异性能。

然而，在实际输煤现场，包含大块矸石、锚杆、铁丝网等异物的煤流图像与正常煤流图像之间的差异较小^[14-15]。若仅对编码器和解码器的中间特征做简单的拼接处理，一些能显著区分正常样本与异常样本的特征可能会丢失，同时在拼接过程中容易造成输入信号的误差传递。人脑在处理视觉信号时，往往通过扫描全局图像获取需要重点关注的目标区域，并在该区域投入更多注意力。计算机视觉中的注意力机制通过对不同特征赋予不同的注意力权重，可从众多信息中提取与当前任务相关的信息^[16-17]。针对真实工矿场景下样本极不平衡且显著特征易丢失的问题，本文提出一种基于双注意力生成对抗网络（Dual-Attention Skip-GANomaly，DA−GANomaly）的煤流异物智能检测方法。该方法在模型训练阶段仅需利用正常煤流图像，有效解决了样本不平衡问题；在编码器与解码器特征传递的过程中引入双注意力机制，以抑制无关特征和噪声，同时增强区分异常样本的显著特征表达，进一步提高模型分类的准确性。

1.   方法原理

DA−GANomaly模型主要包括用于生成虚拟图像的生成器和用于判别虚拟图像的判别器。训练数据集仅包含正常煤流图像。输入图像在反复对抗训练过程中不断减少重构图像$ x' $ 与输入图像之间的误差，使得生成器尽可能拟合正常煤流图像的特征分布。经充分对抗训练后，生成器能够重建更加符合真实样本特征分布的虚拟图像。

在模型测试阶段，测试集包含正常煤流图像与异常煤流图像。对于已经训练完成的模型，当输入正常煤流图像时，生成器输出的重建图像与输入样本之间差距较小；当输入异常煤流图像时，生成器的输出$x' $与输入图像相差较大。通过选取合适的差异表征函数及合适的阈值即可有效区分正常样本与异常样本。基于DA−GANomaly的煤流异物智能检测模型如图1所示。

图  1  基于DA−GANomaly的煤流异物智能检测模型

Figure  1.  Intelligent detection model for coal flow foreign objects based on DA-GANomaly

下载: 全尺寸图片 幻灯片

1.1   生成器

生成器模块主要包含3个子模块：编码器M₁—M₆、解码器N₁—N₆及基于双注意力的特征连接模块。其中，编码器M₁—M₆用于提取输入的图像特征，包括6层，每层包含激活函数、卷积层、批量标准化层，通过调整卷积核尺寸与步长进行下采样操作。生成器网络参数见表1。

表  1  生成器网络参数

Table  1.  Generator network parameters

网络层级	M1	M2	M3	M4	M5	M6	N1	N2	N3	N4	N5	N6
卷积核尺寸	4×4	4×4	4×4	4×4	4×4	4×4	4×4	4×4	4×4	4×4	4×4	4×4
输出特征维度	64	128	256	512	512	512	512	512	256	128	64	3
输出特征图尺寸	32×32	16×16	8×8	4×4	2×2	1×1	2×2	4×4	8×8	16×16	32×32	64×64

下载: 导出CSV 

| 显示表格

编码器输入$x$的尺寸为64×64，维度为3，每层的卷积核尺寸为4×4，步长为2。编码器模型采用LeakyReLU激活函数，其输出特征维度依次为64，128，256，512，512，512，通过每层卷积后，特征图尺寸变为原来尺寸的1/2，经过6层卷积后得到最终的特征尺寸为1×1，维度为512。解码器主要包含6层，每层包含激活函数、反卷积层和批量标准化层。解码器模型采用ReLU激活函数，反卷积层卷积核尺寸为4×4，步长为2，其输出特征维度依次为512，512，256，128，64，3。通过每层反卷积后，特征图尺寸为原来的2倍，经过6层反卷积后，得到生成器的输出$x'$，其尺寸为64×64，维度为3。同时，为了加强模型的特征提取能力，充分利用编码器及解码器中的信息，提高感兴趣区域的权重，抑制无关区域，本文引入了双注意力机制，以融合编码器和解码器的信息。

相关研究表明，经过多次卷积处理后，高层特征具有更多语义信息，而低层特征则具有更多空间结构信息^[18]。因此，本文采用一种双注意力机制：对高层解码信息，通过维度注意力提取更多语义信息；对低层编码信息，通过空间注意力提取更多空间形态信息；再将经过2种注意力机制处理后的特征图相加，得到最终的特征图。双注意力机制如图2所示。

图  2  双注意力机制

Figure  2.  Dual attention mechanism

下载: 全尺寸图片 幻灯片

首先，利用空间注意力机制对低层特征进行处理。假设特征图为$ {x_{\mathrm{l}}} \in (h,w,c) $，h，w，c分别为特征图的高、宽和通道数，经过3个1×1卷积后得到特征向量$ {\boldsymbol{B},{\boldsymbol{C}},{\boldsymbol{D}}} $。其次，对特征向量进行维度变换，使得$ {\boldsymbol{B},{\boldsymbol{C}},{\boldsymbol{D}}} \in (h \times w,c) $。然后，将特征向量$ {\boldsymbol{B},{\boldsymbol{C}}} $输入到Softmax激活函数中，得到注意力特征图A。

式中：A_ji为A中第$i$个通道与第$j$个通道之间的注意力影响，i，j=1, 2, ···, N, i≠j；B_i为特征向量B中的第i个通道值；C_j为特征向量C中的第j个通道值；N为A的通道数。

最后，用注意力特征图乘以特征向量$ {\boldsymbol{D}_i} $并加上低层特征向量$ \boldsymbol{x}_{\mathrm{l}j} $，作为空间注意力机制输出T。

式中T_j为T中第j个通道的特征向量。

利用维度注意力模块对高层特征进行处理。与空间注意力机制不同，本文直接利用高层特征得到维度注意力。假设特征图$ {x_{\mathrm{h}}} \in (h,w,c) $，先对特征向量进行维度变换，使得$ {x_{\mathrm{h}}} \in (h \times w,c) $，接着通过Softmax函数计算注意力特征图S。

式中S_ji为x_h中第$i$个通道x_hi与第$j$个通道x_hj之间的注意力影响，$ {{S }_{ ji}} \in S $。

用$ S $乘以特征向量$ {{\boldsymbol{x}}_{{\mathrm{h}}i}} $，得到最终的输出$ {\boldsymbol{O}} $。

式中O_j为$ {\boldsymbol{O}} $中第$j$个通道的特征向量。

将维度注意力机制输出O及空间注意力机制输出$ {\boldsymbol{T}} $相加，得到最后的输出$ {{\boldsymbol{X}}} $：

1.2   判别器

判别器旨在判断图像是真实图像还是重建图像。本文采用类似编码器的模型结构作为判别器，其网络参数见表2。判别器主要包括6层卷积Q₁—Q₆及1层全连接，每层卷积核尺寸为4×4，步长为2，输出维度依次为64，128，256，512，512，100。通过6层卷积后特征图尺寸调整为1×1×100，然后输入到全连接分类器中得到最终的判断类别。

表  2  判别器网络参数

Table  2.  Discriminator network parameters

网络层级	Q1	Q2	Q3	Q4	Q5	Q6
卷积核尺寸	4×4	4×4	4×4	4×4	4×4	4×4
输出特征维度	64	128	256	512	512	100
输出特征图尺寸	32×32	16×16	8×8	4×4	2×2	1×1

下载: 导出CSV 

| 显示表格

1.3   损失函数

本文采用与Skip−GANomaly相同的损失函数，主要包括对抗损失$ {L_{{\mathrm{adv}}}} $、语义损失$ {L_{{\mathrm{con}}}} $及潜在变量损失$ {L_{{\mathrm{lat}}}} $。对抗损失用于在训练过程中提升判别器判别图像是否为虚拟图像的能力，计算公式为

式中：$ {E_{x \sim p(x)}} $为训练样本的预计期望值，$ p(x) $为样本$ x $的分布；U(x)为判别器输出。

语义损失用于约束重构图像与输入图像之间的误差，计算公式为

式中$ || \cdot |{|_1} $为L1范数。

在上述损失函数基础上添加一个额外损失，用于约束潜在变量的损失。为了最小化重建图像$ x\mathrm' $与输入图像之间的距离，选取判别器最后一个卷积层的输出作为潜在变量损失，计算公式为

式中：$ f( \cdot ) $为判别器最后一层卷积操作；$ || \cdot |{|_2} $为L2范数。

整体损失函数为

式中$ \lambda $为潜在变量损失的权重系数，本文设置为10。

1.4   异常分数

用异常分数$ y_{\mathrm{a}} $作为评价图像中是否含有异物的标准，分数越高，表示包含异物的可能性越大。其计算公式为

式中$ {\lambda _1} $ 为语义损失的权重系数，本文设置为0.5。

对于已训练完成的模型权重，包含异物的煤流图像对应的异常分数与正常煤流图像对应的异常分数差别较大，通过选取合适的阈值即可实现对正常样本和异常样本的分类。

2.   实验分析

2.1   实验数据

为获得输送带煤流异物检测数据集，在山东某矿区部署煤流图像采集设备，使用高速夜视相机作为采集摄像头，以60°俯视角度安装固定于输送带上方，采集到的图像数据通过网络上传到数据处理中心。部分异常样本如图3所示，包括大块矸石、橡胶带、木块等。不同异物形状、大小存在较大差异，且部分异物被煤流遮挡，因此，当采用统一的特征提取算法时，区分难度较大。

图  3  部分异常样本

Figure  3.  Partial abnormal samples

下载: 全尺寸图片 幻灯片

截取煤矿井下时长为150 h的视频，选取不同时刻的煤流图像14 707张，经过人为标定，数据中包含107张含有异物的图像及14 600张正常图像。选取正常煤流图像作为训练集，107张包含异物的异常煤流图像和600张正常煤流图像作为测试集。数据集划分见表3。

表  3  数据集划分

Table  3.  Dataset partitioning

数据类型	训练集样本数/张	测试集样本数/张
正样本	14 000	600
负样本	0	107
总体样本	14 000	707

下载: 导出CSV 

| 显示表格

2.2   评价标准

由于实验数据中正负样本不平衡，相较于接收者操作特征（Receiver Operating Characteristic，ROC）曲线，精确率−召回率曲线下面积（Area Under the Precision Recall Curve，AUPRC）更具有代表性。因此，本文选取AUPRC、召回率R和精确率P作为评价标准^[19]。召回率和精确率计算公式为

式中：T_P为真正例，即异物煤流图像被预测正确的数量；F_N为假反例，即正常煤流图像被预测成异常煤流图像的数量；F_P为假正例，即异物煤流图像被预测成正常煤流的数量。

本文实验平台为NVIDIA−2080TI显卡，采用Pytorch深度学习框架和Adam优化器，初始学习率设置为10⁻⁴，Batch-Size大小为64。

2.3   实验结果

为验证本文DA−GANomaly模型的有效性，选取5种常见的基于深度学习的异物检测模型进行比较，包括AnoGAN、EGBAD（Efficient GAN−based Anomaly Detection） ^[20]、GANomaly^[11]、ALAD （Adversarially Learned Anomaly Detection）^[21] 和 Skip−GANomaly^[12]。实验结果见表4，可见本文DA−GANomaly模型的精确率、召回率及AUPRC分别为79.5%，83.2%和85.1%，均优于其他模型。相较于次优的Skip−GANomaly模型，DA−GANomaly模型的AUPRC提升了3%，精确率提升了24.1%，召回率提升了3.8%。

表  4  不同模型实验结果对比

Table  4.  Comparison of experimental results of different models

模型	AUPRC/%	精确率/%	召回率/%
AnoGAN[10]	36.2	22.3	52.3
EGBAD[15]	54.5	42.0	61.6
GANomaly[11]	69.9	51.5	82.2
ALAD[16]	75.56	55.7	77.5
Skip−GANomaly[12]	82.1	55.4	79.4
DA−GANomaly	85.1	79.5	83.2

下载: 导出CSV 

| 显示表格

6种模型的精确率−召回率曲线（Precision Recall Curve，PRC）如图4所示。可看出，相较于其他模型，本文所提DA−GANomaly模型的AUPRC最大，综合性能表现最优异。

图  4  6种模型的PRC

Figure  4.  Precision recall curves of 6 models

下载: 全尺寸图片 幻灯片

测试数据集中样本的异常分数分布直方图如图5所示，包含异物的煤流图像对应的异常分数明显高于正常样本，两者分布具有明显差异，表明本文提出的模型能够区分正常煤流图像和包含异物的异常煤流图像。

图  5  DA−GANomaly模型的异常分数分布直方图

Figure  5.  Histogram of abnormal fraction distribution of DA-GANomaly model

下载: 全尺寸图片 幻灯片

为进一步验证本文模型的有效性，对另外的4.5 h煤矿现场视频进行识别，结果如图6所示。

人工筛选共发现4个不同异物，如图6（a）所示。采用表4中综合表现较好的ALAD、Skip−GANomaly和本文模型进行异物识别，结果分别如图6（b）−图6（d）所示，其中标注Y的图像为识别出的异常煤流图像。本文模型检测出3例异物，而其他模型最多检出2例。观察发现，上述模型均未检测出图6中的第4张异常煤流图像。该煤流表面异物与煤流背景高度相似，区分难度大。而针对第1张样本图像，仅本文模型识别出了异物。相较于其他模型，本文模型通过引入双注意力机制，进一步突出了异常煤流图像的特征，从而有效提升了异物检测精度。

图  6  异物识别结果

Figure  6.  Foreign object recognition results

下载: 全尺寸图片 幻灯片

2.4   模型参数及速度测试

为了验证本文模型的实时性，对模型的计算时间进行了测试，结果见表5。可看出本文模型的单帧计算时间为7.2 ms，每秒可处理138帧图像，满足在线检测的实时性要求。测试结果验证了本文模型应用于煤流异物实时检测的可行性，然而，目前该模型还未在实际煤矿系统中进行部署，下一步将考虑进行这方面的工作。

表  5  模型实时性测试结果

Table  5.  Real time test results of the model

每秒浮点计算数/109	模型参数量/106个	单帧计算时间/ms	每秒计算帧数
5.30	32.8	7.2	138

下载: 导出CSV 

| 显示表格

3.   结语

提出了一种基于DA−GANomaly的煤流异物智能检测方法。为克服实际生产过程中煤流异常样本稀缺导致的样本不平衡问题，采用半监督学习的方式，通过正常样本完成异物检测模型的训练。针对开采环境光线条件恶劣的情况，在生成器中引入双注意力机制，突出有利于区分异常样本的感兴趣特征。实验结果表明，与5种经典异常检测模型相比，DA−GANomaly模型的综合性能最佳。需要说明的是，基于图像的异物检测方法受限于视觉传感器的感知范围，目前仅适用于煤流表面异物的智能检测，对于埋在煤流下的异物尚缺乏感知能力。