0.   引言

远程带式输送机是煤矿的重要运输设备，具有距离长、运行成本低、运量大、可连续平稳运输等优点，是连接矿区与厂区的关键装备^[1]。托辊作为远程带式输送机的主要支承部件，在长达数千米的远程煤炭运输线路中数量众多，是远程带式输送机的主要隐患源^[2]，一旦发生故障，轻则造成停机，影响生产效率，重则造成设备破损甚至人员伤亡，因此对托辊进行监测和诊断尤为重要。

传统的依靠人工提取特征的旋转机械故障诊断方法存在工作量大、效率低、需要充分的先验知识等缺陷^[3-5]。近年来越来越多研究人员开始将研究重点聚焦于数据驱动的、基于深度学习的故障诊断方法上^[6-7]。这类方法取得了较好效果，但对数据集的质量有很高要求，往往需要平衡的、大批量的数据才能进行良好的模型训练，从而实现准确的故障诊断。而在实际应用中能够采集到的故障信号通常很有限，因此，在小样本场景下探寻一种简单、有效的故障诊断方法具有实际意义。

本文依托于宁夏大学设计的用于远程带式输送机的智能巡检机器人^[8]，进行基于小样本的托辊故障诊断研究。声音信号有非接触测量的优势，能够及时、准确地提供设备状态特征信息，且能够被永久或间歇监测，因此被设计为机器人重点监测的一个环节。巡检机器人沿着远程带式输送机运行，拾音器不间断地采集声音信号，同时上位机借助RFID巡检机器人定位方法将每2~3个托辊之间所采集到的声音信号保存为1个声音信号文件，在巡检结束后将数据上传至数据库中。考虑在实际应用过程中故障托辊并不会大量出现，且巡检机器人在单独托辊附近停留时间较短，因此在一次巡检结束时故障声音信号样本量很少，导致智能故障诊断方法性能受限。

针对样本数据不足问题，现阶段的解决办法一般是采用各种数据扩充技术，从算法和数据2个层面对原始数据集进行扩充。算法层面的代表是数据生成技术^[9-12]，但其存在不易实现、不稳定的缺陷。数据层面的代表是数据增强技术，其实现形式多样，主要思想是通过裁剪、加入新信号、过采样等处理来获得更多数据^[13-15]，相较于生成新的数据，该方法从原始数据出发，实现更简单，可解释性也更强。还有一些辅助的手段也能有效提升小样本情况下模型训练的精度，例如深度迁移学习方法等。

基于以上分析，本文提出一种基于小样本声音信号的托辊故障诊断方法。先将一维信号转换为二维时频图像，将频率域的特征融入进来，以提高数据集对故障特征的表达能力；然后将多种时频分析方法绘制的时频图相结合，作为一种简单易行的数据增强手段来扩充数据集，增加数据样式；结合深度学习自动提取特征的优点和深度迁移学习思想，实现小样本情况下的托辊故障诊断。

1.   时频图及迁移学习

1.1   时频图

用于故障诊断的一维声音信号往往是非线性和非平稳的，这些特性使得无论采用单一的时域分析方法还是频域分析方法都难以达到满意的效果。在20世纪早期，分析非平稳信号的时频分析方法被提出，时频分析方法同时具有时域分析与频域分析2种分析方法的特点，通过对故障声音信号进行时频分析处理后，可以得到信号的时频域能量和强度分布情况。

时频图以时间为横坐标、频率为纵坐标，用颜色的深浅表征频率幅值，是一维信号的二维表达，可以精准表示信号的时频域特征，同时可以直观表达频率与时间变化的关系，包含较为丰富的信号内在信息，非常适合作为故障识别的样本输入。因此，近年来将时频图数据集与深度学习结合起来用于故障诊断的研究越来越多^[16-20]。

较为典型的时频分析方法有短时傅里叶变换（Short-Time Fourier Transform，STFT）、连续小波变换（Continue Wavelet Transform，CWT）、希尔伯特−黄变换（Hilbert-Huang Transform，HHT）等。以上3种时频分析方法有各自的优缺点和适用范围，虽然本质都是计算频率，然后将频率与时间对应起来，但每种时频分析方法无论是计算频率的方法还是将时间与频率结合的方法都存在差异，导致每一种时频分析方法所绘制的时频图也都是有差异的。

STFT的本质是加窗后对每一小段使用傅里叶变换，绘制出来的时频图看起来是一个个小矩形的叠加，如图1（a）所示。HHT计算的是信号的瞬时频率，绘制出来的时频图看起来是一条连续的曲线，如图1（b）所示。由于不同时频分析方法的关联与差异，所以将各方法生成的时频图相结合就成了一种切实可行的扩充数据集的方法。

图  1  不同时频图局部放大图对比

Figure  1.  Comparison of partial enlarged images of different time-frequency images

下载: 全尺寸图片 幻灯片

1.2   迁移学习

迁移学习可以将从一个数据集中获得的知识运用到其他数据集的学习任务中，从而解决新数据集上样本量不足的问题。对于给定的源域和目标域，迁移学习的目的是将从源域学习到的知识应用到目标域中。深度迁移学习是指利用上述迁移学习的思想来帮助深度学习模型的训练，即根据源域与目标域之间学习任务的相关性，将模型学习到的知识或已训练好的模型的部分参数通过一定方式迁移到新的模型训练过程中，从而提升新模型训练的效果或降低新模型训练的难度^[21-23]。迁移学习与传统机器学习的区别如图2所示。

图  2  迁移学习与传统机器学习的区别

Figure  2.  The difference between transfer learning and traditional machine learning

下载: 全尺寸图片 幻灯片

2.   基于小样本声音信号的托辊故障诊断方法

托辊故障诊断流程：① 制作轴承数据集，并使用轴承数据集预训练卷积神经网络模型，得到一个预训练模型。② 使用多种类型时频图结合的数据集扩充方法制作托辊数据集。③ 将预训练模型的部分网络参数迁移到目标域，使用托辊数据集重新训练模型，进行模型微调，获得托辊故障诊断模型。详细的诊断流程如图3所示。

图  3  托辊故障诊断流程

Figure  3.  Flow of roller fault diagnosis

下载: 全尺寸图片 幻灯片

2.1   多种类型时频图结合的数据集扩充方法

多种类型时频图结合的数据集扩充方法如图4所示。

图  4  多种类型时频图结合的数据集扩充方法

Figure  4.  Dataset enhancements method combining multiple types of time-frequency images

下载: 全尺寸图片 幻灯片

该方法包括以下3个步骤：

1） 采用拾音器采集声音信号，采样频率为48 kHz，即48 000点/s，将采集到的故障声音信号裁剪为时长为1 s、重叠时间为0.3 s的短时声音信号。

2） 对每个短时声音信号分别进行STFT，CWT，HHT处理，并绘制时频图。经过实验确定各时频分析方法的主要参数，见表1。

表  1  时频分析方法的主要参数

Table  1.  Main parameters of time-frequency analysis methods

时频分析方法	参数名称	参数
短时傅里叶变换	窗类型	汉宁窗
	窗长	6 000
	窗之间重叠点数	3 000
	窗内离散傅里叶变换点数	3 000
连续小波变换	母小波函数	Amor小波

下载: 导出CSV 

| 显示表格

3） 将使用不同时频分析方法生成的时频图数据集中相同标签的数据结合为1个数据集，然后根据训练需求划分训练集、验证集和测试集。

2.2   模型搭建及模型训练流程

本文采用残差卷积神经网络模型（Residual Convolutional Neural Network，RCNN）作为故障诊断网络模型（图5），该模型使用了捷径连接的方法。其中Conv1—Conv4为卷积层，M1，M2为下采样层，Add层将M1的输出特征图与Conv3的输出特征图按元素相加，FC1为全连接层，FC2为分类输出层。具体网络参数见表2。输入图像大小为 224×224×3。

图  5  残差卷积神经网络结构

Figure  5.  Structure of residual convolutional neural network

下载: 全尺寸图片 幻灯片

表  2  残差卷积神经网络参数

Table  2.  Parameters of residual convolutional neural network

名称	类型	描述	输出特征大小
Conv1	卷积层	64个7×7卷积核，步长为2； 激活函数为ReLU；批量归一化	112×112×64
M1	最大池化层	3×3池化核，步长为2	56×56×64
Conv2	卷积层	64个3×3卷积核，步长为2； 激活函数为ReLU	56×56×64
Conv3	卷积层	64个3×3卷积核，步长为2； 激活函数为ReLU；批量归一化	56×56×64
Add	加法	将M1和Conv3的输出按元素相加	56×56×64
Conv4	卷积层	128个3×3卷积核，步长为2； 激活函数为ReLU	28×28×128
M2	最大池化层	3×3池化核，步长为2	14×14×128
FC1	全连接层	128个节点；激活函数为ReLU	1×1×128
FC2	全连接层	5/4个节点；激活函数为Softmax	1×1×5/1×1×4

下载: 导出CSV 

| 显示表格

故障诊断模型训练流程如图6所示。具体步骤：① 依次使用3种单一时频分析方法的时频图数据集对模型进行预训练。② 将预训练模型参数中所包含的知识信息迁移到托辊故障诊断模型Pt−RCNN中，保留各卷积层及下采样层的参数，将全连接层及输出层替换为新的全连接层与输出层。③ 使用多种类型时频图结合的数据集微调模型。

3.   实验与结果分析

为了验证本文方法的有效性，使用实测的故障声音信号分析其在小样本情况下的故障识别能力。

图  6  故障诊断模型训练流程

Figure  6.  Training process of fault diagnosis model

下载: 全尺寸图片 幻灯片

3.1   数据集扩充方法有效性验证

通过对比单一时频分析方法、2种时频分析方法相结合及3种时频分析方法相结合生成的数据集在所搭建模型下的分类表现来验证方法有效性。

3.1.1   托辊数据采集

在某企业厂房内搭建带式输送机系统来模拟带式输送机不同的运行状态，整个带式输送机长度为20 m，共有46个托辊，各托辊之间的间距为1.2 m，如图7所示。人为制造3种托辊故障：托辊轴承滚珠缺失，托辊掺沙，托辊卡滞。

考虑到人员安全等问题，带式输送机为空载运行，设置带速为3 m/s，故障信息采样频率为48 kHz。为尽量还原巡检机器人实际的巡检过程，每种故障类型仅采集12 s声音信号用于训练（70%训练，30%验证），再单独采集10 s声音信号用于测试，然后裁剪为时长为1 s、重叠时间为0.3 s的短时声音信号。裁剪后得到30个短时声音信号，其中11个用于模型训练，5个用于模型验证，14个用于模型测试。

图  7  托辊故障模拟平台

Figure  7.  Roller fault simulation platform

下载: 全尺寸图片 幻灯片

3.1.2   数据集生成

按照声音信号裁剪及各时频分析方法，分别制作如下数据集用于后续的对比实验：单一时频分析方法的托辊时频图数据集TG−1−TG−3；2种时频分析方法的托辊时频图结合的数据集TG−4−TG−6；3种时频分析方法的时频图结合的数据集TG−7。具体的托辊数据集见表3。

表  3  托辊数据集

Table  3.  Roller dataset

数据集	分析方法	每类故障所用图像张数
		训练	验证	测试
TG−1	STFT	11	5	14
TG−2	CWT	11	5	14
TG−3	HHT	11	5	14
TG−4	STFT，CWT	22	10	28
TG−5	STFT，HHT	22	10	28
TG−6	CWT，HHT	22	10	28
TG−7	STFT，CWT，HHT	34	14	42

下载: 导出CSV 

| 显示表格

3.1.3   验证结果

直接使用表3中的各托辊数据集从头训练RCNN，采用Adam优化器更新模型参数，学习率设置为0.000 1，批处理样本数目为64。采用Early-Stop-ping机制，不设置固定训练轮数，当验证准确率不再提高、损失不再下降的时候，停止训练模型并保存模型参数，用不同托辊数据集训练模型时的验证准确率与测试准确率见表4。

从表4可看出，仅使用由单一时频分析方法生成的托辊时频图数据集训练模型时，由于训练样本数过少、数据样式过于单一，导致模型训练出现了很明显的过拟合现象，即在训练过程中表现很好，但运用在测试集中的效果不够好，而随着时频图数据集的结合，用于训练的样本数量、样式都在增加，过拟合现象有明显改善，说明多种类型的时频图结合扩充数据集的方法是可行的。

表  4  不同托辊数据集训练RCNN的结果

Table  4.  The results of training RCNN using different roller datasets %

数据集	验证准确率	测试准确率
TG−1	100	69.64
TG−2	96.00	75.00
TG−3	100	62.50
TG−4	87.50	80.35
TG−5	87.50	82.14
TG−6	90.00	79.46
TG−7	89.29	91.07

下载: 导出CSV 

| 显示表格

3.2   迁移学习有效性验证

将3种类型时频图结合的托辊数据集输入到经轴承数据预训练的模型中进行模型微调，验证迁移学习的有效性。

3.2.1   轴承数据来源及数据集生成

选用轴承故障综合模拟器获取不同故障下的滚动轴承声音信号数据，如图8所示。

图  8  轴承故障综合模拟器

Figure  8.  Bearing fault comprehensive simulation test bench

下载: 全尺寸图片 幻灯片

测试轴承可更换，包括正常轴承和4类故障轴承（外圈故障轴承、内圈故障轴承、滚珠故障轴承和保持架故障轴承）。轴承型号为ER−12K，其结构参数见表5，实验过程中轴承转速为1 797 r/min，实验台负载质量为5 kg，采样频率为48 kHz。

表  5  轴承结构参数

Table  5.  Structural parameters of bearing

轴承型号	轴承节径/mm	滚子直径/mm	滚子个数	接触角/(°)
ER−12K	33.5	7.9	8	0

下载: 导出CSV 

| 显示表格

设置每种故障采集时长为3 min，其中2 min用于训练（70%训练，30%验证），1 min用于测试。样本裁剪为时长为1 s、重叠时间为0.3 s的短时声音信号，共得到255个短时声音信号，其中119个用于训练，51个用于验证，85个用于测试。采用表1所示时频分析方法的参数，对所有短时声音信号进行时频分析并绘制时频图，得到故障轴承时频图数据集，每个数据集分别得到595张图像用于训练，255张图像用于验证，425张图像用于测试。

3.2.2   模型预训练及迁移

首先使用轴承数据集进行模型预训练，采用Adam优化器更新模型参数，学习率设置为0.000 1，批处理样本数为64。预训练阶段，模型在轴承时频图数据集上的测试准确率最高可达97.18%。

迁移预训练模型的部分网络参数至托辊目标域并调整模型结构，得到Pt−RCNN模型，再使用3种类型时频图结合的托辊数据集对模型Pt−RCNN重新训练，进行模型微调，得到托辊故障诊断模型。仍采用Adam优化器更新模型参数，学习率设为0.000 1，批处理样本数为64，训练过程中的损失及准确率变化曲线如图9所示。可看出，仅经过200次迭代训练，模型就达到了收敛且损失不再下降。模型的测试准确率达98.81%，相较于不使用迁移学习时提升了7%，且没有出现过拟合现象，说明模型训练良好。

图  9  训练准确率及损失变化曲线

Figure  9.  Training accuracy and loss change curves

下载: 全尺寸图片 幻灯片

模型测试混淆矩阵如图10所示。在4种故障类型共168张用于测试的图像中，只将2个掺沙故障的测试样本错误识别成了正常，验证了本文方法在小样本故障识别中的可行性。

图  10  模型测试混淆矩阵

Figure  10.  Model testing confusion matrix

下载: 全尺寸图片 幻灯片

3.2.3   模型可视化验证

引入遮挡灵敏度图来进一步评估本文方法的可行性及模型训练效果。当神经网络对图像进行分类时，图像不同区域对分类结果的影响不同，模型应能够根据图像的主要目标来进行分类，而不是学习到与目标偏离的特征。将差异较大的3种时频图都放在一个数据集中去训练模型，很容易导致模型因提取不到共同特征而不收敛。通过遮挡灵敏度图，可验证模型是否提取到了3种图像共同的、关于故障频率的特征。重复对图像不同部分进行遮挡，将遮挡图像输入分类模型中，观察网络中间层的情况及预测值的变化。3种时频图原图与遮挡灵敏度图对比见表6。

表  6  时频图原图与遮挡灵敏度图对比

Table  6.  Comparison between the original time-frequency images and the occlusion sensitivity images

托辊状态	STFT			CWT			HHT
	时频图原图	遮挡灵敏度图		时频图原图	遮挡灵敏度图		时频图原图	遮挡灵敏度图
正常托辊
托辊轴承 滚珠缺失
托辊掺沙
托辊卡滞

下载: 导出CSV 

| 显示表格

遮挡灵敏度图中，红色区域表示对图像分类有积极贡献，在决策过程中更为重要，蓝色区域相反。可看出，即使3种时频图原图有很大区别，但模型识别相同类型故障时，还是会集中在对应的故障频率附近，说明模型在训练过程中学习到了深层次的特征，与训练预期相符，从而进一步验证了模型的训练效果及数据集扩充方法的可行性。

3.3   对比实验

为了进一步验证本文托辊故障诊断方法的有效性，将其与文献[12]、文献[24]、文献[25]所提方法进行对比，所用数据仍然是3.1节中所述实际采集到的托辊故障信号，实验结果见表7。

表  7  不同方法实验结果对比

Table  7.  Comparison of experimental results of different methods

方法	方法描述	准确率/%
文献[24]	一维信号+一维卷积神经网络	59.38
文献[25]	STFT时频图数据集+迁移AlexNet	76.79
文献[12]	生成对抗网络扩充STFT时频图数据集+迁移学习	94.35
本文方法	多种类型时频图结合的数据集扩充+迁移学习	98.81

下载: 导出CSV 

| 显示表格

由文献[24]及3.2节的分析可看出，在数据量不足的情况下，无论是使用一维信号还是使用单一时频方法生成的时频图数据集直接训练模型，都很容易在训练过程中出现过拟合现象，从而导致模型的泛化能力差，应用在测试集中的识别准确率低。文献[25]采用了STFT时频图数据集加迁移AlexNet网络模型的方法，相较于从头训练模型，准确率有所提升，说明深度迁移学习方法能够有效提升小样本情况下的模型训练精度，但最终表现也不是很好，数据量过少可能是一个原因，另一个原因可能是因为被迁移的AlexNet网络初始训练所用的源域数据集是ImageNet数据集，与迁移后目标域的时频图数据集相似性很低，导致迁移效果差，识别效果不好。文献[12]用生成对抗网络扩充STFT时频图数据集，在对托辊的分类实验中达到了不错的分类效果，证明生成式神经网络是解决小样本问题很有效的方法之一。本文方法虽然相较于文献[12]方法准确率只提高了4%，但是本文所提扩充数据集的方法相较于文献[12]方法更容易实现，可解释性更强，而且在扩大数据量的同时能够增加数据样式，有效提高模型的泛化能力。

4.   结论

1） 提出了多种类型时频图结合的数据集扩充方法，充分利用了STFT，CWT，HHT之间的关联与差异，有效解决了模型训练样本数量不足的问题。

2） 引入了深度迁移学习的思想，使用轴承数据集对模型进行预训练，然后使用托辊数据对预训练模型进行模型微调。迁移后的模型微调过程相较于从头训练所用的代数更少，模型能更快地达到拟合。

3） 实验结果表明：多种类型时频图结合的数据集扩充方法能有效解决使用小样本数据训练模型时易过拟合的问题；使用迁移学习后，模型测试准确率达98.81%，相较于不使用迁移学习时提升了7%，且未出现过拟合现象，说明模型训练良好；相较于生成对抗网络扩充STFT时频图数据集+迁移学习的方法，多种类型时频图结合的数据集扩充+迁移学习的方法准确率提高了4%，且更容易实现，可解释性更强。