0 引言
带式输送机是重要的煤炭运输设备，具有运输距离长、运输量大、速度快、连续作业时间长等特点[1-3]。带式输送机实际应用中需要对输煤量和跑偏进行检测：输煤量检测可使带式输送机根据煤量自动调速，减少能耗[4-5]；跑偏检测可避免出现安全事故。目前，带式输送机输煤量和跑偏检测主要通过布设繁多的传感器实现，且多为接触式传感器，长期使用后传感器损耗严重，检测准确率降低，实时性变差。因此采用检测性能稳定、准确率高的非接触式检测方法逐渐成为研究热点。
文献[6]使用激光扫描输送带，获得输送带上物料的点云信息，根据点云构成的轮廓，确定输送带输煤量。文献[7]使用激光的Ohta颜色特征构建输送带轮廓线，计算输送带梯形截面积，从而获得输煤量。但文献[6-7]都是用激光对输送带进行点或线的扫描，容易受环境中细小颗粒物的影响，且激光本身受外部强光影响，对物料轮廓提取造成较大干扰，同时激光仪价格昂贵，限制了其应用。使用相机拍摄图像受外界强光干扰小，且可获取一个区域的图像信息，信息量丰富，检测更准确。文献[8]使用数字摄像机获取输送带视频图像，通过对比图像的时域与频域特征，计算输煤量。文献[9]使用图像边缘检测得到煤料宽度，通过知识库模糊计算得到输煤量。文献[10]使用双目摄像机获得煤料图像及其深度信息，通过模糊推理得出煤料体积，进而实现输煤量计算。文献[11]通过改进的边缘检测算法，提取输送带边缘线及其位置信息，从而判断输送带是否跑偏。但文献[8-11]采用图像识别方法进行输煤量或跑偏检测，需要人工设计图像特征，对图像特征提取的要求较高，人工设计图像特征的合理性和有效性在不同的应用环境下差别较大，通用性不佳，且通过人工设计图像特征的方法同时实现输煤量和跑偏检测十分困难。
近年来深度学习迅速发展，其中卷积神经网络使用端到端的学习方法，使网络自学习图像特征，不需要人工设计图像特征，大幅度提高了图像检测性能[12-16]。但传统的卷积神经网络是单任务网络，为实现输煤量和跑偏的同时检测，使用2个卷积神经网络分别对输煤量和跑偏进行检测，会导致网络体积大、参数多、计算量大、运行时间长，严重影响检测性能。本文提出了一种基于多任务卷积神经网络(Multi-Task Convolutional Neural Network，MT-CNN)的带式输送机输煤量和跑偏检测方法，同时对输煤量检测和跑偏检测这2个任务进行学习，使2个任务共享同一个网络底层结构和参数，可减小网络体积，降低计算量，提高运行速度。
1 检测原理
带式输送机输煤量和跑偏检测由离线训练和在线检测2个阶段组成，如图1所示。离线训练阶段，对输送带图像进行灰度化、中值滤波和提取感兴趣区域(Region of Interest，ROI)等预处理，将预处理后的图像制作成训练数据集和测试数据集，并对MT-CNN进行训练。在线检测阶段，使用训练好的MT-CNN对输送带实时图像进行检测，实现带式输送机输煤量和跑偏的同时检测。
图1 带式输送机输煤量和跑偏检测原理
Fig.1 Detection principle of coal quantity and deviation of belt conveyor
2 MT-CNN
2.1 MT-CNN结构
通过图像识别将输送带输煤量分为“大输煤量”、“中输煤量”、“小输煤量”和“无输煤量”，输送带跑偏分为“左跑偏”、“无跑偏”和“右跑偏”，这是经典的图像识别分类问题。卷积神经网络中经典的VGGNet[17]模型结构相对简单，因此本文基于VGGNet模型构建MT-CNN。
VGGNet模型由输入层、卷积层、激活层、池化层、全连接层和输出层构成。输入层输入224×224的RGB图像；卷积层采用小卷积核(3×3和1×1)对图像进行卷积运算，用于提取图像特征；激活层采用ReLU函数，对图像特征进行非线性映射；池化层采用2×2池化核进行池化操作，对图像特征降维、压缩，减小网络计算的复杂度；全连接层采用4 096个通道，对所有特征进行重新映射，最大化利用特征信息；输出层是1个Softmax，用于计算最终识别结果。
VGGNet模型是一个单任务模型，输入的RGB图像特征丰富且结构复杂，采用较小的卷积核和池化核，且全连接层有较多的通道，使得VGGNet模型体积较大，运行时间长。而输送带图像预处理后为灰度图，尺寸较大，图像结构简单，且需要同时检测输煤量和跑偏，实时性要求较高。
本文在VGGNet模型的基础上，增大卷积核和池化核的尺度，减少全连接层通道数量，改变输出层结构，构建MT-CNN，结构如图2所示。
图2 MT-CNN结构
Fig.2 Structure of MT-CNN
输入层输入350×350的灰度图L[0]。
卷积层通过卷积核对输入的图像进行卷积计算，提取图像特征。卷积层1采用7×7的卷积核对L[0]进行卷积计算，得到图像特征：
z[1]=w[1]*L[0]+b[1]
(1)
式中：w[1]和b[1]分别为卷积层1的权重和偏置；*表示卷积计算。
激活层对图像特征进行非线性映射，提取图像中复杂的非线性特征。激活层1采用ReLU函数对z[1]进行非线性变换，得到图像的非线性特征：
a[1]=ReLU(z[1])=max(0,z[1])
(2)
池化层在保留主要特征的基础上对图像特征进行降维、压缩，减小网络计算复杂度。池化层1采用4×4池化核对a[1]进行最大池化计算，得到降维后的图像：
(3)
卷积层2、激活层2和池化层2作用和计算方式分别与卷积层1、激活层1和池化层1类似。最终池化层2计算输出L[2]到全连接层。
全连接层将得到的所有特征进行重新映射，最大化利用特征信息。L[2]经过具有128个通道的全连接层1计算后可得
L[3]=ReLU(w[3]L[2]+b[3])
(4)
式中w[3]和b[3]分别为全连接层1的权重和偏置。
同样，L[3]经过具有7个通道的全连接层2计算后可得
L[4]=ReLU(w[4]L[3]+b[4])
(5)
式中w[4]和b[4]分别为全连接层2的权重和偏置。
输出层采用2个Softmax计算输煤量和跑偏的检测结果
表示输煤量检测结果，
表示跑偏检测结果)。
2.2 MT-CNN训练
MT-CNN中所有权重w[i](i=1，2，3，4)和偏置b[i]需要通过训练来确定，使用训练数据集和测试数据集对MT-CNN进行训练。
训练数据集和测试数据集获取步骤如下。
(1)获取输送带在不同时间段、光照强度和温湿度环境下的图像，预处理后截取ROI。
(2)从中选取“无输煤量”、“小输煤量”、“中输煤量”、“大输煤量”、“无跑偏”、“左跑偏”和“右跑偏”7种情况的图像各若干张，组成输送带图像样本集。
(3)根据表1、表2对输送带图像样本集中图像标注标签值y=[y1 y2 y3 y4 y5 y6 y7]T。
表1 输煤量标签值
Table1 Label value of coal quantity
表2 跑偏标签值
Table 2 Label value of deviation
(4)从输送带图像样本集中取各种输煤量和跑偏情况的图像各M1张，组成训练数据集(包括7M1张图像)，再从输送带图像样本集剩余图像中随机选取输煤量和跑偏情况的图像各M2(M2<M1)张，组成测试数据集(包括2M2张图像)。
MT-CNN训练流程如图3所示，具体步骤如下。
图3 MT-CNN训练流程
Fig.3 Training flow of MT-CNN
(1)参数初始化，设置MT-CNN中每层的w[i]，b[i]为随机值，迭代次数s，学习率R，检测准确率阈值T。
(2)输入训练数据集图像，计算图像检测结果
(3)根据标签值y和检测结果
计算交叉熵损失函数
(4)计算w[i]的变化值
的变化值
(5)更新w[i]和b[i]：w[i]←w[i]-RΔw[i]，b[i]←b[i]-RΔb[i]。
(6)判断是否为训练数据集最后一张图像：若不是，则输入下一张图像，返回步骤(2)；否则，转到步骤(7)。
(7)输入测试数据集图像，计算图像检测结果
并和对应标签值y比较，计算检测准确率
为检测结果与标签值一致的图像数量)。
(8)判断检测准确率是否达到要求：若Ac≥T，则转到步骤(9)；若Ac<T，判断是否完成迭代，若未完成，则转到步骤(2)，重新使用训练数据集进行新一轮训练，否则转到步骤(9)。
(9)保存参数w[i]和b[i]，网络训练完成。
3 实验与分析
硬件环境：CPU(3.40 GHz，Inteli5)，8 GB内存，GTX1060显卡。软件环境：Win7操作系统，Anaconda3(64 bit)集成编程环境(集成Python3.6.2，Numpy1.13.1, Matplotlib2.0.2)，OpenCV3.3.0图像处理工具，PyTorch0.3.0开源深度学习框架。
使用摄像机获取输送带图像。从输送带图像样本集中选取“无输煤量”、“小输煤量”、“中输煤量”、“大输煤量”、“无跑偏”、“左跑偏”和“右跑偏”共7种情况的图像各800张，并按随机顺序将这5 600张图像的图像名和对应的标签值保存，构成训练数据集；从输送带图像样本集剩余的图像中随机选取输煤量、跑偏图像各500张，并按随机顺序将这1 000张图像的图像名和对应的标签值保存，构成测试数据集。
3.1 检测准确性
设置迭代次数s=25，学习率R=0.01，对MT-CNN进行训练，并用测试数据集分别计算输煤量和跑偏检测准确率，取两者的平均值作为本文方法的检测准确率。准确率随迭代次数变化曲线如图4所示，可看出MT-CNN收敛速度快，且随着迭代次数增加，检测准确率逐渐提高，最终稳定在92.5%。
图4 检测准确率随迭代次数变化曲线
Fig.4 Curve of detection accuracy varies with iterations
为进一步提高检测准确率，将检测错误的所有图像提取出来进行分析，发现检测错误的图像总体分为两类：ROI中输送带区域只有部分有煤料的图像；输煤量或跑偏情况处于分类结果之间的临界状态的图像。通过查看训练数据集，发现检测错误的第1类图像只有36张，约占训练数据集的0.6%，导致MT-CNN对该类图像的检测训练不足。因此增加检测错误的第1类图像在训练数据集中的比例，重新训练MT-CNN，检测准确率提高到97.3%。对于检测错误的第2类图像，由于人工对图像标注只能凭经验分类，难以保证标注全部准确，所以无法彻底消除该类图像检测错误。
3.2 检测实时性
使用测试数据集对MT-CNN分别输入1，10，100，1 000张图像进行实时性检测，每组实验进行10次取平均值，结果见表3。根据表3可计算出本文方法平均处理每张图像时间约为23.1 ms，处理速度快，实时性较好。
表3 运行时间
Table 3 Running time
3.3 性能对比
为验证MT-CNN在准确性和实时性上的优势，与VGGNet模型进行对比。由于VGGNet模型是单任务模型，设置2个VGGNet模型分别对输煤量和跑偏进行检测。使用相同的训练数据集和测试数据集对2种网络进行实验，检测准确率、运行时间分别如图5和图6所示。
图5 检测准确率对比
Fig.5 Comparison of detection accuracy
图6 运行时间对比
Fig.6 Comparison of running time
从图5和图6可看出，与VGGNet模型相比，MT-CNN检测准确率高、运行时间少。主要是因为在MT-CNN的底层即卷积层、激活层、池化层等，2个任务共享相同的网络结构和参数，可以用训练数据集中5 600张图像共同训练共享网络参数，训练效果好，检测准确率较高，且只需要经过1个网络即可同时检测输煤量和跑偏，计算量小，运行时间短；而使用2个VGGNet模型分别检测输煤量和跑偏时，只能分别使用训练数据集中3 200张输煤量图像和2 400张跑偏图像对2个VGGNet模型训练，每个任务样本数量较少，影响训练效果，检测准确率较低，且需要经过2个网络分别检测输煤量和跑偏，计算量大，运行时间长。
4 实际运行结果
在现场环境中使用本文方法对输送带实时图像进行输煤量和跑偏检测，检测结果在监控终端显示屏中实时显示，如图7所示。图中白色方框为检测提取的ROI，检测结果在白色方框上方以“X，Y”(“X”表示输煤量检测结果，用“N”、“L”、“M”、“H”分别表示“无输煤量”、“小输煤量”、“中输煤量”、“大输煤量”；“Y”表示跑偏检测结果，用“N”、“L”、“R”分别表示“无跑偏”、“左跑偏”、“右跑偏”)形式标注。为直观观测输送带跑偏情况并与检测结果比较，在ROI中设置2条白色直线段分别作为“左边界线”和“右边界线”，当检测结果为左跑偏时，图像中输送带左边缘应与“左边界线”相交，同理，可检验本文方法检测右跑偏和无跑偏是否正确。从图7可看出，检测结果与输送带实际的输煤量和跑偏情况一致。
(a)大输煤量无跑偏
(b)中输煤量无跑偏
(c)小输煤量无跑偏
(d)无输煤量无跑偏
(e)中输煤量左跑偏
(f)中输煤量右跑偏
图7 实际运行效果
Fig.7 Actual running effect
5 结语
基于MT-CNN的带式输送机输煤量和跑偏检测方法采用多任务学习方式，使输煤量检测和跑偏检测这2个任务共享网络底层结构和参数，降低了网络结构的复杂性，在较少的训练数据集条件下具有较好的训练效果，提高了检测准确率和实时性。该方法实现了带式输送机输煤量和跑偏的准确、快速检测，为后续带式输送机自动调速和纠偏提供了依据。
参考文献（References）：
[1] 孙汪萍.长距离带式输送机节能优化策略的研究[D].合肥:合肥工业大学,2015.
SUN Wangping.Studies of long distance belt conveyor and energy saving optimization strategy[D].Hefei:Hefei University of Technology,2015.
[2] CHEN Wei,LI Xin.Model predictive control based on reduced order models applied to belt conveyor system[J].ISA Transactions,2016,65:350-360.
[3] HE Daijie,PANG Yusong,LODEWIJKS G.Green operations of belt conveyors by means of speed control[J].Applied Energy,2017,188:330-341.
[4] 温凯瑞.带式输送机节能调速控制系统关键技术研究[D].北京:中国地质大学(北京),2018.
WEN Kairui.Research on key technology of intelligent power supply system for large mine ventilator[D].Beijing:China University of Geosciences(Beijing),2018.
[5] 李克伟.基于机器视觉技术的带式输送机输送量检测系统的应用与研究[D].沈阳:东北大学,2014.
LI Kewei.The Research and application of the detection system to measure the material transportation on conveyor belt based on machine vision technology[D].Shenyang:Northeastern University,2014.
[6] 曾飞,吴青,初秀民,等.带式输送机物料瞬时流量激光测量方法[J].湖南大学学报(自然科学版),2015,42(2):40-47.
ZENG Fei,WU Qing,CHU Xiumin,et al.Measurement of material instantaneous flow on belt conveyors based on laser scanning[J].Journal of Hunan University(Natural Sciences),2015,42(2):40-47.
[7] 关丙火.基于激光扫描的带式输送机瞬时煤量检测方法[J].工矿自动化,2018,44(4):20-24.
GUAN Binghuo.Detection method of instantaneous coal quantity of belt conveyor based on laser scanning[J].Industry and Mine Automation,2018,44(4):20-24.
[8] 陶伟忠.基于视频的煤矿带式输送机自动调速控制系统[J].煤炭科学技术,2017,45(5):28-33.
TAO Weizhong.Automatic speed control system of mine belt conveyor based on video[J].Coal Science and Technology,2017,45(5):28-33.
[9] 李纪栋,蒲绍宁,翟超,等.基于视频识别的带式输送机煤量检测与自动调速系统[J].煤炭科学技术,2017,45(8):212-216.
LI Jidong,PU Shaoning,ZHAI Chao,et al.Coal quantity detection and automatic speed regulation system of belt conveyor based on video identification[J].Coal Science and Technology,2017,45(8):212-216.
[10] 代伟,赵杰,杨春雨,等.基于双目视觉深度感知的带式输送机煤量检测方法[J].煤炭学报,2017,42(增刊2):547-555.
DAI Wei,ZHAO Jie,YANG Chunyu,et al.Detection method of coal quantity in belt conveyor based on binocular vision depth perception[J].Journal of China Coal Society,2017,42(S2):547-555.
[11] 王星,白尚旺,潘理虎,等.基于计算机视觉的带式输送机跑偏监测[J].煤矿安全,2017,48(5):130-133.
WANG Xing,BAI Shangwang,PAN Lihu,et al.Deviation monitoring of belt conveyor based on computer vision[J].Safety in Coal Mines,2017,48(5):130-133.
[12] 周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017,40(6):1229-1251.
ZHOU Feiyan,JIN Linpeng,DONG Jun.Review of convolutional neural network[J].Chinese Journal of Computers,2017,40(6):1229-1251.
[13] 胡越,罗东阳,花奎,等.关于深度学习的综述与讨论[J].智能系统学报,2019,14(1):1-19.
HU Yue,LUO Dongyang,HUA Kui,et al.Overview and discussion on deep learning[J].CAAI Transactions on Intelligent Systems,2019,14(1):1-19.
[14] GUO Yanming,LIU Yu,OERLEMANS A,et al.Deep learning for visual understanding:a view[J].Neurocomputing,2016,187:27-48.
[15] 于进勇,丁鹏程,王超.卷积神经网络在目标检测中的应用综述[J].计算机科学,2018,45(增刊2):17-26.
YU Jinyong,DING Pengcheng,WANG Chao.Overview:application of convolution neural network in object detection[J].Computer Science,2018,45(S2):17-26.
[16] 张慧,王坤峰,王飞跃.深度学习在目标视觉检测中的应用进展与展望[J].自动化学报,2017,43(8):1289-1305.
ZHANG Hui,WANG Kunfeng,WANG Feiyue.Advances and perspectives on applications of deep learning in visual object detection[J].Acta Automatica Sinica,2017,43(8):1289-1305.
[17] SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[C]//Proceeding of the 3rd International Conference on Learning Representations,San Diego,2015:1-14.