智慧矿山作为矿山智能化的最高形式,融合了物联网、云计算、人工智能等技术,实现多业务协同、自主分析和自主决策,正在成为煤矿企业新的发展目标[1-2]。井下无人运输系统是智慧矿山的重要组成部分,目前矿用高可靠5G专网系统的投入运行促进了井下无人运输技术快速发展,但井下人员的活动有较高的主观性,在有车辆运行的巷道中仍然会发生人员伤亡事故。
为保障煤矿井下无人运输车辆行驶过程中巷道内人员的安全,需要进行井下人员目标检测,并依据人员位置对车辆进行控制[3]。在井下人员目标检测方面,常用的YOLOv3目标检测模型能够对图像中的目标进行自动识别,并获取目标的位置,但模型参数多、计算量大[4],导致目标检测实时性较差。在车辆速度控制方面,传统的PID控制存在响应速度慢、鲁棒性差等缺点[5]。鉴于此,本文运用深度可分离卷积[6](Depthwise Separable Convolution,DSC)网络对YOLOv3目标检测模型进行改进,以满足对井下人员检测的精度与实时性要求;采用遗传算法[7](Genetic Algorithm,GA)优化PID控制,提高车辆控制响应速度,实现车辆速度精确控制;提出了一种煤矿井下人车联动控制系统,使用改进的YOLOv3目标检测模型在车辆行驶时对井下人员进行检测,依据人员与车辆之间的距离,利用GA-PID控制算法对车辆速度进行控制,可保障煤矿井下人员安全和车辆有序运行。
煤矿井下人车联动控制系统由边缘感知执行层、信息传输层、数据处理层和平台应用层组成,如图1所示,其中边缘感知执行层是系统核心。
图1 煤矿井下人车联动控制系统架构
Fig.1 Architecture of man-vehicle linkage control system in coal mines
(1) 边缘感知执行层。边缘感知执行层组成如图2所示。车载摄像头用来感知车辆前方路况;多源信息感知模块用来获取车辆与人员之间的距离、车辆位置及车辆运行状态等多源感知信息;图像处理单元根据摄像头采集的车载监控视频进行井下人员目标检测;中央处理器、车辆控制单元实现联控报警输出与车辆速度控制;图像存储单元负责暂时存储处理后的视频数据;无线通信模块将数据汇聚到信息传输层。
图2 边缘感知执行层组成
Fig.2 Composition of edge perception and execution layer
(2) 信息传输层。以工业千兆以太网为核心、局部无线接入的信息传输层为系统的可靠性、实时性提供了必要条件[8]。多源信息感知模块获取的数据通过井下异构通信网络按优先级分时上传[9]。当车辆行驶中检测到有人员出现并处于危险距离时,由边缘感知执行层中的车辆控制单元快速做出调速响应,并以最高优先级的形式将多源感知信息和响应信息通过井下无线通信网络汇聚到千兆以太网并上传至数据处理层。
(3) 数据处理层。数据处理层通过视频分析服务器、车辆运行服务器和车辆调度服务器对边缘感知执行层中获取的多源感知信息、车载监控视频等进行分析处理。
(4) 平台应用层。云平台服务器用于存储车载监控视频数据与多源感知信息。地面监控中心根据数据处理层的服务器分析结果给出车辆调度方案,当井下车辆出现故障时,通过远程操作台操控车辆至安全区域。
YOLOv3目标检测模型对输入图像进行特征提取使用的是由1个常规卷积层和5个尺度不同的残差单元组成的DarkNet-53特征提取网络。其中,残差结构在网络加深时使用“短路连接”方式将之前的特征添加到后面的特征图中得到物体的更多特征,通过上采样与特征金字塔网络(Feature Pyramid Network,FPN)得到不同尺度的特征图,最后使用回归函数对目标分类[10-12]。虽然YOLOv3目标检测模型在图像特征提取中采用残差结构加快了网络训练速度,但随着网络深度加大,整个模型特征提取运算参数增大,不利于井下人员检测的实时性。因此,本文使用DSC网络代替YOLOv3目标检测模型中的DarkNet-53特征提取网络,根据上采样与FPN的思想,扩大特征图尺度,用于对远方模糊、尺度变化的人员检测。
改进的YOLOv3目标检测模型结构如图3所示。将输入图像分辨率调整为416×416,通过DSC网络提取图像特征,得到4个不同尺度的特征图,其中大目标用小尺度检测,小目标用大尺度检测。利用K-means算法生成不同大小的预检测边框(Bounding Box),用预检测边框和真实边框(Grounding Truth)的交集与并集的比值(Intersection Over Union,IOU)来判断预检测边框与真实边框的接近程度,IOU越大,表明预检测边框越接近真实边框[13]。
图3 改进的YOLOv3目标检测模型结构
Fig.3 Structure of improved YOLOv3 target detection model
DSC分为逐通道卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)2步[14]。逐通道卷积是利用卷积核对输入图像的每一个通道进行卷积运算生成特征图的过程,如图4所示。
图4 逐通道卷积特征提取运算过程
Fig.4 Operation process of feature extraction by depthwise convolution
在逐通道卷积过程中,1个卷积核负责1个输入图像的通道,即1个通道只被1个卷积核卷积,通道数与所需的卷积核个数相等。对于1个M通道的输入图像,经过M个D×D维的卷积核运算后得到M个特征图。逐通道卷积特征提取运算所需参数个数为
Ndepthwise=MD2
(1)
经过逐通道卷积得到的特征图只包含少量的目标特征信息,且整个过程只是对单个通道进行卷积,不同通道上的目标信息没有融合。因此需要通过逐点卷积对逐通道卷积得到的特征图在深度上进行加权组合,得到新的多通道信息融合的特征图,如图5所示。
图5 逐点卷积特征提取运算过程
Fig.5 Operation process of feature extraction by pointwise convolution
由逐通道卷积得到的M个特征图经过K(K>M)个1×1维的卷积核运算后,得到L(L>M)个多通道目标信息融合的特征图。逐点卷积特征提取运算所需参数个数为
Npointwise=KM
(2)
将式(1)与式(2)相加,可得整个用于特征提取的DSC网络运算所需参数个数:
Nsecnn=MD2+KM
(3)
YOLOv3目标检测模型的DarkNet-53特征提取网络使用K个D×D维的卷积核对M通道的输入图像特征融合,得到L个特征图,如图6所示。
图6 YOLOv3目标检测模型特征提取运算过程
Fig.6 Operation process of feature extraction by YOLOv3 target detection model
YOLOv3目标检测模型特征提取运算所需参数个数为
Ncnn=KMD2
(4)
由式(3)、式(4)可得
(5)
由式(5)可知,随着K和D增大,DSC网络计算量相对于DarkNet-53特征提取网络的特征提取运算所需参数明显减少,表明改进的YOLOv3目标检测模型可大大提高目标检测速度。
通过GA优化PID控制参数步骤如下。
(1) 编码。对PID控制参数编码,减小GA对PID参数整定的盲目性[15-16]。
(2) 构建目标函数。为达到满意的过渡过程动态特性,采用误差绝对值时间积分性能指标作为目标函数,同时,在目标函数中引入控制输入的平方项u2(t)。
J=[C1|e(t)|+C2u2(t)+
w4|e(t)|]dt+C3tu
(7)
式中:J为目标函数;C1,C2,C3为权值常数;w4为加权值;tu为上升时间。
(3) 选择。以适应度为选择原则,通过目标函数计算第i(i=1,2,…,Q,Q为种群大小)个个体适应度fi,根据适应度比例法,第i个个体被选取的概率为
(8)
(4) 交叉。采用单点交叉法产生新的种群,提高个体适应性。
(5) 变异。对交叉产生的新种群采用变异计算,防止繁殖与交叉步骤的信息遗漏。第i个个体的变异概率为
(9)
(6) 终止判断。若经过步骤(5)计算得到的新种群中第i个个体的变异概率小于设定的阈值,则返回步骤(3);否则迭代停止,得到优化的PID控制参数。
基于GA-PID的车辆速度控制原理如图7所示。通过转速传感器实时测量车辆速度Vn并与给定速度Vm比较得到速度偏差e,GA-PID控制器根据速度偏差e和车辆减速时的加速度de/dt,寻找最优PID控制参数Kp,Ki,Kd(Kp,Ki,Kd分别为比例、积分、微分调节系数),控制变频器输出不同占空比的PWM信号来调节电动机转速,形成车辆速度的闭环控制。
图7 基于GA-PID的车辆速度控制原理
Fig.7 Vehicle speed control principle based on GA-PID
当改进的YOLOv3目标检测模型检测到车辆前方有人员出现时,依据多源信息感知模块获取的人员与车辆之间的距离,控制车辆速度。人员与车辆之间安全警戒距离如图8所示。若人员与车辆之间的距离在一级警戒距离范围内,边缘感知执行层发出声光报警提醒人员离开危险区域并降低车辆速度;若人员与车辆之间的距离处于二级警戒距离范围内,车辆将紧急制动,同时将此时的车辆位置信息上传至系统数据处理层的车辆调度服务器中进行分析处理,地面监控中心根据处理结果做出车辆调度决策,保证井下车辆有序运行与人员安全。
图8 人员与车辆之间安全警戒距离
Fig.8 Security warning distance between person and vehicles
实验平台配置:Windows 10操作系统;Intel Core i7-10700中央处理器;NVIDIA RTX 2070 GPU;CUDA10.0+CUDNN7.5 GPU加速库;TensorFlow+Keras深度学习框架;Matlab2018b仿真软件;NVIDIA Jetson TX2嵌入式平台。对改进的YOLOv3目标检测模型剪枝压缩后移植到嵌入式平台中。
煤矿井下人员检测数据集来源于淮北矿业股份有限公司涡北煤矿井下运输巷道监控视频,共提取9 000张图像(设置图像大小为416×416),其中6 500张图像作为训练集,2 500张图像作为测试集,图像中的人员数量不等、环境不一、人员位置多样。
为验证改进的YOLOv3目标检测模型的实时性与准确性,与YOLOv3目标检测模型进行对比,结果见表1。可看出改进的YOLOv3目标检测模型虽然在检测精度上略微下降,但仍满足井下无人运输系统对行人检测精度的要求;模型大小、计算量、检测速度均优于YOLOv3目标检测模型。
设置PID控制参数Kp=[0,20],Ki=[0,1],Kd=[0,1]。设置GA参数:种群大小Q=30,C1=0.999,C2=0.001,C3=2,w4=100。经过100次迭代,GA整定后的PID控制参数Kp=19.631 7,Ki=0.265 1,Kd=0.056 0。
表1 不同目标检测模型对煤矿井下人员检测结果对比
Table 1 Comparison of detection results of different target detection models for underground coal mine personnel
目标检测模型模型大小/MB特征提取运算所需参数个数检测时间/(s·帧-1)检测精度/%YOLOv3240.0120 448 7190.129 292.3改进的YOLOv355.71 024 9760.046 990.1
当车辆速度从10 m/s分别下降到1.5,0 m/s时,GA-PID与PID控制的响应时间对比见表2。可看出GA-PID控制方法对车辆速度控制的响应时间更短。
表2 不同算法对车辆速度控制的响应时间对比
Table 2 Comparison of response time under different algorithms for vehicle speed control s
控制方法下降到1.5 m/s时响应时间下降到0时响应时间PID0.601.05GA-PID0.300.45
规定人员与车辆之间的一级警戒距离范围为25~43 m,二级警戒距离范围为15~24 m;在一级警戒距离范围内车辆速度为1.5~2.5 m/s,二级警戒距离范围内车辆速度为0。在不同的警戒距离下,测量车辆速度是否符合规定,共进行10组测量,计算人车联动控制可靠度,见表3。可看出在一级警戒距离范围实现人车联动控制的平均可靠度为96%,在二级警戒距离范围实现人车联动控制的平均可靠度为91%。
表3 人车联动可靠度
Table 3 Man-vehicle linkage reliability
警戒距离/m车辆速度符合要求的组数可靠度/%警戒距离/m车辆速度符合要求的组数可靠度/%251010015101002799016101002999017990318801810100331010019101003599020101003791002199039990229904188023101004399024990
设计了一种煤矿井下人车联动控制系统。利用DSC代替YOLOv3目标检测模型的DarkNet-53特征提取网络,扩大了特征图尺度,减小了目标检测模型的大小,提高了井下人员目标检测的实时性;根据人员与车辆之间的距离,基于GA-PID对车辆速度进行控制,缩短了车辆速度控制响应时间。实验结果表明,该系统可快速检测人员目标,并根据人员与车辆之间的距离快速控制车辆速度,具有较高的可靠性。
[1] 胡文涛,卓敏敏,赵立厂,等.一种智慧矿山信息交互方法[J].工矿自动化,2020,46(10):55-60.
HU Wentao,ZHUO Minmin,ZHAO Lichang,et al.An information interaction method for smart mine[J].Industry and Mine Automation,2020,46(10):55-60.
[2] 谭章禄,马营营,郝旭光,等.智慧矿山标准发展现状及路径分析[J].煤炭科学技术,2019,47(3):27-34.
TAN Zhanglu,MA Yingying,HAO Xuguang,et al.Development status and path analysis of smart mine standards[J].Coal Science and Technology,2019,47(3):27-34.
[3] 韩江洪,卫星,陆阳,等.煤矿井下机车无人驾驶系统关键技术[J].煤炭学报,2020,45(6):2104-2115.
HAN Jianghong,WEI Xing,LU Yang,et al.Driverless technology of underground locomotive in coal mine[J].Journal of China Coal Society,2020,45(6):2104-2115.
[4] 唐士宇,朱艾春,张赛,等.基于深度卷积神经网络的井下人员目标检测[J].工矿自动化,2018,44(11):32-36.
TANG Shiyu,ZHU Aichun,ZHANG Sai,et al.Target detection of underground personnel based on deep convolutional neural network[J].Industry and Mine Automation,2018,44(11):32-36.
[5] 杨晓,王国柱.基于PID控制理论的改进粒子群优化算法[J].控制工程,2019,26(8):1497-1502.
YANG Xiao,WANG Guozhu.The improved particle swarm optimization algorithm based on PID control theory[J].Control Engineering of China,2019,26(8):1497-1502.
[6] CHENG Dongcai,MENG Gaofeng,XIANG Shiming,et al.FusionNet:edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2017,10(12):5769-5783.
[7] 韩彦东,汪旭东,许孝卓,等.基于遗传算法的永磁同步直线电机PID控制研究[J].电子测量技术,2016,39(5):115-119.
HAN Yandong,WANG Xudong,XU Xiaozhuo,et al.PID control of permanent magnet linear synchronous motor based on genetic algorithms[J].Electronic Measurement Technology,2016,39(5):115-119.
[8] 胡青松,杨维,丁恩杰,等.煤矿应急救援通信技术的现状与趋势[J].通信学报,2019,40(5):163-179.
HU Qingsong,YANG Wei,DING Enjie,et al.State-of-the-art and trend of emergency rescue communication technologies for coal mine[J].Journal on Communications,2019,40(5):163-179.
[9] 李敬兆,刘伟.流量自适应LoRa网络防碰撞路由算法[J].传感器与微系统,2018,37(5):147-150.
LI Jingzhao,LIU Wei.Anti-collision routing algorithm for traffic adaptive LoRa network[J].Transducer and Microsystem Technologies,2018,37(5):147-150.
[10] 朱繁,王洪元,张继.基于深度学习的行人重识别研究综述[J].南京师大学报(自然科学版),2018,41(4):93-101.
ZHU Fan,WANG Hongyuan,ZHANG Ji.A survey of person re-identification based on deep learning[J].Journal of Nanjing Normal University(Natural Science Edition),2018,41(4):93-101.
[11] REN Shaoqing,HE Kaiming,GIRSHICK R,et al.FasterR-CNN:towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.
[12] 李涛,张代胜,张飞,等.基于改进YOLO算法的FSAC赛车实时目标检测系统[J].合肥工业大学学报(自然科学版),2020,43(9):1153-1158.
LI Tao,ZHANG Daisheng,ZHANG Fei,et al.Real-time object detection system of FSAC racing car based on improved YOLO algorithm[J].Journal of Hefei University of Technology(Natural Science),2020,43(9):1153-1158.
[13] 吕石磊,卢思华,李震,等.基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法[J].农业工程学报,2019,35(17):205-214.
LYU Shilei,LU Sihua,LI Zhen,et al.Orange recognition method using improved YOLOv3-LITE lightweight neural network[J].Transactions of the Chinese Society of Agricultural Engineering,2019,35(17):205-214.
[14] 葛道辉,李洪升,张亮,等.轻量级神经网络架构综述[J].软件学报,2020,31(9):2627-2653.
GE Daohui,LI Hongsheng,ZHANG Liang,et al.Survey of lightweight neural network[J].Journal of Software,2020,31(9):2627-2653.
[15] 张志文,王沛元,安柏楠,等.基于遗传算法PID的风电机组变桨控制[J].电力电子技术,2017,51(7):37-39.
ZHANG Zhiwen,WANG Peiyuan,AN Bonan,et al.Variable pitch control of wind turbine generator based on genetic algorithm PID[J].Power Electronics,2017,51(7):37-39.
[16] 张晓光,阮殿旭,刘旭东.基于自适应在线遗传PID的监测网络拓扑控制研究[J].中国矿业大学学报,2012,41(1):95-101.
ZHANG Xiaoguang,RUAN Dianxu,LIU Xudong.The topology control of work-face monitor network based on self-adapting online genetic PID[J].Journal of China University of Mining & Technology,2012,41(1):95-101.