AI视频图像分析在选煤厂智能化中的应用现状与发展趋势

折小江, 刘江, 王兰豪

折小江,刘江,王兰豪. AI视频图像分析在选煤厂智能化中的应用现状与发展趋势[J]. 工矿自动化,2022,48(11):45-53, 109. DOI: 10.13272/j.issn.1671-251x.2022060092
引用本文: 折小江,刘江,王兰豪. AI视频图像分析在选煤厂智能化中的应用现状与发展趋势[J]. 工矿自动化,2022,48(11):45-53, 109. DOI: 10.13272/j.issn.1671-251x.2022060092
SHE Xiaojiang, LIU Jiang, WANG Lanhao. Application status and prospect of AI video image analysis in intelligent coal preparation plant[J]. Journal of Mine Automation,2022,48(11):45-53, 109. DOI: 10.13272/j.issn.1671-251x.2022060092
Citation: SHE Xiaojiang, LIU Jiang, WANG Lanhao. Application status and prospect of AI video image analysis in intelligent coal preparation plant[J]. Journal of Mine Automation,2022,48(11):45-53, 109. DOI: 10.13272/j.issn.1671-251x.2022060092

AI视频图像分析在选煤厂智能化中的应用现状与发展趋势

详细信息
    作者简介:

    折小江(1986 -),男,陕西榆林人,工程师,主要从事选煤厂智能化建设研究及管理工作,E-mail:746175448@qq.com

    通讯作者:

    刘江(1999 -),男,江西都昌人,硕士研究生,主要研究方向为机器学习算法、数据驱动建模与控制,E-mail:liu2230861651@gmail.com

  • 中图分类号: TD67/948

Application status and prospect of AI video image analysis in intelligent coal preparation plant

  • 摘要: 人工智能(AI)视频图像分析是选煤厂智能化的重要组成部分,可实现对选煤厂设备、环境、人员、选煤全流程的重要参数的智能监测。给出了目前智能化选煤厂基本架构,指出现有研究大部分是利用AI视频图像分析技术构建对选煤厂人员、设备、环境、管理的安全监测系统,给出了智能视频图像监测系统的构建过程。针对选煤厂智能化建设中的安全环保生产和提高产品质量两大目标,从异物检测、智能分选、设备运行状态监测、煤炭粒度检测、人员行为监控和环境与安全检测等6个方面介绍了AI视频图像分析技术在选煤厂智能化选煤上的应用现状。对AI视频图像分析在选煤厂智能化应用进行了展望,指出不仅要从宏观架构上搭建基于5G通信、物联网、AI、智能控制理论和选煤行业技术的多层级视频监控系统,还要从微观上优化现有通用的智能视频监测方法或算法,开发出适用于选煤厂环境的智能视频图像分析技术:机器视觉、计算机视觉应与深度学习高度融合,面对不同工况,合理应用机器视觉与计算机视觉的不同优势;建立多层级一体化监控系统框架,在框架内部署并优化算法模型;建立多元化的视频图像数据库,充分利用不同图像类型的数据特征,开发针对性分析算法;深入研究分布式数据流与实时AI视频图像分析,构建实时AI分布式系统,合理调度视频图像分析模型,提高实时模型的计算效率与准确性。
    Abstract: Artificial intelligence (AI) video image analysis is an important part of intelligent coal preparation plant. It can realize the intelligent monitoring of important parameters of the equipment, environment, personnel and the whole process of coal preparation. The basic structure of the intelligent coal preparation plant is proposed. It is pointed out that the existing research mostly uses AI video image analysis technology to construct the safety monitoring system of coal preparation plant for personnel, machine, environment and management. The construction process of the intelligent video image monitoring system is proposed. In view of the two goals of safe and environment-friendly production and improving product quality in the intelligent construction of coal preparation plant, the application status of AI video image analysis technology in the intelligent coal preparation plant is introduced from six aspects. The aspects include foreign object detection, intelligent separation, equipment running state monitoring, coal particle size detection, personnel behavior monitoring and environmental safety detection. The intelligent application of AI video image analysis in coal preparation plant is proposed. It is pointed out that it is necessary to build a multi-level video monitoring system based on 5G communication, the Internet of Things, AI, intelligent control theory and coal preparation industry technology from the macro architecture. It is also necessary to optimize existing general intelligent video monitoring methods or algorithms from a micro perspective, and develop intelligent video image analysis technology suitable for the coal preparation plant environment. Machine vision and computer vision should be highly integrated with deep learning. The different advantages of machine vision and computer vision should be reasonably applied in different working conditions. It is suggested to establish a multi-level integrated monitoring system framework, and deploy and optimize the algorithm model within the framework. It is suggested to establish a diversified video image database, make full use of data characteristics of different image types, and develop targeted analysis algorithms. It is suggested to deeply study the distributed data stream and real-time AI video image analysis, build a real-time AI distributed system, reasonably schedule the video image analysis model, and improve the calculation efficiency and accuracy of the real-time model.
  • 选煤厂智能化是工业智能发展的重要组成部分,是煤炭行业转变发展方式、优化生产结构、提高经济效益的重要途径。国家发展改革委、能源局等8个部委提出的《关于加快煤矿智能化发展的指导意见》推动了煤炭行业选煤厂的智能化建设[1],目标在2035年,建成感知智能、决策智能、自动执行的煤矿智能化体系。

    选煤厂依靠工人定期巡检选煤设备工作状况或监视选煤过程参数,手动操作现场报警、设备启停,选煤厂的监控系统只记录、存储视频,不能为精准决策提供依据,无法满足现代选煤厂对智能化水平的要求,人工智能(Aritificial Intelligence, AI)视频图像分析可实现对选煤厂设备、环境、人员、选煤全流程重要参数的智能监测,进而降低人力成本,提高生产效率,精准监测过程参数,对选煤厂智能化具有重大意义。基于AI视频图像分析的选煤厂智能化首先要在算法角度考虑各种AI视频图像分析算法的识别精度、鲁棒性、时空复杂度等性能问题,以适应复杂的工业环境;在宏观构建选煤厂智能化体系的层面深究如何在各层级中高效应用AI视频图像分析技术,以应对选煤厂的不同工况。

    本文介绍了视频图像分析、大数据技术与边缘计算等技术融合现状,着重介绍AI视频图像分析在异物检测、智能分选、设备运行状态监测、煤炭粒度检测、人员行为监控和环境安全检测等6个方面应用现状,对其中存在的问题进行分析,并展望AI视频图像分析技术在选煤厂智能化过程发展趋势。

    智能化选煤厂是一个融合新一代通信与信息技术、计算机网络技术、AI技术、智能控制技术和行业技术的现代化选煤厂[2]。智能化选煤厂的分选过程、安全保障和生产管理系统等具有自感知、自学习、自决策与自执行的基本能力,可提高选煤厂整体智能化水平、提高煤矿产品产率,最终实现经济效益最大化的目标。

    智能化选煤厂基本架构包括感知层、控制层、执行层和分析决策层4个部分,如图1所示。感知层通过大量传感器感知现场设备的工作参数或环境状态,将这些传感数据实时存储在本地数据库。控制层运用自动控制、现代控制或智能控制方法,实现对现场执行机构的智能化精确控制。执行层对控制层信号进行响应,执行相应的动作。分析决策层构建大数据和AI分析与决策平台,实现AI模型的构建、传感数据智能分析,其“云”侧是AI模型的训练平台,“边”侧利用训练好的AI模型对“端”侧的传感器数据进行实时智能分析,将决策控制信息通过互联网传输到控制层。

    图  1  智能化选煤厂基本架构
    Figure  1.  Basic structure of intelligent coal preparation plant

    现有研究大部分是利用AI视频图像分析技术构建对人员、设备、环境、管理的安全监控系统。文献[3]构建了由感知层、网络层和应用层(进行安全监测与行为分析和简单的声音预警)组成的AI安全视频监控系统,实时监控分析人、物的不安全状态。文献[4]利用AI视频识别、大数据分析、云计算、边缘计算等技术构建云−边−端一体化井下规范操作智能化视频监控系统(图2),实时监控工人行为是否符合安全规范,以提升选煤现场安全管理水平。选煤智能视频监控系统的云侧和边侧为第三方提供AI智能分析接口服务,且可通过多种工业协议与不同设备通信,提高了该系统在不同选煤厂的可移植性。文献[5]综合分析矿山数据特点,构建了基于物联网技术的选矿井下动态信息平台,该平台划分为支持层、感知层、传输层、服务层、数据提取层和应用层,其中支持层为感知层的信息采集、传输层的数据传输、服务层的数据融合、数据提取层的数据分析和应用层的数据输出提供技术支持。文献[6]融合大数据、现场总线通信技术、PLC控制技术和视频监控技术,搭建了含有设备层、控制层和信息(监控管理)层的选煤厂视频监控系统,该系统结合选煤厂环境,通过基于高斯混合模型的背景减法实现人员目标的跟踪与检测。文献[7]开发了一种包括数据采集层、网络层、执行层和监控层的煤矿智能检测识别系统,实现煤矿人员和关键设备的安全状态监测及生产流程的安全监控。

    图  2  选煤智能化视频监控系统
    Figure  2.  Intelligent video monitoring system for coal preparation

    以上文献介绍了智能视频图像监测系统构建过程,对每个网络层的组成、功能、功能实现过程及应用进行了分析,为学者研究功能全面、通用性高、结构优良的基于视频图像智能分析选煤厂监测系统提供参考。

    针对选煤厂如何运用智能手段来保证安全环保生产和提高产品质量这两大难题,分析了AI视频图像分析技术在异物检测、智能分选、设备运行状态监测、煤炭粒度检测、人员监控和环境安全检测6个方面的应用现状。

    煤炭运输是选煤厂分选流程中一个重要环节,输送带作为其中主要的传输设备,保证煤炭运送至指定的加工区域。输送带所运输的原煤中包含不同的异物(如金属片、石块、纤维杂线及锚杆、锚索、电缆头等)[8],这些异物不仅会影响商品煤质量,还会在煤炭输送过程中堵塞、划伤输送设备,造成输送带跑偏,影响整个输送系统运行的稳定性。在传统的生产工艺中,异物剔除这一环节需要人工定期检查装置,这种方式除杂效率低,准确度不高,无法满足对煤产品高纯度的需求。

    随着AI蓬勃兴起,许多学者对异物检测问题进行了研究。文献[8]提出了一种注意力卷积神经网络(Convolution Neural Network,CNN)模型,用于检测采矿生产过程中输送带上原材料中掺杂的异物,该模型在解码器中加入了注意力机制,达到突出目标区域显著特征并抑制背景干扰的效果,捕获更为丰富的语义信息,提高异物分布零散情况下的检测准确度,但在异物聚集或被煤炭遮挡情况下的检测准确度不高。文献[9]基于主成分分析网络(Principal Component Analysis Network,PCANet)和宽度神经网络(Flat Neural Network,FNN)设计了一个具有较强解释性的模型,用于输送带图像中异物识别,相比其他普通深度神经网络,该模型的识别精度更高,但节点自适应参数过于依赖训练集的好坏,需要手工标注图像。文献[10]采用广义交并比损失函数(Generalized Intersection over Union, GIOU)优化SSD(Single Shot MultiBox Detector,轻量级目标检测)网络和骨干网络,对输送带表面异物进行视频检测,提高SSD的识别精度和检测速度,虽然此方法找到了异物近似位置,但没有识别出异物的完整轮廓。文献[11]对视频图像进行RGB转换、背景与前景的矩阵转换,最终通过阈值自动检测输送带异物,选用颜色和灰度为统计特征,利用主成分分析(Principal Component Analysis,PCA)对运动输送带进行特征提取以判断输送带是否工作异常,虽然计算速度快,但这种特征降维方法需通过人工选取特征,自适应能力弱,不适用于异物与煤炭分布的随机情况。

    上述文献应用图像处理技术和神经网络对输送带上的异物进行检测,相比传统方法,提高了检测准确度。但煤炭输送是一个连续进行的过程,异物可能会被煤泥覆盖或煤块遮挡,且异物颜色、形状、纹理等特征与煤炭相似,这些大大增加了异物与煤炭的分离难度。针对以上难题,未来可结合轻量型深度神经网络,研究出具有算力高、鲁棒性好、低时延等优点的AI视频图像分析算法。

    选煤工业中煤矸石分选是其预选步骤中一个重要环节,传统煤矸石分选主要依靠工人在输送带两侧挑选出矸石,生产效率低,且对工人身体危害很大。重介质选煤与跳汰选煤在一定程度上提高了分选效率及自动化程度。但重介质选煤和跳汰选煤都依靠密度单一特征作为分选原则,需要悬浮液、水等作为分选介质,不仅耗费资源,还对环境有一定的影响,且需要较多的先验知识进行控制,这些分选方法在智能化程度上亟待提高。

    文献[12]利用背景差分法对视频运动目标进行检测,通过均值与中值滤波分离背景,利用灰度−梯度共生矩阵提取小梯度优势、大梯度优势、灰度平均等纹理特征来识别煤与矸石。文献[13-15]选取图像中煤和矸石的颜色特征、灰度共生矩阵的能量、对比度等为纹理特征,通过K近邻、支持向量机(Support Vector Machine,SVM)、反向传播(Back Propagation,BP)神经网络进行煤矸识别实验,提出了基于特征递归剔除的SVM模型,提高了识别效率。以上研究方法通过人为选取一定数量的特征进行提取,再采用经典机器学习方法进行识别,在复杂的选煤场景中,这些方法在进行视频实时分选时准确率不高。许多学者为更快、更准确地实现视频智能识别与分选、自动提取有效特征,提出了部分基于深度学习的算法与模型。文献[16]针对网络复杂度问题,提出了基于K−means++算法的模型剪枝CNN,利用ResNet、SqueezeNet等深度CNN框架进行煤矸石图像识别,压缩了模型并提高了17.8%的识别精度。文献[17]根据高斯金字塔原理构建了多层训练样本,设计了基于煤矸石区域候选网络(Region Proposal Network,RPN)的卷积神经网络模型,煤与矸石在输送带上不规则分布的情况下,其识别率达98.33%,且能够在单张图像中检测出多个煤矸石。

    大多数选煤厂依靠肉眼观察浮选泡沫来调控过程参数,这种方式耗费人力、主观性强、观测精度低、无法满足长时间稳定的控制需求。人工检测煤泥水pH值的方法存在结果滞后的问题,pH检测仪电极容易因积垢而测量不准。而基于AI的浮选泡沫视频图像分析可实现长时间连续多次的准确检测。文献[18-19]利用图像处理技术与贝叶斯正则化神经网络模型根据浮选泡沫视觉特征(气泡大小、泡沫流动速度和颜色等)和纹理特征(能量、熵、相关性等)预测精煤品质、精煤回收率,以控制或优化浮选过程。文献[20-21]利用浮选泡沫表面视觉信息(如RGB、大小、流速等)和纹理作为手工选取的特征,使用PCA对特征向量进行降维,再通过浅层神经网络(径向基网络、前馈神经网络等)实现pH值在线检测,预测平均准确率为80%。

    在浮选工艺的AI视频分析研究中,大多使用浅层的神经网络输入手动选取气泡的特征,依靠经典机器学习进行识别,利用先验知识进行调参,算法鲁棒性不强。基于机器视觉的煤矿智能分选的核心是对分选目标进行特征提取,未来可尝试将FNN应用到煤矿分选中,自学习隐藏的特征信息,并提高模型训练速度。

    输送带运行状况影响着后续分选阶段是否正常运作,对输送带进行状态监测是极为重要的。传统输送带状态依靠工人用眼监控,在监控场景过多、时间过长的情况下,该方法监测效率极低。利用AI视频图像分析技术监测输送带的工作状态,可大大提升监测效率,进一步提高选煤厂智能化水平。文献[22]结合Canny算子和小波包算法进行边缘特征提取,小波包分析克服了小波分解的高频段分辨率差的缺点,具有很强的时域局部化分解能力,计算复杂度低,使用优化后的Hough算法检测直线边缘,提高输送带跑偏检测系统的实时性。文献[23]通过分析输送带跑偏的主要原因(矿料分布的重心偏离输送带的中心线),利用图像处理技术(灰度处理、滤波、Hough 直线检测等)判断输送带是否跑偏或洒料,但在大块煤炭遮挡输送带边缘时,检测效果不好。文献[24]基于机器视觉经典方法判断中部槽是否堵塞,从而避免由于中部槽堵塞发生严重生产问题。

    以上文献根据设备工作异常时的不同特征,利用图像处理技术检测设备是否运行正常,开拓了AI视频图像分析在选煤厂设备状态检测方面的应用。在图像处理领域,基于深度学习的边缘检测为后续将AI视频图像分析拓展到其他设备状态监控提供了思路和方向。

    煤炭粒度是煤炭开采过程中至关重要的质量评估指标,也是保障煤炭洗选加工过程顺利开展的重要影响因素。煤炭生产加工包括煤炭开采与煤炭洗选加工2个阶段,煤炭开采生产的煤为原煤,其煤炭粒度通常大于300 mm,需要控制破碎的出料粒度在300 mm以下;煤炭洗选加工根据不同产品类型要求筛选出粒度合适的物料。在浮选工艺中,入料粒度对煤的可浮性影响很大,粒度越小越容易与药剂作用,煤粒相互附着的表面积越大,浮选速度越快。根据《煤炭产品品种和等级划分》[25]可知,不同类型的商品煤对煤炭粒度有不同的要求,烟煤和无烟煤、褐煤的粒度等级要求见表1

    表  1  烟煤、无烟煤和褐煤的粒度等级划分
    Table  1.  Classification of particle size of bituminous coal, anthracite and lignite mm
    粒度名称无烟煤和烟煤粒度褐煤粒度
    特大块>100~300>100~300
    大块>50~100>50~100
    混大块>50>50
    中块>25~50, >25~80>25~50, >25~80
    小块>13~25>13~25
    混中块>13~50, >13~80
    混块>13, >25
    混粒>6~25
    粒煤>6~13
    混煤<50
    末煤<13, <25<13, <25
    粉煤<6
    下载: 导出CSV 
    | 显示表格

    目前选煤厂大多采用人工筛分或单纯的机械筛分方法对煤炭粒度进行检测,这些方法劳动强度大、安全系数低、检测效率不高。使用AI视频图像检测方法识别煤炭粒度,控制执行机构进行研磨、筛分等程序,形成闭环控制回路,可提高设备生产效率、降低能源消耗。文献[26]基于机器视觉中的图像处理方法构造多尺度Hessian矩阵滤波器对矿物图像进行边缘提取,使用基于凸包分析的颗粒分割算法对输送带上的物料粒度进行实时在线检测。文献[27]提出了一种基于积分图像的距离变换和种子点提取图像分割方法,有效解决了黏连颗粒难于检测的问题,并绘制粒度累计分布曲线,实时检测矿石粒度分布,为后续研磨、分选等工艺控制提供了数据参考。文献[28]提出了对黏连颗粒的黏连处进行基于Harri算法的凹点检测与匹配的分割方法,同时提出了一种矿石特征(矿石图像的亮度、形状和纹理特征)融合的多尺度图像分割方法,利用SVM进行识别,准确率可达89%。

    上述研究推动了AI视频图像分析方法在煤炭粒度检测方面的发展,文献[27-28]针对高粉尘、高污染的工业环境下的煤炭黏连区域难以分割的难题,提出了解决方法。随着深度学习的快速发展,三维卷积神经网络(Three Dimensional Convolutional Neural Network, 3DCNN)在煤炭粒度动态识别中也将具有非常大的研究前景。

    安全生产是所有工厂的第一要务,保障选煤厂人员安全是至关重要的事情。选煤厂管理人员通过摄像头远程监控工作人员行为(是否戴安全帽、穿安全服,是否有空岗、脱岗、睡岗、吸烟,人员操作设备是否正确等),这种传统监控方法只具有录制、存储和回放功能,并不适用于监控摄像头大幅度增加的选煤厂状况。应用AI视频图像识别技术智能监控人体行为的方式相比传统视频监控更为便利、准确,也不需要人值守。文献[29]应用机器视觉技术改造现有视频监控系统,侧重于监控系统软件的设计,提高了选煤厂监控人员的便利性。端到端深度学习可避免先验的主观因素干扰,可以自学到人体行为特征,还可利用语义特征提高行为识别准确率[30]。文献[31]将深度学习的人员行为识别算法分为二维卷积神经网络(Two Dimensional Convolutional Neural Network,2D CNN)、3DCNN和循环神经网络(Recurrent Neural Network,RNN),构建矿工不安全行为的语义数据库,基于图像的RGB信息结合深度学习、元学习和量子遗传算法等技术,提出了一种基于自适应特征融合的元学习方法,可实现小样本条件下的矿工不安全行为识别;另外提出了基于动态卷积核的轻量型CNN行为识别模型,实现了快速识别矿工行为;还提出了一种层次化自适应损失迁移训练框架来优化模型,提高模型的特征学习性能,弥补了传统视频行为识别方法的自适应缺陷。

    在视频智能分析中,深度学习一般需要的训练样本数据较大,一定程度上影响了监控的实时性,且工业环境的不确定性和高复杂性因素加大了人员监控的难度。但监控的目标依旧是人本身,相比人全身,头部具有不易被遮挡、差别明显等特征。所以有学者根据头部一些固有特征,结合轻量化深度学习模型,监测人员行为和人员数量。文献[32]提出了多场景视频智能处理系统和基于并发流水线的多场景规则调度管理(Multi Scenario Scheduling Management,MSSM)的视频调度管理算法,旨在结合云边端技术来解决多路视频智能处理过程中数据量大、算法复杂度高和高时延的问题,构建基于MobileNet轻量网络的SSD和基于小尺度特征的深度可分离卷积网络以优化头部检测模型,实现对人员数量的检测。文献[33]针对煤矿井下复杂工业环境,利用MobileNet轻量网络提取头部特征,结合SSD检测模型统计员工数量。文献[34]将人员头部检测模型部署在NVIDIA Jetson Nano嵌入式系统内,检测工人是否头戴安全帽,提供了一个实时监控选煤厂的嵌入式开发方向,非常符合当前5G物联网技术、大数据发展背景。

    综上,基于深度学习的图像视频分析算法得到了充分研究,深度学习轻量化框架得到了快速发展,提高了人体行为识别模型的计算性能、准确率,选煤厂未来可开发针对不同选煤环境下的人体行为图像或视频库,以训练出鲁棒性高的识别模型。

    选煤厂粉尘不仅危害设备运行状况,还严重危害员工身体健康,且粉尘爆炸的隐患严重影响选煤厂的安全性,粉尘检测对选煤厂智能化来说极为重要。基于视频图像技术的粉尘检测主要包括基于煤炭灰度特征的和基于煤炭形态特征的检测方法。文献[35]针对大气光散射效应和粉尘粒子遮挡效应,提出了基于粉尘图像成像原理的图像传输量计算方法,有效减小了光散射和粉尘黏连对检测精度的影响,提高了粉尘浓度检测的准确率。文献[36]首先从微观特征(单个煤尘颗粒细化、随机散聚、纹理特征等)和煤尘图像空间特性(煤粒分布、煤粒大小、分形维数等非线性特征)出发,通过实验获得二值化煤尘图像的形态特征因子,从而经过边缘检测对煤尘粒子重叠区域进行定位,然后根据粒子群的判别特征用定位信息分类粒子群,并改进VGGNet(Visual Geometry Group Net,视觉几何组网络)和损失函数(在交叉熵损失函数中引入中心损耗来增大类间间隔,减小类内差异);最后提出了VGGNet混合模型(基于学习特征图语义信息的CARAFE模块实现分割,全连接层进行分类)。该模型具有较强的检测能力,为基于深度学习的视频图像粉尘检测提供了参考。

    目前安全隐患数据大多是通过各类传感器进行采集的,现用的感烟、感温、感光、气体及复合式传感器,因检测距离有限、参数单一、不能获取环境场景的丰富信息,且易受环境的影响和干扰,导致严重的漏报、误报。红外热成像摄像头作为一种不受光强度和电磁影响的非接触处式传感器,使红外热成像技术在公共安全监控行业应用极为广泛,特别是用来检测设备或人体的温度、火灾等。文献[37]根据火焰的颜色亮度、圆形度、火焰尖角形状和火焰抖动等特征,利用图像处理技术提取目标,使用离散余弦变换火灾外形轮廓数据,监测火灾发生后的灾情,可以结合红外热成像摄像头监测环境温度,同时预防与监测火灾。文献[38]从红外热成像图像处理技术和人工智能热故障诊断2个关键问题出发,讨论了图像处理中的去噪、分割和特征提取方法及基于BP神经网络、径向基函数(Radial Basis Function,RBF)神经网络的智能故障诊断中的可行性。文献[39]提出了基于热成像技术的气体泄露监测系统,该系统利用泄露处因气体快速膨胀造成附近温度降低的原理,采用了图像处理技术,包括数据采集、图像预处理、图像处理、特征提取和分类,实现了气体泄露报警功能。以上基于热成像技术的应用都是单模态,在鲁棒性和检测精度上有待提高,在选煤厂智能化建设中,多模态传感器融合可实现对选煤厂工况的多角度监测。文献[40]构建了一个由7个半导体气体传感器(识别甲烷、烟雾、氢气、乙醇、天然气、丁烷、一氧化碳、液化石油气和香烟等)阵列和一个热成像仪组成的网络架构,先通过CNN和长短期记忆网络分别提取热图像特征和气体传感器的数据特征,再进行模型融合,既可识别气体类型,也可检测气体是否有泄露。

    通过以上分析可知,AI视频图像分析技术在选煤厂智能环境监测和安全隐患监测与防控方面有广泛的用途,但目前国内基于此研究的文献并不多,考虑到选煤厂环境与安全监测需要实时在线,未来研究可针对选煤厂具体的应用环境提出轻量化特征提取模型,融合传统机器视觉的稳定性与计算机视觉的灵活性。

    AI视频图像分析技术在给选煤厂赋能增效的过程中,不仅要从宏观架构上搭建基于5G通信、物联网、AI、智能控制理论和选煤行业技术的多层级视频监控系统,还要从微观上深入研究每层所包含的技术要点,优化现有通用的智能视频监测方法或算法,开发出适用于选煤厂环境的智能视频图像分析技术。

    (1) 机器视觉、计算机视觉与深度学习高度融合。机器视觉适用于选煤厂特定场景下高精度的产品质量、设备参数检测,如在线检测灰分、煤泥水浓度测定、煤仓料位检测、煤炭粒度检测等。计算机视觉不同于机器视觉,多用于较为复杂的现实场景中,要检测的物体类型不一、形状不规则、没有规律性,侧重对三维场景的感知、识别与理解,如人员行为监控、煤矸石分选、输送带异物检测、粉尘浓度检测等。机器视觉与深度学习融合可促进机器视觉适应更加复杂的工业环境,借助深度学习挖掘更为完整的图像特征,提高图像分类或检测准确率。计算机视觉与深度学习融合开发出鲁棒性高、计算复杂度低的模型,未来可基于MobileNet、SqueezeNet、ShuffleNet、GhostNet等轻量级神经网络模型和模型压缩技术开发出满足选煤厂检测精度的专用模型,促进选煤厂对环境和设备的实时感知。

    (2) 建立合理的应用架构,优化算法模型。 “云−边−端”多层级一体化监控系统架构可利用5G的超高容量、低功耗、超高速率、超低时延等优点,缩短数据传输时间,使用物联网发挥选煤厂设备信息互联的功能。优先采用边缘侧计算方式,直接在摄像头端进行采集分析,避免采用后端服务器计算,解决在传输、接收、分析、反馈环节造成的延迟影响。针对智能化分析场景需求,选择合适的算法,应用先进的神经网络或机器学习技术,建立特征与目标间的真实关系函数,并通过传感数据+智能算法进行特征提取、模型训练,不断优化算法。

    (3) 建立多元化的视频图像数据库,开发针对性分析算法。从摄像头本身获得可准确反映物体真实的数据源,极大减小后续视频图像分析结果的误差,提高视频检测精度。在需要间接检测选煤设备或环境温度时,则可使用红外热成像摄像头,捕获热图特征数据,再基于背景差分法、比值热图法、PCA等方法进行数据处理;在需要检测选煤设备或人员的运行、移动距离时,则使用3D深度摄像头获取三维立体图像或视频信息,通过3DCNN提取视频时空特征,进行目标识别。同时建立选煤厂设备、环境和人员的标准视频图像库,不同选煤厂共享并完善视频图像库,提高深度学习模型的泛化能力。

    (4) 深入研究分布式数据流与实时AI视频图像分析。选煤厂各种设备参数、生产工艺的过程参数每天按照秒级进行检测,数据量可达千万级甚至数亿级。虽然为训练机器学习或深度学习模型提供了足够可用的样本,但增加了模型计算量。选煤作为流程工业,需要及时从智能模型中得到分析结果以实时反映设备工况状态。面对这些大量连续的视频数据流,AI视频图像分析模型如何实时学习、预测和自动化决策是当前一个重大挑战。深度学习领域中采用轻量级网络模型更多的是对网络结构的改进,实时AI是一种分布式系统工程,涉及数据、模型、算法、通信、硬件等多方面,需要把系统、统计和优化等知识与人工智能有机结合起来。实时AI需要“特征”和“模型”都达到实时性的要求,“特征”实时性指特征数据可快速获取并实时地输入模型,“模型”实时性指通过提高模型的稀疏性来强化实时性。未来可针对选煤厂视频图像实时数据流特征,深入研究分布式机器学习,以提高大数据下训练实时模型的效率和准确性,保证训练精度,提高分析速度。

    (1) 分析了选煤厂智能化建设基本现状,介绍了智能视频图像监测系统的构建过程,对系统每个网络层的组成、功能、功能实现过程及其应用进行了分析。

    (2) 分析AI视频图像分析技术在选煤厂异物检测、智能分选、设备运行状态监测、煤炭粒度检测、人员行为监控和环境与安全检测等6个方面的应用,阐明了其中存在的问题,并提出可行性建议。

    (3) 对视频图像分析技术在选煤厂智能化中的应用进行了展望,指出应紧随当今世界AI发展潮流,从以下方面开展研究:① 高度融合机器视觉、计算机视觉与深度学习,结合模型压缩技术,开发实时轻量级视频图像分析模型。② 应用5G通信、物联网、大数据等技术,构建基于先进神经网络或机器学习算法的云−边−端多层级一体化监控系统架构。③ 组建多元化的选煤厂视频图像数据库,融合多模态视频图像数据,提高深度学习模型的泛化能力。④ 针对选煤厂视频图像实时数据流特征,深入研究多场景视频调度算法及其分布式机器学习方法。

  • 图  1   智能化选煤厂基本架构

    Figure  1.   Basic structure of intelligent coal preparation plant

    图  2   选煤智能化视频监控系统

    Figure  2.   Intelligent video monitoring system for coal preparation

    表  1   烟煤、无烟煤和褐煤的粒度等级划分

    Table  1   Classification of particle size of bituminous coal, anthracite and lignite mm

    粒度名称无烟煤和烟煤粒度褐煤粒度
    特大块>100~300>100~300
    大块>50~100>50~100
    混大块>50>50
    中块>25~50, >25~80>25~50, >25~80
    小块>13~25>13~25
    混中块>13~50, >13~80
    混块>13, >25
    混粒>6~25
    粒煤>6~13
    混煤<50
    末煤<13, <25<13, <25
    粉煤<6
    下载: 导出CSV
  • [1] 张家富. 选煤厂智能化技术和设备现状分析[J]. 煤炭加工与综合利用,2022(1):88-92. DOI: 10.16200/j.cnki.11-2627/td.2022.01.017

    ZHANG Jiafu. Present situation analysis of intelligent technology and equipment in coal preparation plant[J]. Coal Processing & Comprehensive Utilization,2022(1):88-92. DOI: 10.16200/j.cnki.11-2627/td.2022.01.017

    [2] 匡亚莉. 智能化选煤厂建设的内涵与框架[J]. 选煤技术,2018,46(1):85-91. DOI: 10.16447/j.cnki.cpt.2018.01.022

    KUANG Yali. The intension and framework for the construction of intelligent coal preparation plant[J]. Coal Preparation Technology,2018,46(1):85-91. DOI: 10.16447/j.cnki.cpt.2018.01.022

    [3] 赵亮,孙魁元,韩宝虎,等. 基于人工智能视频分析的选煤厂安全管理研究[J]. 中国安全科学学报,2021,31(增刊1):19-23. DOI: 10.16265/j.cnki.issn1003-3033.2021.S1.004

    ZHAO Liang,SUN Kuiyuan,HAN Baohu,et al. Research on safety management of coal preparation plants based on artificial intelligence video analysis[J]. China Safety Science Journal,2021,31(S1):19-23. DOI: 10.16265/j.cnki.issn1003-3033.2021.S1.004

    [4] 杨景峰. 基于AI视频识别技术的井下规范操作监控系统设计[J]. 陕西煤炭,2021,40(1):4-8,46. DOI: 10.3969/j.issn.1671-749X.2021.01.003

    YANG Jingfeng. Design of underground standard operation monitoring system based on AI video recognition technology[J]. Shaanxi Coal,2021,40(1):4-8,46. DOI: 10.3969/j.issn.1671-749X.2021.01.003

    [5]

    WU Yaqin,CHEN Mengmeng,WANG Kai,et al. A dynamic information platform for underground coal mine safety based on Internet of things[J]. Safety Science,2019,113:9-18. DOI: 10.1016/j.ssci.2018.11.003

    [6]

    CHEN Hao, ZI Xinli, ZHANG Qing, et al. Computer big data technology in Internet network communication video monitoring of coal preparation plant[C]. 2nd International Conference on Applied Physics and Computing(ICAPC), Ottawa, 2021: 1-6.

    [7]

    MA Long, CHENG Qing. Design and application of intelligent monitoring and identification system in coal mine[C]. 3rd International Conference on Green Energy and Sustainable Development, Shenyang, 2020: 1027-1031.

    [8]

    ZHANG Kanghui,WANG Weidong,LYU Ziqi,et al. Computer vision detection of foreign objects in coal processing using attention CNN[J]. Engineering Applications of Artificial Intelligence,2021,102:116-128.

    [9]

    ZHAO Xiaohu, LI Xiao, YIN Liangfei, et al. Foreign body recognition for coal mine conveyor based on improved PCANet[C]. 11th International Conference on Wireless Communications and Signal Processing (WCSP), Xi'an, 2019: 1-6.

    [10]

    WANG Yuanbin,WANG Yujiang,DANG Langfei. Video detection of foreign objects on the surface of belt conveyor underground coal mine based on improved SSD[J]. Journal of Ambient Intelligence and Humanized Computing,2020:1-10. DOI: 10.1007/s12652-020-02495-w.

    [11] 高小强. 智能巡检机器人视频监测皮带异物自动识别报警技术研究[J]. 电子技术与软件工程,2016(11):158-160.

    GAO Xiaoqiang. Research on automatic recognition and alarm technology of belt foreign matters monitored by intelligent inspection robot[J]. Electronic Technology & Software Engineering,2016(11):158-160.

    [12] 郭亮. 基于视频图像处理的煤与矸石分选方法的研究[D]. 青岛: 山东科技大学, 2014.

    GUO Liang. Study of the coal and gangue sorting method based on the video image processing[D]. Qingdao: Shandong University of Science and Technology, 2014.

    [13] 丁泽海,薛斌,窦东阳. 图像处理在煤矸石分选系统中的应用[J]. 煤矿机械,2017,38(3):173-175.

    DING Zehai,XUE Bin,DOU Dongyang. Application of image processing in coal and gangue separation system[J]. Coal Mine Machinery,2017,38(3):173-175.

    [14] 吴开兴,宋剑. 基于灰度共生矩阵的煤与矸石自动识别研究[J]. 煤炭工程,2016,48(2):98-101.

    WU Kaixing,SONG Jian. Automatic coal-gangue identification based on gray level co-occurrence matrix[J]. Coal Engineering,2016,48(2):98-101.

    [15] 张勇. 基于视频处理的煤矸石识别研究[D]. 徐州: 中国矿业大学, 2018.

    ZHANG Yong. Research on gangue identification based on video processing[D]. Xuzhou: China University of Mining and Technology, 2018.

    [16] 徐志强,吕子奇,王卫东,等. 煤矸智能分选的机器视觉识别方法与优化[J]. 煤炭学报,2020,45(6):2207-2216. DOI: 10.13225/j.cnki.jccs.zn20.0307

    XU Zhiqiang,LYU Ziqi,WANG Weidong,et al. Machine vision recognition method and optimization for intelligent separation of coal and gangue[J]. Journal of China Coal Society,2020,45(6):2207-2216. DOI: 10.13225/j.cnki.jccs.zn20.0307

    [17]

    LI Dongjun,ZHANG Zhenxin,XU Zhihua,et al. An image-based hierarchical deep learning framework for coal and gangue detection[J]. IEEE Access,2019:7. DOI: 10.1109/access.2019.2961075.

    [18]

    MORAR S H,HARRIS M C,BRADSHAW D J. The use of machine vision to predict flotation performance[J]. Minerals Engineering,2012(36/37/38):31-36.

    [19]

    MASSINAEI M,JAHEDSARAVANI A,MOHSENI H. Recognition of process conditions of a coal column flotation circuit using computer vision and machine learning[J]. International Journal of Coal Preparation and Utilization,2022,42(7):2204-2218. DOI: 10.1080/19392699.2020.1823843

    [20] 唐朝晖,刘金平,陈青,等. 基于预测模型的浮选过程pH值控制[J]. 控制理论与应用,2013,30(7):885-890. DOI: 10.7641/CTA.2013.12042

    TANG Zhaohui,LIU Jinping,CHEN Qing,et al. pH control in flotation process based on prediction model[J]. Control Theory & Applications,2013,30(7):885-890. DOI: 10.7641/CTA.2013.12042

    [21] 阳春华,任会峰,桂卫华,等. 基于机器视觉的矿物浮选pH软测量方法[J]. 计算机工程与应用,2011,47(1):228-230,248. DOI: 10.3778/j.issn.1002-8331.2011.01.065

    YANG Chunhua,REN Huifeng,GUI Weihua,et al. Machine-vision-based soft sensor of pH for flotation process[J]. Computer Engineering and Applications,2011,47(1):228-230,248. DOI: 10.3778/j.issn.1002-8331.2011.01.065

    [22]

    ZHU Aichun, HUA Gang, WANG Yongxing. The research on the detection method of belt deviation by video in coal mine[C]. International Conference on Mechatronic Science, Electric Engineering and Computer (MEC), Jilin, 2011: 430-433.

    [23] 滕悦,徐少川,张庆东. 基于图像处理技术的皮带跑偏监测系统设计[J]. 烧结球团,2020,45(2):10-14. DOI: 10.13403/j.sjqt.2020.02.018

    TENG Yue,XU Shaochuan,ZHANG Qingdong. Design of monitoring system for belt deviation based on image processing technology[J]. Sintering and Pelletizing,2020,45(2):10-14. DOI: 10.13403/j.sjqt.2020.02.018

    [24] 田勇. 机器视觉技术在选煤厂运输机溜槽堵塞检测中的应用[J]. 山西能源学院学报,2021,34(4):5-6,9. DOI: 10.3969/j.issn.1008-8881.2021.04.002

    TIAN Yong. Application of machine vision technology in detection of transport chute blockage in coal preparation plant[J]. Journal of Shanxi Institute of Energy,2021,34(4):5-6,9. DOI: 10.3969/j.issn.1008-8881.2021.04.002

    [25] GB/T17608—2006 煤炭产品品种和等级划分[S].

    GB/T17608—2006 Coal product variety and grade division[S].

    [26] 张雷, 孙颖, 田志辉. 基于机器视觉的物料粒度在线检测方法: 201811478128.8[P]. 2019-04-09.

    ZHANG Lei, SUN Ying, TIAN Zhihui. Online detection method of material granularity based on machine vision: 201811478128.8[P]. 2019-04-09.

    [27] 郭福彧. 基于机器视觉的细碎矿石粒度分布在线检测技术研究[D]. 沈阳: 东北大学, 2015.

    GUO Fuyu. Research on the technology of the fine crushing ore particle size distribution on-line detection based on machine vision[D]. Shenyang: Northeastern University, 2015.

    [28] 董珂. 基于机器视觉的矿石粒度检测技术研究[D]. 北京: 北京工业大学, 2013.

    DONG Ke. Research on ore granularity detection technology based on machine vision[D]. Beijing: Beijing University of Technology, 2013.

    [29] 张宗华. 选煤厂人员智能视频监控系统设计[J]. 工矿自动化,2013,39(4):76-79. DOI: 10.7526/j.issn.1671-251X.2013.04.020

    ZHANG Zonghua. Design of intelligent video monitoring system of personnel of coal preparation plant[J]. Industry and Mine Automation,2013,39(4):76-79. DOI: 10.7526/j.issn.1671-251X.2013.04.020

    [30] 朱煜,赵江坤,王逸宁,等. 基于深度学习的人体行为识别算法综述[J]. 自动化学报,2016,42(6):848-857. DOI: 10.16383/j.aas.2016.c150710

    ZHU Yu,ZHAO Jiangkun,WANG Yining,et al. A review of human action recognition based on deep learning[J]. Acta Automatica Sinica,2016,42(6):848-857. DOI: 10.16383/j.aas.2016.c150710

    [31] 刘忠育. 基于深度学习的矿工不安全行为识别方法研究[D]. 徐州: 中国矿业大学, 2021.

    LIU Zhongyu. Research on recognition methods of miners' unsafe behavior based on deep learning[D]. Xuzhou: China University of Mining and Technology, 2021.

    [32] 冯小琴. 多场景视频智能处理系统及调度管理算法研究[D]. 北京: 北京工业大学, 2019.

    FENG Xiaoqin. Research on multi-scene video intelligent processing system and scheduling management algorithm[D]. Beijing: Beijing University of Technology, 2019.

    [33] 周晨晖. 基于深度学习的煤矿复杂场景人员检测与统计分析方法研究[D]. 徐州: 中国矿业大学, 2019.

    ZHOU Chenhui. Research on personnel detection and statistical analysis in coal mine complex scenes based on deep learning[D]. Xuzhou: China University of Mining and Technology, 2019.

    [34] 张翼翔,林松,李雪. 基于CenterNet-GhostNet的选煤厂危险区域人员检测[J]. 工矿自动化,2022,48(4):66-71. DOI: 10.13272/j.issn.1671-251x.2021080058

    ZHANG Yixiang,LIN Song,LI Xue. Personnel detection in dangerous area of coal preparation plant based on CenterNet-GhostNet[J]. Journal of Mine Automation,2022,48(4):66-71. DOI: 10.13272/j.issn.1671-251x.2021080058

    [35]

    LI Guohui,WU Jieping,LUO Zhiwen,et al. Vision-based measurement of dust concentration by image transmission[J]. IEEE Transactions on Instrumentation and Measurement,2019,68(10):3942-3949. DOI: 10.1109/TIM.2018.2883999

    [36]

    WANG Zheng,ZHENG Xu,LI Dongyan,et al. A VGGNet-like approach for classifying and segmenting coal dust particles with overlapping regions[J]. Computers in Industry,2021,132. DOI: 10.1016/J.COMPIND.2021.103506.

    [37] 宋敬海. 基于嵌入式系统和机器视觉的火灾检测系统研究[D]. 镇江: 江苏科技大学, 2008.

    SONG Jinghai. Research on fire detection system based on embedded system and machine vision[D]. Zhenjiang: Jiangsu University of Science and Technology, 2008.

    [38]

    CUI Haoyang, XU Yongpeng, ZENG Jundong, et al. The methods in infrared thermal imaging diagnosis technology of power equipment[C]. IEEE 4th International Conference on Electronics Information and Emergency Communication, Beijing, 2013: 246-251.

    [39]

    JADIN M S, GHAZALI K H. Gas leakage detection using thermal imaging technique[C]. The 16th International Conference on Computer Modelling and Simulation, Cambridge, 2014: 302-306.

    [40]

    NARKHEDE P,WALAMBE R,MANDAOKAR S,et al. Gas detection and identification using multimodal artificial intelligence based sensor fusion[J]. Applied System Innovation,2021,4(1):1-14.

  • 期刊类型引用(11)

    1. 彭震,王名强. 基于PLC控制技术的智能选煤流水线设计与实现. 自动化应用. 2025(03): 31-33 . 百度学术
    2. 樊青龙,耿磊,邓亚明,梁志斌,张敬文,董刚. 五举煤业智能洗选综合管控平台设计与应用. 选煤技术. 2025(01): 64-74 . 百度学术
    3. 高翔,睢星飞,李晓亮,孙涛,张隽麒. AI机器视觉智能监管系统在危险化学品安全管控中的应用. 化工设计通讯. 2024(03): 152-154 . 百度学术
    4. 樊青龙,邓亚明,董刚,陈达坤. 五举煤业实现煤质创效的应用实践. 选煤技术. 2024(01): 57-62 . 百度学术
    5. 侯玉茂,杨文娣,贺文鹏,孔春朋,张鹏,郭英真,王绍敏. 智能浮选控制系统在中心选煤厂的应用. 煤炭加工与综合利用. 2024(06): 40-42 . 百度学术
    6. 宋相平. 基于AI视频分析及气体监测技术的受限空间作业预警方案. 化工管理. 2024(21): 109-112 . 百度学术
    7. 罗金洋,李勇,倪恒球,毕争,周宏强. 潘集选煤厂智能化建设促进“工位”替代“岗位”管理模式创新实践. 煤炭加工与综合利用. 2024(12): 73-79+83 . 百度学术
    8. 王美君,谭章禄,吕晗冰,桂谕典. 选煤厂智能化建设技术架构与技术策略研究. 矿业科学学报. 2024(06): 1017-1026 . 百度学术
    9. 张善兵. 洗煤厂视频AI智能分析系统探讨. 自动化博览. 2023(04): 30-33 . 百度学术
    10. 肖露露,李尧. 智能视频监控系统在王庄选煤厂的应用. 煤炭加工与综合利用. 2023(11): 11-15 . 百度学术
    11. 耿延兵,王章国. 基于图像灰度识别的煤泥水絮凝沉降速率快速检测方法. 工矿自动化. 2023(12): 87-93 . 本站查看

    其他类型引用(5)

图(2)  /  表(1)
计量
  • 文章访问数:  632
  • HTML全文浏览量:  47
  • PDF下载量:  131
  • 被引次数: 16
出版历程
  • 收稿日期:  2022-06-24
  • 修回日期:  2022-10-27
  • 网络出版日期:  2022-08-29
  • 刊出日期:  2022-11-24

目录

/

返回文章
返回