Application status and prospect of AI video image analysis in intelligent coal preparation plant
-
摘要: 人工智能（AI）视频图像分析是选煤厂智能化的重要组成部分，可实现对选煤厂设备、环境、人员、选煤全流程的重要参数的智能监测。给出了目前智能化选煤厂基本架构，指出现有研究大部分是利用AI视频图像分析技术构建对选煤厂人员、设备、环境、管理的安全监测系统，给出了智能视频图像监测系统的构建过程。针对选煤厂智能化建设中的安全环保生产和提高产品质量两大目标，从异物检测、智能分选、设备运行状态监测、煤炭粒度检测、人员行为监控和环境与安全检测等6个方面介绍了AI视频图像分析技术在选煤厂智能化选煤上的应用现状。对AI视频图像分析在选煤厂智能化应用进行了展望，指出不仅要从宏观架构上搭建基于5G通信、物联网、AI、智能控制理论和选煤行业技术的多层级视频监控系统，还要从微观上优化现有通用的智能视频监测方法或算法，开发出适用于选煤厂环境的智能视频图像分析技术：机器视觉、计算机视觉应与深度学习高度融合，面对不同工况，合理应用机器视觉与计算机视觉的不同优势；建立多层级一体化监控系统框架，在框架内部署并优化算法模型；建立多元化的视频图像数据库，充分利用不同图像类型的数据特征，开发针对性分析算法；深入研究分布式数据流与实时AI视频图像分析，构建实时AI分布式系统，合理调度视频图像分析模型，提高实时模型的计算效率与准确性。Abstract: Artificial intelligence (AI) video image analysis is an important part of intelligent coal preparation plant. It can realize the intelligent monitoring of important parameters of the equipment, environment, personnel and the whole process of coal preparation. The basic structure of the intelligent coal preparation plant is proposed. It is pointed out that the existing research mostly uses AI video image analysis technology to construct the safety monitoring system of coal preparation plant for personnel, machine, environment and management. The construction process of the intelligent video image monitoring system is proposed. In view of the two goals of safe and environment-friendly production and improving product quality in the intelligent construction of coal preparation plant, the application status of AI video image analysis technology in the intelligent coal preparation plant is introduced from six aspects. The aspects include foreign object detection, intelligent separation, equipment running state monitoring, coal particle size detection, personnel behavior monitoring and environmental safety detection. The intelligent application of AI video image analysis in coal preparation plant is proposed. It is pointed out that it is necessary to build a multi-level video monitoring system based on 5G communication, the Internet of Things, AI, intelligent control theory and coal preparation industry technology from the macro architecture. It is also necessary to optimize existing general intelligent video monitoring methods or algorithms from a micro perspective, and develop intelligent video image analysis technology suitable for the coal preparation plant environment. Machine vision and computer vision should be highly integrated with deep learning. The different advantages of machine vision and computer vision should be reasonably applied in different working conditions. It is suggested to establish a multi-level integrated monitoring system framework, and deploy and optimize the algorithm model within the framework. It is suggested to establish a diversified video image database, make full use of data characteristics of different image types, and develop targeted analysis algorithms. It is suggested to deeply study the distributed data stream and real-time AI video image analysis, build a real-time AI distributed system, reasonably schedule the video image analysis model, and improve the calculation efficiency and accuracy of the real-time model.
-
0. 引言
带式输送机是运输煤炭的主要设备，具有运载能力强、运输成本低、可靠性好等优点。输送带撕裂是带式输送机运行过程中的常见故障之一，导致输送带撕裂的主要原因如下：① 输送带运输的煤炭中夹杂的硬质异物压、砸、划伤输送带[1] 。② 带式输送机存在设计缺陷或安装不正确，导致其他尖锐物体破坏输送带。③ 输送带跑偏，导致托辊或钢架划伤输送带。局部撕裂会导致浮煤堆积，若不及时处理会引起整条输送带断裂，从而导致煤料倾洒，损坏运输设备，威胁井下作业人员生命安全。因此，研究输送带撕裂检测技术对于保障煤矿生产安全具有重要意义[2-3]。
目前，利用图像智能分析技术进行输送带撕裂检测是煤矿智能化的研究热点之一[4-5]。文献[6]采集输送带的灰度图，通过特征选择形成一维描述向量，构建撕裂特征分类器，完成撕裂分类。文献[7]利用红外图像采集系统获取原始图像，再依次使用平滑滤波器、图像分割、连通分析算法，实现输送带撕裂检测。文献[8]提出了基于YOLOv4的输送带损伤检测算法，通过增加融合特征的层数，减少每层特征卷积次数，实现提高检测精度和速度的目的。文献[9]将一字激光线投射到输送带上，通过边缘检测提取激光线特征，构建特征分类器，实现撕裂预警。文献[10]利用不受可见光干扰的线激光作为光源，用改进灰度重心法提取中心线，根据中心线特性检测纵向撕裂。文献[11]提出了基于多道线性激光的输送带撕裂检测算法，通过分析多道线性激光投射在输送带表面的图像的特征，结合速度传感器数据实现纵向撕裂特征识别。以上方法具有一定效果，但存在以下问题：① 煤矿井下光照条件差，获取的可见光图像质量较差，导致后续图像处理精度下降。② 大部分方法是对撕裂图像进行识别和定位，缺少撕裂物理尺寸测量手段[12]。③ 图像撕裂特征由人工统计构建，当煤矿井下现场条件改变时，之前的撕裂特征不再适用，需要重新提取撕裂特征，泛化能力差。
针对以上问题，提出了一种基于全卷积神经网络的输送带撕裂检测方法。该方法基于线结构光成像原理采集图像，可有效解决煤矿井下光照条件差的问题；采用激光发射器投射具有编码性质的线激光，可实现撕裂物理尺寸测量；采用全卷积神经网络进行撕裂检测，当使用环境发生改变后，只需要重新采集样本进行训练和部署即可。
1. 撕裂检测方法原理
输送带撕裂检测设备包括线激光发射器、工业相机和边缘计算开发板，撕裂检测方法原理如图1所示。线激光发射器与工业相机存在固定的空间位置关系。线激光发射器投射出的线激光经过输送带反射后，在工业相机中形成特殊的图像数据，这些数据可有效反映输送带的状态，为撕裂检测提供数据支撑。边缘计算开发板负责算法和控制，其中核心的图像处理算法由开发板中央处理器（Central Processing Unit，CPU）负责，全卷积神经网络推理由开发板图形处理器（Graphics Processing Unit，GPU）负责。检测设备安装于上行输送带和下行输送带之间，距离上行输送带约0.5 m处，尽量在2个托辊之间，当输送带张紧时，可有效突出输送带撕裂特征。
输送带撕裂检测流程包括在线模块和离线模块2个部分，如图2所示。离线模块只需要运行1次，先对撕裂图像数据进行标注，然后训练全卷积神经网络模型，最后对线结构光进行标定，得到标定参数。在线模块需要重复运行，通过线结构光采集到图像后，进行线激光条纹检测，然后利用全卷积神经网络模型分割出撕裂像素，最后经过撕裂测量得到撕裂的外接矩形和物理尺寸。
2. 线结构光图像处理
2.1 线结构光成像原理
线激光发射器投射激光线，在输送带上形成线激光条纹l，经过反射后在工业相机中成像[13]，如图3所示。线结构光光路模型如图4所示，其中
$ {{o}}_{\mathrm{w}}{x}_{{\rm{w}}}{y}_{{\rm{w}}}{{\textit{z}}}_{{\rm{w}}} $ 为世界坐标系，$ {{o}}_{{\rm{c}}}{x}_{{\rm{c}}}{y}_{{\rm{c}}}{{\textit{z}}}_{{\rm{c}}} $ 为相机坐标系，uv为图像坐标系。根据单目相机成像理论[14] ，在世界坐标系中，线激光曲线为$ l\left(x,y,{\textit{z}}\right) $ ，在相机坐标中的成像曲线为$ {l}_{{\rm{c}}}\left(u,v\right) $ 。成像过程的数学描述为
$$ s\left[ \begin{array}{c}u\\ v\\ 1\end{array} \right]={{\boldsymbol{H}}}_{1}{{\boldsymbol{H}}}_{2}{\boldsymbol{M}}\left[ \begin{array}{c}x\\ y\\ {\textit{z}}\\ 1\end{array} \right] $$ (1) 式中：s为与z相关的变量；
$ {{\boldsymbol{H}}}_{1} $ 和$ {{\boldsymbol{H}}}_{2} $ 为相机内参数；M为相机外参数。相机外参数M用于描述相机与物理世界的位置关系，且与输送带条纹成像无关，为了简化数学过程，设世界坐标系与相机坐标系重合，则
$ {\boldsymbol{M}} $ 由单位矩阵和零矩阵组成，式（1）可以简化为$$ s{\left[ \begin{array}{ccc}u& v& 1\end{array} \right]}^{{\rm{T}}}={\boldsymbol{H}}{\left[ \begin{array}{ccc}x& y& {\textit{z}}\end{array} \right]}^{{\rm{T}}} $$ (2) 式中
$ {\boldsymbol{H}} $ 为相机内参数，${\boldsymbol{H}}={\left[ \begin{array}{ccc}{{\boldsymbol{H}}}_{1}^{{\rm{T}}}& {{\boldsymbol{H}}}_{2}^{{\rm{T}}}& {{\boldsymbol{H}}}_{3}^{{\rm{T}}}\end{array} \right]}^{{\rm{T}}}$ ，${{\boldsymbol{H}}}_{3}= \left[ \begin{array}{ccc}0& 0& 1\end{array} \right]$ 。线激光发射器与线激光可以构成一个平面，该平面的方程为
$$ {\boldsymbol{C}}{\left[ \begin{array}{ccc}x& y& {\textit{z}}\end{array} \right]}^{{\rm{T}}}=d $$ (3) 式中C，d为线激光平面系数，C为
$ 1\times 3 $ 矩阵。通过线结构光标定技术[15]可得到相机内参数H和线激光平面系数C，d。在已知H，C和d的条件下，联立式（2）、式（3）并化简可得
$$ \left[\begin{array}{c}{{\boldsymbol{H}}}_{1}-{u{\boldsymbol{H}}}_{3}\\ {{\boldsymbol{H}}}_{2}-{v{\boldsymbol{H}}}_{3}\\ {\boldsymbol{C}}\end{array}\right]{\boldsymbol{X}}=\left[\begin{array}{c}0\\ 0\\ d\end{array}\right] $$ (4) 式中
${\boldsymbol{X}}={\left[ \begin{array}{ccc}x& y& {\textit{z}}\end{array} \right]}^{{\rm{T}}}$ 。2.2 线激光条纹检测
线激光条纹检测是计算
$u,v$ 的重要步骤。线激光条纹原始图属于二维数据，大量图像区域为黑色无效区域，数据存在大量冗余。通过线激光条纹检测，将图像二维数据优化为一维数据。经典的条纹检测算法[16]包括最大值法、灰度重心法、Steger法、曲面拟合法等。其中最大值法运算效率高、硬件资源占用少，但在条纹出现断点时会失效，因此，本文通过最近邻域法对最大值法进行改进。改进最大值法如图5所示。首先，采用高斯滤波器抑制噪声。其次，通过最大值法遍历u，计算图像灰度最大值。然后，通过最近邻域法解决线激光条纹出现断点时最大值法失效的问题。最后，输出一维函数v=F(u)。
从直方图角度描述改进最大值法，如图6所示。将图像灰度等级划分为64级，断点灰度分布于直方图左侧，条纹灰度分布于直方图右侧，设置阈值，若灰度等级小于阈值则判断为断点，否则为正常点。这样就将图像二维数据优化为一维函数v=
$ F\left(u\right) $ 。得到
$u,v $ 后，通过求解式（4）可得到X，完成线结构光的空间测量过程。3. 基于全卷积神经网络的撕裂检测
先进行数据标注，再训练全卷积神经网络模型，对撕裂数据进行语义分割，最后根据线结构光标定参数计算撕裂物理长度。
3.1 数据标注
数据标注如图7所示，在图像中用矩形框标出撕裂位置，然后将矩形框投影到一维，构成一维函数L(u)。当u在红框投影区域内时，L(u)=1；u在其他区域时，L(u)=0。
3.2 全卷积神经网络
语义分割是指给输入图像的每个像素分配1个语义类型，即将函数
$ v=F\left(u\right) $ 中的每个点划分为正常或者撕裂状态。全卷积神经网络是语义分割中使用最广泛的网络，FCNs[17] ，SegNet[18]，U−net[19]是经典的全卷积神经网络。由于U−net网络结构简单而有效，本文采用U−net网络实现语义分割。U−net网络输入数据为
$ v=F\left(u\right) $ ，由于v分布集中，需对其进行规范化处理：$$ {v}^{\mathrm{*}}={F}^{*}\left(u\right)=\frac{v-\bar {v}}{\sigma } $$ (6) 式中：
$ {v}^{\mathrm{*}} $ 为规范化处理后的值；$ {F}^{*}\left(·\right) $ 为规范化处理函数；$\bar {v}$ 为v的均值；$ \sigma $ 为标准差。工业相机的分辨率是
$ 1\;024\times 1\;280 $ ，因此$ {F}^{*}\left(u\right) $ 只有1个通道，且长度为1 024。而在U−net网络中特征图通过“通道数$ \times $ 高$\times $ 宽”方式描述，针对一维数据$ {v}^{\mathrm{*}}={F}^{*}\left(u\right) $ ，U−net无法直接使用，需要进行降维。因此，本文对U−net网络进行优化，优化后的U−net网络如图8所示。优化后网络结构不变，主要由双卷积模块、下采样层、上采样层、跳跃连接和卷积层组成。图8中，矩形内数字描述了特征图通道和长度的变换过程，格式为“通道数$ \times $ 长度”。从整体看，优化U−net网络只有2个维度数值在变化，维度降低。 针对卷积层，采用由2个卷积层组成的双卷积模块，将原来的二维卷积转换为长度为3的一维卷积，卷积层参数量减少为原来的1/3。针对下采样层，采用池化技术使特征图通道数不变，长度减半，从而减少计算量。3.3 模型训练
优化U−net网络的输出特征图尺寸为
$ 2\times 1\;024 $ ，对输出特征图进行Softmax运算，设运算结果为Q。Q属于one hot编码，Q的第2个通道的数据为所测像素属于撕裂像素的概率，设为P(u)，0<P(u)<1，$ u\in \left[\mathrm{0,1\;024}\right) $ ，结合标注数据$ L\left(u\right) $ ，可得损失函数R：$$ \left\{ \begin{array}{l}{R}_{1}=-\dfrac{1}{1\;024}\displaystyle\sum _{u}(L\left(u\right){\rm{ln}}P\left(u\right)+\\ \qquad \left(1-L\left(u\right)\right){\rm{ln}}\left(1-P\left(u\right)\right))\\ {R}_{2}=1-\dfrac{1}{2}\left(\dfrac{\displaystyle\sum _{u}L\left(u\right)P\left(u\right)}{\displaystyle\sum _{u}L\left(u\right)+\displaystyle\sum _{u}P\left(u\right)}+\right.\\ \qquad \left. \dfrac{\displaystyle\sum _{u}\left(1-L\left(u\right)\right)\left(1-P\left(u\right)\right)}{\displaystyle\sum _{u}\left(1-L\left(u\right)\right)+\displaystyle\sum _{u}\left(1-P\left(u\right)\right)}\right)\\ R={R}_{1}+{R}_{2}\end{array}\right. $$ (7) 式中：
$ {R}_{1} $ 为交叉熵损失函数；$ {R}_{2} $ 为dice损失函数。3.4 撕裂测量
当P(u)趋近于0时，表示所测像素属于正常像素；当P(u)趋近于1时，表示所测像素属于撕裂像素。查找满足
$ P\left(u\right) > 0.5 $ 的连续区域，设撕裂区间为$ \left[{u}_{{\rm{s}}},{u}_{{\rm{e}}}\right] $ ，则撕裂图像的外接矩形为$$ {T}_{{\rm{ext}}}=[{u}_{{\rm{s}}},\underset{u\in \left[{u}_{{\rm{s}}},{u}_{{\rm{e}}}\right]}{\rm{min}}F\left(u\right),{u}_{{\rm{e}}},\underset{u\in \left[{u}_{{\rm{s}}},{u}_{{\rm{e}}}\right]}{\rm{max}}F\left(u\right)] $$ (8) 在线结构光预先标定的条件下，利用式（4）可得到世界坐标系中激光线的起点坐标
$ {{\boldsymbol{X}}}_{\mathrm{s}} $ 和终点坐标$ {{\boldsymbol{X}}}_{\mathrm{e}} $ ，从而可得出撕裂物理尺寸：$$ S={||{{\boldsymbol{X}}}_{{\rm{s}}}-{{\boldsymbol{X}}}_{{\rm{e}}}||}_{2} $$ (9) 4. 实验分析
为了验证本文方法的有效性，设计了3组实验：第1组实验对比改进最大值法与经典线激光条纹检测算法性能；第2组实验对FCNs，SegNet，U−net网络进行对比和分析；第3组实验验证撕裂检测方法性能。
4.1 线激光条纹检测结果分析
采集线结构光成像图，选择2张具有不同特点的条纹图像，分别利用Steger法、灰度重心法和改进最大值法检测线激光条纹，条纹出现断点、灰度较低时的检测效果对比分别如图9、图10所示。
![]()
图 9 条纹出现断点时的检测效果对比Figure 9. Comparison of detection effects when the stripes have breakpoints![]()
图 10 条纹灰度较低时的检测效果对比Figure 10. Comparison of detection effects when the grayscale of the stripes is low从图9可看出，Steger法、灰度重心法都没有填充断点部分，使得条纹缺失一部分，Steger法在折线区域出现明显漏检，灰度重心法在断点边缘处出现明显误检，而改进最大值法断点填充效果好，过渡平滑、自然。从图10可看出，条纹灰度较低时，Steger 法出现大量漏检，灰度重心法和改进最大值法检测效果较好。
对条纹检测局部细节进行分析，结果如图11和图12所示。从图11可看出，Steger 法在撕裂拐点处出现漏检，灰度重心法在断点处出现明显误检，改进最大值法无漏检，断点处被很好地填充。从图12可看出，Steger 法出现明显漏检，灰度重心法和改进最大值法检测效果较好。
综上可得，Steger法检测效果较差，出现了大量误检和漏检；灰度重心法略优于Steger法，但不能处理条纹断点；本文提出的改进最大值法检测效果最佳，可以有效处理断点区域。
4.2 全卷积神经网络对比分析
采集输送带撕裂图像1 276张，并进行条纹检测、规范化和标注处理，形成训练样本库，如图13所示。
选择全部样本的10%作为验证集，90%作为训练集。分别使用U−net，SegNet，FCNs网络进行训练，训练过程如图14所示。dice系数是一种集合相似度度量指标，常用于评价图像分割算法的好坏。本文采用dice系数和平均交并比(mean Intersection over Union, mIoU)作为评价指标。可以看出，U−net网络训练过程平稳，在第15次迭代后达到稳定状态；FCNs网络训练过程振荡较大，性能最差；SegNet网络性能处于两者之间。
不同网络训练结果对比见表1。可看出U−net网络收敛速度快于其他2种网络，迭代的稳定性较强，评价指标最优。
表 1 不同网络训练结果对比Table 1. Comparison of training results of different networks网络模型 dice系数 mIoU 验证集 训练集 验证集 训练集 U−net 0.9471 0.9816 0.9470 0.9831 SegNet 0.9388 0.9680 0.9389 0.9665 FCNs 0.9327 0.9573 0.9328 0.9576 为了进一步验证U−net网络的性能，将U−net网络压缩后重复以上实验。原U−net采用5层结构、4次下采样，记为U−net5，将U−net的5层结构分别改为4层、3层，对应的下采样为3次、2次，记为U−net4和U−net3，其他结构不变。训练过程如图15所示，可看出U−net3网络性能指标较差，稳定性也较差，U−net4和U−net5网络性能差距不大。
不同U−net网络训练结果对比见表2。可看出虽然U−net3网络性能指标最差，但验证集和训练集指标差距小，且验证集指标与U−net4，U−net5网络性能差距小于1%，在对硬件资源要求严格的环境下优先使用；U−net5网络略优于U−net4网络，由于U−net4网络结构更加简单，占用的硬件资源少，综合评价结果为U−net4网络性能最优。
表 2 不同U−net网络训练结果对比Table 2. Comparison of training results of different U-net networks网络模型 dice系数 mIoU 验证集 训练集 验证集 训练集 U−net3 0.9408 0.9663 0.9412 0.9677 U−net4 0.9456 0.9819 0.9467 0.9828 U−net5 0.9471 0.9816 0.9470 0.9831 4.3 撕裂检测与撕裂物理尺寸测量结果分析
为了验证撕裂检测方法性能，在验证集上进行U−net4网络推理，通过计算
$P(u) $ 得到撕裂区间[$ {u}_{{\rm{s}}},{u}_{{\rm{e}}} $ ]，同理可得标注后的撕裂区间[$ {u}_{{\rm{s}}}^{\mathrm{*}},{u}_{{\rm{e}}}^{\mathrm{*}} $ ]，计算交并比$ U=\dfrac{{\rm{min}}\left({u}_{{\rm{e}}},{u}_{{\rm{e}}}^{\mathrm{*}}\right)-{\rm{max}}\left({u}_{{\rm{s}}},{u}_{{\rm{s}}}^{\mathrm{*}}\right)}{{\rm{max}}\left({u}_{{\rm{e}}},{u}_{{\rm{e}}}^{\mathrm{*}}\right)-{\rm{min}}\left({u}_{{\rm{s}}},{u}_{{\rm{s}}}^{\mathrm{*}}\right)} $ ，当U大于0.5时，说明撕裂检测结果正确。检测结果的混淆矩阵见表3，N/A表示没有对应的标准值。计算可得撕裂检测的召回率为96.09%，精确率为96.85%。表 3 撕裂检测混淆矩阵Table 3. Confusion matrix of tearing detection真值 预测值 撕裂 正常 撕裂 123 5 正常 4 N/A 为了验证撕裂物理尺寸测量精度，在实验室中搭建验证平台。选取4条存在撕裂的输送带，每条长约2 m，模拟输送带运载状态。在每条输送带的4个不同位置进行图像采集，共采集16张图像。在激光线标志下，通过游标卡尺手工测量撕裂长度并将其作为标准值，游标卡尺测量精度为0.02 mm。检测结果见表4。
表 4 撕裂物理尺寸测量结果Table 4. Measurement results of tear physical dimensions序号 测量结果/mm 标准值/mm 相对误差/% 1 11.30 10.18 10.96 2 15.08 16.14 −6.58 3 12.21 13.90 −12.16 4 6.80 7.72 −11.95 5 13.45 12.18 10.45 6 18.23 16.90 7.86 7 10.04 9.08 10.61 8 16.65 15.84 5.10 9 11.59 13.06 −11.24 10 14.13 13.02 8.52 11 20.75 19.36 7.16 12 17.52 18.10 −3.19 13 17.96 16.48 9.00 14 11.41 10.72 6.40 15 18.61 17.06 9.11 16 4.87 5.60 −13.04 由表4可看出，最大相对误差为−13.04%。产生误差的主要原因：① 像素误差。通过手工测量撕裂长度，得到每像素物理长度为0.197 mm，这是由相机分辨率决定的，改用更高分辨率的相机可以提高精度，但会增加网络参数。② 手工测量误差。在实际测量过程中，输送带具有弹性，手工测量不可避免会存在误差。③ 图像标注误差。标注外接矩形无法完美描述撕裂区域。④ 线结构光标定误差。
撕裂检测效果如图16所示，图16（a）−（d）对应表4中前4行。为了不遮挡原图，将标记向右偏移，红色像素为非断点的撕裂像素，绿色直线为端点坐标为
$ {{\boldsymbol{X}}}_{\mathrm{s}} $ 和$ {{\boldsymbol{X}}}_{\mathrm{e}} $ 的撕裂直线。可见，所提方法能够有效地实现输送带撕裂检测和撕裂物理尺寸测量。5. 结论
（1） 基于最大值法进行线激光条纹检测，通过最近邻域法解决线激光条纹出现断点时最大值法失效的问题。通过实验证明改进最大值法优于Steger法和灰度重心法。
（2） 基于全卷积神经网络进行激光条纹分割，将撕裂检测问题转换成语义分割问题。选用U−net网络并对其进行降维，有效减少了神经网络参数量。实验结果表明，U−net网络收敛速度快于SegNet和FCNs网络，迭代的稳定性较强，评价指标最优，U−net4网络性能优于U−net3和U−net5。在验证集上的检测结果表明，撕裂检测的召回率为96.09%，精确率为96.85%；
（3） 利用线结构光标定数据进行撕裂物理尺寸测量，在实验平台的测量结果表明，撕裂物理尺寸测量的最大相对误差为−13.04%。误差的主要来源有像素误差、手工测量误差、图像标注误差和线结构光标定误差，可通过减小像素误差和图像标注误差提高测量精度。
（4） 目前撕裂样本数据还不充分，后期将在工业实验中采集更多样本，以进一步提高撕裂检测方法性能。
-
表 1 烟煤、无烟煤和褐煤的粒度等级划分
Table 1 Classification of particle size of bituminous coal, anthracite and lignite
mm 粒度名称 无烟煤和烟煤粒度 褐煤粒度 特大块 ＞100~300 ＞100~300 大块 ＞50~100 ＞50~100 混大块 ＞50 ＞50 中块 ＞25~50, ＞25~80 ＞25~50, ＞25~80 小块 ＞13~25 ＞13~25 混中块 ＞13~50, ＞13~80 — 混块 ＞13, ＞25 — 混粒 ＞6~25 — 粒煤 ＞6~13 — 混煤 ＜50 — 末煤 ＜13, ＜25 ＜13, ＜25 粉煤 ＜6 — 
下载: 导出CSV
-
[1] 张家富. 选煤厂智能化技术和设备现状分析[J]. 煤炭加工与综合利用,2022(1):88-92. DOI: 10.16200/j.cnki.11-2627/td.2022.01.017 ZHANG Jiafu. Present situation analysis of intelligent technology and equipment in coal preparation plant[J]. Coal Processing & Comprehensive Utilization,2022(1):88-92. DOI: 10.16200/j.cnki.11-2627/td.2022.01.017
[2] 匡亚莉. 智能化选煤厂建设的内涵与框架[J]. 选煤技术,2018,46(1):85-91. DOI: 10.16447/j.cnki.cpt.2018.01.022 KUANG Yali. The intension and framework for the construction of intelligent coal preparation plant[J]. Coal Preparation Technology,2018,46(1):85-91. DOI: 10.16447/j.cnki.cpt.2018.01.022
[3] 赵亮,孙魁元,韩宝虎,等. 基于人工智能视频分析的选煤厂安全管理研究[J]. 中国安全科学学报,2021,31(增刊1):19-23. DOI: 10.16265/j.cnki.issn1003-3033.2021.S1.004 ZHAO Liang,SUN Kuiyuan,HAN Baohu,et al. Research on safety management of coal preparation plants based on artificial intelligence video analysis[J]. China Safety Science Journal,2021,31(S1):19-23. DOI: 10.16265/j.cnki.issn1003-3033.2021.S1.004
[4] 杨景峰. 基于AI视频识别技术的井下规范操作监控系统设计[J]. 陕西煤炭,2021,40(1):4-8,46. DOI: 10.3969/j.issn.1671-749X.2021.01.003 YANG Jingfeng. Design of underground standard operation monitoring system based on AI video recognition technology[J]. Shaanxi Coal,2021,40(1):4-8,46. DOI: 10.3969/j.issn.1671-749X.2021.01.003
[5] WU Yaqin,CHEN Mengmeng,WANG Kai,et al. A dynamic information platform for underground coal mine safety based on Internet of things[J]. Safety Science,2019,113:9-18. DOI: 10.1016/j.ssci.2018.11.003
[6] CHEN Hao, ZI Xinli, ZHANG Qing, et al. Computer big data technology in Internet network communication video monitoring of coal preparation plant[C]. 2nd International Conference on Applied Physics and Computing（ICAPC）, Ottawa, 2021: 1-6.
[7] MA Long, CHENG Qing. Design and application of intelligent monitoring and identification system in coal mine[C]. 3rd International Conference on Green Energy and Sustainable Development, Shenyang, 2020: 1027-1031.
[8] ZHANG Kanghui,WANG Weidong,LYU Ziqi,et al. Computer vision detection of foreign objects in coal processing using attention CNN[J]. Engineering Applications of Artificial Intelligence,2021,102:116-128.
[9] ZHAO Xiaohu, LI Xiao, YIN Liangfei, et al. Foreign body recognition for coal mine conveyor based on improved PCANet[C]. 11th International Conference on Wireless Communications and Signal Processing （WCSP）, Xi'an, 2019: 1-6.
[10] WANG Yuanbin,WANG Yujiang,DANG Langfei. Video detection of foreign objects on the surface of belt conveyor underground coal mine based on improved SSD[J]. Journal of Ambient Intelligence and Humanized Computing,2020:1-10. DOI: 10.1007/s12652-020-02495-w.
[11] 高小强. 智能巡检机器人视频监测皮带异物自动识别报警技术研究[J]. 电子技术与软件工程,2016(11):158-160. GAO Xiaoqiang. Research on automatic recognition and alarm technology of belt foreign matters monitored by intelligent inspection robot[J]. Electronic Technology & Software Engineering,2016(11):158-160.
[12] 郭亮. 基于视频图像处理的煤与矸石分选方法的研究[D]. 青岛: 山东科技大学, 2014. GUO Liang. Study of the coal and gangue sorting method based on the video image processing[D]. Qingdao: Shandong University of Science and Technology, 2014.
[13] 丁泽海,薛斌,窦东阳. 图像处理在煤矸石分选系统中的应用[J]. 煤矿机械,2017,38(3):173-175. DING Zehai,XUE Bin,DOU Dongyang. Application of image processing in coal and gangue separation system[J]. Coal Mine Machinery,2017,38(3):173-175.
[14] 吴开兴,宋剑. 基于灰度共生矩阵的煤与矸石自动识别研究[J]. 煤炭工程,2016,48(2):98-101. WU Kaixing,SONG Jian. Automatic coal-gangue identification based on gray level co-occurrence matrix[J]. Coal Engineering,2016,48(2):98-101.
[15] 张勇. 基于视频处理的煤矸石识别研究[D]. 徐州: 中国矿业大学, 2018. ZHANG Yong. Research on gangue identification based on video processing[D]. Xuzhou: China University of Mining and Technology, 2018.
[16] 徐志强,吕子奇,王卫东,等. 煤矸智能分选的机器视觉识别方法与优化[J]. 煤炭学报,2020,45(6):2207-2216. DOI: 10.13225/j.cnki.jccs.zn20.0307 XU Zhiqiang,LYU Ziqi,WANG Weidong,et al. Machine vision recognition method and optimization for intelligent separation of coal and gangue[J]. Journal of China Coal Society,2020,45(6):2207-2216. DOI: 10.13225/j.cnki.jccs.zn20.0307
[17] LI Dongjun,ZHANG Zhenxin,XU Zhihua,et al. An image-based hierarchical deep learning framework for coal and gangue detection[J]. IEEE Access,2019:7. DOI: 10.1109/access.2019.2961075.
[18] MORAR S H,HARRIS M C,BRADSHAW D J. The use of machine vision to predict flotation performance[J]. Minerals Engineering,2012(36/37/38):31-36.
[19] MASSINAEI M,JAHEDSARAVANI A,MOHSENI H. Recognition of process conditions of a coal column flotation circuit using computer vision and machine learning[J]. International Journal of Coal Preparation and Utilization,2022,42(7):2204-2218. DOI: 10.1080/19392699.2020.1823843
[20] 唐朝晖,刘金平,陈青,等. 基于预测模型的浮选过程pH值控制[J]. 控制理论与应用,2013,30(7):885-890. DOI: 10.7641/CTA.2013.12042 TANG Zhaohui,LIU Jinping,CHEN Qing,et al. pH control in flotation process based on prediction model[J]. Control Theory & Applications,2013,30(7):885-890. DOI: 10.7641/CTA.2013.12042
[21] 阳春华,任会峰,桂卫华,等. 基于机器视觉的矿物浮选pH软测量方法[J]. 计算机工程与应用,2011,47(1):228-230,248. DOI: 10.3778/j.issn.1002-8331.2011.01.065 YANG Chunhua,REN Huifeng,GUI Weihua,et al. Machine-vision-based soft sensor of pH for flotation process[J]. Computer Engineering and Applications,2011,47(1):228-230,248. DOI: 10.3778/j.issn.1002-8331.2011.01.065
[22] ZHU Aichun, HUA Gang, WANG Yongxing. The research on the detection method of belt deviation by video in coal mine[C]. International Conference on Mechatronic Science, Electric Engineering and Computer （MEC）, Jilin, 2011: 430-433.
[23] 滕悦,徐少川,张庆东. 基于图像处理技术的皮带跑偏监测系统设计[J]. 烧结球团,2020,45(2):10-14. DOI: 10.13403/j.sjqt.2020.02.018 TENG Yue,XU Shaochuan,ZHANG Qingdong. Design of monitoring system for belt deviation based on image processing technology[J]. Sintering and Pelletizing,2020,45(2):10-14. DOI: 10.13403/j.sjqt.2020.02.018
[24] 田勇. 机器视觉技术在选煤厂运输机溜槽堵塞检测中的应用[J]. 山西能源学院学报,2021,34(4):5-6,9. DOI: 10.3969/j.issn.1008-8881.2021.04.002 TIAN Yong. Application of machine vision technology in detection of transport chute blockage in coal preparation plant[J]. Journal of Shanxi Institute of Energy,2021,34(4):5-6,9. DOI: 10.3969/j.issn.1008-8881.2021.04.002
[25] GB/T17608—2006 煤炭产品品种和等级划分[S]. GB/T17608—2006 Coal product variety and grade division[S].
[26] 张雷, 孙颖, 田志辉. 基于机器视觉的物料粒度在线检测方法: 201811478128.8[P]. 2019-04-09. ZHANG Lei, SUN Ying, TIAN Zhihui. Online detection method of material granularity based on machine vision: 201811478128.8[P]. 2019-04-09.
[27] 郭福彧. 基于机器视觉的细碎矿石粒度分布在线检测技术研究[D]. 沈阳: 东北大学, 2015. GUO Fuyu. Research on the technology of the fine crushing ore particle size distribution on-line detection based on machine vision[D]. Shenyang: Northeastern University, 2015.
[28] 董珂. 基于机器视觉的矿石粒度检测技术研究[D]. 北京: 北京工业大学, 2013. DONG Ke. Research on ore granularity detection technology based on machine vision[D]. Beijing: Beijing University of Technology, 2013.
[29] 张宗华. 选煤厂人员智能视频监控系统设计[J]. 工矿自动化,2013,39(4):76-79. DOI: 10.7526/j.issn.1671-251X.2013.04.020 ZHANG Zonghua. Design of intelligent video monitoring system of personnel of coal preparation plant[J]. Industry and Mine Automation,2013,39(4):76-79. DOI: 10.7526/j.issn.1671-251X.2013.04.020
[30] 朱煜,赵江坤,王逸宁,等. 基于深度学习的人体行为识别算法综述[J]. 自动化学报,2016,42(6):848-857. DOI: 10.16383/j.aas.2016.c150710 ZHU Yu,ZHAO Jiangkun,WANG Yining,et al. A review of human action recognition based on deep learning[J]. Acta Automatica Sinica,2016,42(6):848-857. DOI: 10.16383/j.aas.2016.c150710
[31] 刘忠育. 基于深度学习的矿工不安全行为识别方法研究[D]. 徐州: 中国矿业大学, 2021. LIU Zhongyu. Research on recognition methods of miners' unsafe behavior based on deep learning[D]. Xuzhou: China University of Mining and Technology, 2021.
[32] 冯小琴. 多场景视频智能处理系统及调度管理算法研究[D]. 北京: 北京工业大学, 2019. FENG Xiaoqin. Research on multi-scene video intelligent processing system and scheduling management algorithm[D]. Beijing: Beijing University of Technology, 2019.
[33] 周晨晖. 基于深度学习的煤矿复杂场景人员检测与统计分析方法研究[D]. 徐州: 中国矿业大学, 2019. ZHOU Chenhui. Research on personnel detection and statistical analysis in coal mine complex scenes based on deep learning[D]. Xuzhou: China University of Mining and Technology, 2019.
[34] 张翼翔,林松,李雪. 基于CenterNet-GhostNet的选煤厂危险区域人员检测[J]. 工矿自动化,2022,48(4):66-71. DOI: 10.13272/j.issn.1671-251x.2021080058 ZHANG Yixiang,LIN Song,LI Xue. Personnel detection in dangerous area of coal preparation plant based on CenterNet-GhostNet[J]. Journal of Mine Automation,2022,48(4):66-71. DOI: 10.13272/j.issn.1671-251x.2021080058
[35] LI Guohui,WU Jieping,LUO Zhiwen,et al. Vision-based measurement of dust concentration by image transmission[J]. IEEE Transactions on Instrumentation and Measurement,2019,68(10):3942-3949. DOI: 10.1109/TIM.2018.2883999
[36] WANG Zheng,ZHENG Xu,LI Dongyan,et al. A VGGNet-like approach for classifying and segmenting coal dust particles with overlapping regions[J]. Computers in Industry,2021,132. DOI: 10.1016/J.COMPIND.2021.103506.
[37] 宋敬海. 基于嵌入式系统和机器视觉的火灾检测系统研究[D]. 镇江: 江苏科技大学, 2008. SONG Jinghai. Research on fire detection system based on embedded system and machine vision[D]. Zhenjiang: Jiangsu University of Science and Technology, 2008.
[38] CUI Haoyang, XU Yongpeng, ZENG Jundong, et al. The methods in infrared thermal imaging diagnosis technology of power equipment[C]. IEEE 4th International Conference on Electronics Information and Emergency Communication, Beijing, 2013: 246-251.
[39] JADIN M S, GHAZALI K H. Gas leakage detection using thermal imaging technique[C]. The 16th International Conference on Computer Modelling and Simulation, Cambridge, 2014: 302-306.
[40] NARKHEDE P,WALAMBE R,MANDAOKAR S,et al. Gas detection and identification using multimodal artificial intelligence based sensor fusion[J]. Applied System Innovation,2021,4(1):1-14.
-
期刊类型引用(3)
1. 郭鹏，谢逢选，孙培申，高彦平，卢志兴，李阳. 码头管沟可燃气体有毒气体检测装置的研制与应用. 钻采工艺. 2024(03): 140-146 . 
百度学术
2. 鲁旭臣，李爽，刘佳鑫，毕海涛，郎业兴，王雅楠，丁五行. 采用热释电原理检测SF_6气体中CO体积分数的方法与应用. 高压电器. 2024(09): 197-205 . 百度学术
3. 许伟健，张德胜，黄增波. 基于双波长光电感烟的煤矿火灾烟雾监测技术. 煤矿安全. 2023(12): 204-212 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 632
- HTML全文浏览量: 47
- PDF下载量: 131
- 被引次数: 3
