Research on key technologies of intelligent gangue sorting robot
-
摘要: 介绍了智能选矸机器人应用与研究现状，指出目前智能选矸机器人主要基于X射线和图像识别原理，利用高压气动分拣和桁架机器人抓取进行煤矸分离；智能选矸机器人分拣执行机构主要有桁架式、并联式、串联式等类型，响应速度快，常常以“拨”和“抓”的形式分离矸石；在胶带运输过程中，智能选矸机器人“拨”需要考虑不同矸石尺寸的兼容性及运动路径的优化，“抓”需考虑机械手的作业空间及机器人的承载能力。分析了智能选矸机器人在现场复杂环境中有效实现矸石分拣的基于深度学习的煤矸识别、面向非结构多约束环境的选矸机械臂运动规划、基于力反馈的机械臂主动柔顺控制、多臂协作分拣任务分配策略及控制等关键技术，并指出基于深度学习的煤矸识别技术作为选矸机器人的关键技术之一，仍需在煤矸数据集高效构建方法、煤矸识别算法的泛化性提升及实时性优化等方面进行进一步研究。结合现场应用和机器人智能化发展需求，指出了智能选矸机器人今后的研究方向：针对现场复杂环境进行技术改进，提高煤矸识别算法的鲁棒性和自适应性；适应复杂环境的智能感知和控制技术及矸石高精度三维位姿估算技术的研究；基于力位混合控制的选矸机器人智能拣矸技术研发；智能选矸机器人井下选矸技术探究。Abstract: This paper introduces the application and research status of the intelligent gangue sorting robot. This paper points out that the intelligent gangue sorting robot is mainly based on the principle of X-ray and image identification. And the high-pressure pneumatic sorting and truss robot grasping sorting are used to separate coal and gangue. The sorting actuators are mainly truss type, parallel type and series type of intelligent gangue sorting robot. The sorting actuators have fast response speed and often separate the gangue in the form of 'pulling' and 'grasping'. In the process of belt transportation, the compatibility of different gangue sizes and the optimization of movement path need to be considered in the 'pulling' of the intelligent gangue sorting robot. And the working space of the manipulator and the bearing capacity of the robot need to be considered in the 'grasping'. This paper analyzes the key technologies such as deep learning-based coal and gangue identification, unstructured multi-constraint environment-oriented motion planning of gangue sorting manipulator, force feedback-based active compliance control of manipulator and multi-arm cooperative sorting task allocation strategy and control. These technologies are used for intelligent gangue sorting robot to effectively realize gangue sorting in complex on-site environment. This paper points out that coal and gangue identification technology based on deep learning is one of the key technologies of gangue sorting robot. It still needs further research on the efficient construction method of coal gangue data set, improving the generalization of coal gangue identification algorithm, and the real-time optimization of coal gangue identification algorithm. Combined with the demand of field application and intelligent robot development, the future research directions of intelligent gangue sorting robot are pointed out. In the complex environment on site, it is suggested to improve the robustness and adaptability of the coal gangue identification algorithm. It is suggested to develop intelligent sensing and control technology for complex environment and high-precision three-dimensional pose estimation technology for gangue. It is suggested to develop intelligent gangue picking technology of gangue picking robot based on force position hybrid control. It is suggested to research intelligent gangue sorting robot underground gangue sorting technology.
-
0. 引言
近年来，在煤矿生产过程中由于不按规定佩戴安全帽引发的安全事故频发。正确佩戴安全帽可有效保护工人头部免受坠落物、碰撞和其他意外的侵害，因此，及时发现并纠正安全帽佩戴不符合规定的煤矿工人，实现安全帽佩戴检测至关重要[1]。然而，当前大部分安全帽佩戴检测存在人力成本高、易受环境影响、准确率和效率不高等问题。
进入深度学习时代，利用计算机视觉技术进行图像处理分析已成为业界的主要研究方向[2-3]。基于计算机视觉技术的安全帽佩戴检测研究分为2类。一类是利用传统目标检测算法进行检测，由于安全帽有着区别于背景的颜色特征及区别于人头的形状特征，所以多是与图像分割技术相结合。李琪瑞[4]首先通过方向梯度直方图找到人体区域，然后用“凸”字型头部特征获取头部信息，最后用梯度直方图（Histogram of Gradient，HOG）+支持向量机（Support Vector Machine，SVM）技术检测安全帽。Sun Xiaoming等[5]采用视觉背景差分算法检测工人，通过头部与全身的比例关系确定安全帽的初始定位，利用基于贝叶斯优化的SVM模型对安全帽进行检测。Li Tan等[6]使用视觉背景提取（Visual Background Extractor，ViBe）算法进行背景建模，同时基于运动目标分割图像，使用实时人体分类框架定位行人，然后利用头部位置、色彩空间变换和色彩特征实现安全帽佩戴检测。另一类是利用基于深度学习的目标检测算法进行检测。徐守坤等[7]对更快的区域卷积神经网络（Faster Regions with CNN features，Faster RCNN）进行不同尺度的训练，并引入在线难例挖掘策略以增强网络检测不同尺寸目标的能力，最终采用多部件结合算法进行安全帽佩戴检测。Wang Xuanyu等[8]通过添加大尺寸的特征输入进行多尺度预测以改进YOLOv3模型，从而实现安全帽佩戴检测。罗欣宇[9]先采用限制对比度自适应直方图均衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）算法进行图像预处理，再使用RetinaNet算法进行安全帽目标检测。梁思成[10]使用密集连接网络来改善模型对安全帽特征的提取能力。张培基[11]在YOLOv5基础上，通过增加上采样模块构成显著性目标检测（Salient Object Detection，SOD）算法，以解决复杂场景下安全帽佩戴检测困难问题。
但上述算法都未能很好地平衡检测速度与检测精度之间的关系，且模型的计算量、参数量较大，无法在相关智能视频监控终端上实现嵌入式安装，同时作为小目标的安全帽也进一步加大了检测难度。因此本文使用网络结构较简单的YOLOv4[12]作为安全帽佩戴检测算法框架，并在此基础上提出轻量化的M−YOLO模型。本文主要贡献如下：① 在YOLOv4模型的基础上，引入MobileNetV2轻量级网络[13]模型，并融合具有分组特征的混洗坐标注意力（Shuffle Coordinate Attention，SCA）模块，组成S−MobileNetV2特征提取网络以替换原有的CSPDarknet53网络，在降低模型参数量的前提下，提高对目标特征位置信息的提取能力，改善复杂环境下特征提取困难的问题。② 将原有的空间金字塔池化（Spatial Pyramid Pooling，SPP）[14-15]方式改为串行连接，将3个不同大小的池化核统一替换成5×5的池化核，减少运算复杂度，有效提高计算效率。③ 将包含足够多空间和细节特征信息的浅层特征加入特征融合网络，有效实现浅层高分辨率特征和深层语义特征的融合，改善对安全帽小目标检测能力较弱的问题。同时在特征融合网络中引入深度可分离卷积，有效降低添加浅层特征带来的参数量与计算量。
1. M−YOLO模型原理
1.1 M−YOLO结构
M−YOLO在YOLOv4基础上进行改进，结构如图1所示，其中红色方框表示改进的部分。
主干网络使用由SCA模块组成的S−MobileNetV2特征提取网络提取特征信息，颈部网络使用添加了浅层特征和快速空间金字塔池化（Spatial Pyramid Pooling-Fast，SPPF）结构的特征融合网络，通过组合自上而下和自下而上的2种特征融合方式，实现对特征提取网络中提取到的深层特征和浅层特征的融合，使模型更好地综合大、中、小尺度信息。同时为进一步减小模型的参数量和计算量，将YOLOv4特征融合网络中的部分卷积修改为深度可分离卷积。由于Mish激活函数比Leaky−ReLU激活函数拥有更好的非线性特征，所以在主干网络输出至特征融合网络中的13×13特征层处使用CBM模块，在模型的后续特征融合部分使用DBL模块取代CBL模块，以提高模型的泛化能力。
1.2 S−MobileNetV2特征提取网络
煤矿井下图像背景复杂且存在目标尺寸较小等特点，整体特征提取难度较大，单纯减少模型参数量的操作会导致模型检测能力明显下降。为在保证模型特征提取能力的前提下满足轻量化的要求，M−YOLO模型使用S−MobileNetV2特征提取网络替换YOLOv4的特征提取网络CSPDarknet53。
MobileNetV2模型是轻量级卷积神经网络中的重要标志性模型，具有很好的改进可扩展性，将其应用在目标检测网络中，可有效满足应用环境对模型轻量化的要求，相较于MobileNetV1、MobileNetV3[16]、GhostNet[17]等轻量级网络，其特征提取能力表现更佳。但在应用于安全帽佩戴检测时，虽然相较于CSPDarknet53网络，MobileNetV2轻量级主干网络减少了较多计算量和参数量，但其特征提取能力也随之下降。
为提高MobileNetV2的特征提取能力，将注意力模块嵌入到卷积神经网络中。轻量级网络的注意力模块受限于轻量化需求，大多采用通道注意力模块（Squeeze and Excitation，SE）[18]和卷积块注意力模块（Convolutional Block Attention Module，CBAM）[19]，但SE模块只考虑了特征通道间的信息，忽略了特征的位置信息，而CBAM模块虽然在降维操作后通过添加卷积来获取特征的位置信息，但相关卷积只能获取到特征位置的局部关系，无法对长距离的特征关系进行提取。
坐标注意力模块[20]则有效解决了上述2种注意力模块存在的问题。坐标注意力模块将横向和纵向的位置信息编码到通道注意力中，同时为避免通道注意力的二维全局平均池化导致的完整位置特征信息的损失，注意力模块将通道注意力划分为2个并行的一维特征编码，从而高效地将空间坐标信息整合到生成的注意力映射图中。
坐标注意力模块结构如图2所示。在通道注意力中，对于输入特征图m，先使用2个不同尺寸的池化核分别沿着水平（X）和竖直（Y）这2张坐标方向对各个通道进行平均池化，这2种池化分别沿水平和竖直空间方向聚合特征，得到2张包含方向信息的特征图。这与通道注意力中生成单一特征向量的SE模块有很大区别。这种方式使得坐标注意力模块在提取到其中一个空间方向的长距离的依赖关系时，还可保存另外一个空间方向的相关位置信息，从而使网络在面对待检目标时可以更精确地定位。
通过坐标注意力模块获得全局感受野和感兴趣目标的位置信息特征。为充分利用这些信息，将上述分开的特征堆叠（Concat）在一起，然后使用1×1大小的卷积对其进行降维操作，沿着空间维度对中间特征图在水平方向和竖直方向进行分离操作，切分为竖直方向的特征张量${{\boldsymbol{f}}^1} \in {{\bf{R}}^{c/r \times h}}$和水平方向的特征张量 ${{\boldsymbol{f}}^2} \in {{\bf{R}}^{c/r \times w}}$，其中$c$为通道数，r为下采样的比例，用以控制模块大小，$h$，$w$分别为特征图高度、宽度。再利用2个1×1大小的竖直方向上的卷积${F_1}$和水平方向上的卷积${F_2}$，将特征张量${{\boldsymbol{f}}^1}$和${{\boldsymbol{f}}^2}$的通道数升维至m（m为输出特征的通道数），具体公式如下。
$$ {G^1} = \sigma ({F_1}({{\boldsymbol{f}}^1})) $$ (1) $$ {G^2} = \sigma ({F_2}({{\boldsymbol{f}}^2})) $$ (2) 式中：${G^1}$和${G^2}$分别为竖直、水平方向上扩展后的注意力权重；$\sigma $（·）为Sigmoid激活函数。
坐标注意力模块通过提取2个方向上的并行特征来保留完整的位置特征信息，但这无疑会增加参数量。因此，本文提出了SCA模块，在减少坐标注意力参数量的前提下，有效改善特征之间的联系。
SCA模块结构如图3所示。首先将原始特征图沿通道维度平均分成g组，然后对每组通道进行坐标注意操作，将2个并行的特征进行融合，最后进行通道混洗操作[21]，对特征组进行重排，以改善不同特征组之间的信息交流。
MobileNetV2中的每一个Bottleneck都是由2个1×1普通卷积和1个3×3深度卷积组成。安全帽普遍较小，将SCA模块加入Bottlenetck中形成SCA−Bottleneck，将得到更准确的位置特征信息，更有利于检测小目标。
初始MobileNetV2中有17个Bottlenetck，如果将所有Bottlenetck全部替换为SCA−Bottleneck模块，会导致模型的参数量与计算量增大，检测速度下降明显，因此选用输出特征图尺寸为104×104、52×52、26×26、13×13的Bottlenetck进行替换，模块中的分组数g选定为4。融合了SCA模块的S−MobileNetV2结构见表1。
表 1 S−MobileNetV2结构Table 1. S-MobileNetV2 structure输入 执行操作 扩张系数 通道维度 步长 416×416×3 Conv2d 3×3 — 32 2 208×208×32 Bottleneck 1 16 1 208×208×16 SCA−Bottleneck×2 6 24 2 104×104×24 SCA−Bottleneck×3 6 32 2 52×52×32 Bottleneck×4 6 64 2 26×26×64 SCA−Bottleneck×3 6 96 1 26×26×96 SCA−Bottleneck×3 6 160 2 13×13×160 Conv2d 1×1 6 320 1 1.3 SPP结构改进
YOLOv4的SPP结构如图4所示。对输入的特征图分别使用3个不同尺度的最大池化得到3张感受野扩大的特征图。池化核尺寸越大，提取到的特征就越具全局语义性；池化核尺寸较小时，提取到的特征更多地包含局部细节信息。将3张经过不同池化核的特征图与输入特征图进行拼接，融合成新的特征。通过最大池化操作可降低卷积层参数误差造成的估计均值偏移，从而保留更多的浅层特征信息。
虽然SPP结构对于特征提取起到了积极作用，但9×9、13×13的最大池化会给模型增添部分计算复杂度，同时并联3个不同尺度的最大池化也会导致模型运算时间增加。为提高模型对安全帽佩戴检测的速度，本文使用SPPF结构，如图5所示，将SPP结构中的各个并行池化改为串行池化。
串行2个池化核大小为5×5的最大池化层的计算结果和1个池化核大小为9×9的最大池化层的计算结果相同，而串行3个池化核大小为5×5的最大池化层的计算结果和1个池化核大小为13×13的最大池化层的计算结果相同。结合主干网络添加的注意力模块，将SPP结构中3个并行的不同尺度最大池化层替换为3个串行的池化核大小相等的最大池化层，这样不仅实现了全局特征与局部特征的融合，还将原来3个5×5、9×9、13×13大小的池化核统一替换成5×5大小的池化核，减少了相关模型运算的复杂度，有效提高了计算效率。
1.4 特征融合网络重构
将主干网络提取到的不同尺度特征充分融合是提高目标检测性能的一个重要手段。主干网络中深层特征图由于经过多次卷积，其特征信息表现得更具语义性，但分辨率很低，对细节的感知能力较差，而浅层特征图由于经过的卷积次数少，其特征信息表现得更具细节化，同时也由于其经过的卷积少，语义性较差，包含的噪声也更多[22]。在实际应用中，安全帽多以小目标出现，因此应提高模型对于小目标检测的精度。但YOLOv4特征融合结构并没有特意加强对小目标检测的操作，随着主干网络卷积层的不断加深，小尺寸的安全帽目标在特征图上的信息逐渐丢失，如图6所示，可看出卷积层次越深，图像特征就越抽象，细节特征就越少。为提高安全帽小目标检测的准确性，需要对浅层特征图上的细节信息进行充分利用。
为降低模型对安全帽的漏检率，改善模型对小目标的检测效果，本文对特征融合网络进行改进。将主干网络中的浅层特征图加入到特征融合网络中，具有高分辨率、多细节纹理信息的浅层特征图可有效加强模型对检测目标特征表达能力的提取，使得浅层的表征信息和深层的语义信息充分融合[23]，提高目标检测的准确性。
主干网络结构如图7所示。将416×416大小的图像输入YOLOv4，主干网络和特征融合网络之间传输13×13、26×26和52×52这3种不同尺寸的特征图。这3种特征图分别经过特征融合网络的各项操作，最终分别用于检测大、中、小目标。为丰富特征图的细节特征，本文在特征图P3—P5的基础上额外增加浅层特征图进入特征融合网络。虽然特征图P1包含较多空间和细节特征信息，但P1因为经过的卷积层过少，其包含的背景噪声信息过多，加大了模型检测难度。而特征图P2相较于P1经过了若干卷积层的提取，减少了因浅层特征而带来的背景噪声，同时相比于特征图P3—P5，其包含了足够多的空间和细节特征信息，因此本文选择将特征图P2加入特征融合网络，实现浅层高分辨率特征和深层语义特征的融合。
2. 实验结果与分析
实验使用由Munkhjargal Gochoo收集的5 000张图像组成的SHWD（Safety Helmet Wearing Dataset）数据集，原有数据集包含5个类别：安全帽、戴安全帽的头部、戴安全帽的人、头部、不戴安全帽的人。为方便研究和展示检测效果，本文对数据集的标签XML文件进行更新，只保留戴安全帽的头部（helmet）和不戴安全帽的人（no-helmet）2个类别。按照8∶1∶1的比例设置训练集、验证集、测试集。
同时为验证模型性能的鲁棒性，本文引入公开数据集Pascal VOC，数据集包含人、自行车、汽车等20个类别的图像，使用VOC2007和VOC2012数据集中的16551张图像进行训练，VOC2007test部分的4 952张图像进行测试。
2.1 基础MobileNetV2特征提取能力实验
为验证MobileNetV2主干网络的特征提取能力，对不同主干网络在VOC数据集、SHWD数据集上进行实验。按照主干网络差异，将不同主干网络的M−YOLO模型分别命名：主干网络为CSPDarkNet53的M−YOLO、主干网络为MobileNetV1的M1−YOLO、主干网络为MobileNetV2的M2−YOLO、主干网络为MobileNetV3的M3−YOLO、主干网络为GhostNet的G−YOLO。不同主干网络实验结果见表2。
表 2 不同主干网络实验结果Table 2. Experimental results of different backbone networks模型 平均精度均值/% 每秒浮点
运算次数/109参数量/
106个处理速度/
（帧·s−1）VOC SHWD M−YOLO 84.71 94.14 60.0 63.9 17.2 M1−YOLO 79.54 86.92 28.5 39.5 24.3 M2−YOLO 80.36 88.11 26.1 37.3 26.1 M3−YOLO 79.06 87.57 25.5 38.3 25.6 G−YOLO 78.45 85.81 24.9 38.0 29.9 从表2可看出，相较于其他轻量级网络，M2−YOLO模型在VOC数据集、SHWD数据集上的检测精度最高。
2.2 不同SCA模块位置实验
为进一步探究SCA模块对网络特征提取能力的贡献，在SCA−Bottleneck模块中使用不同位置的SCA模块来进行实验。SCA模块融入到逆残差结构Bottleneck不同位置的方式如图8所示。
![]()
图 8 SCA模块不同分布位置Figure 8. Different distribution positions of shuffle coordinate attention module分别由SCA−Bottleneck−1、SCA−Bottleneck−2、SCA−Bottleneck−3、SCA−Bottleneck−4组成的不同S−MobileNetV2的实验结果见表3。可看出采用SCA−Bottleneck−3的位置分布时检测精度最高，且处理速度较快。
表 3 不同位置SCA模块实验结果Table 3. Results of shuffle coordinate attention module experiments at different positions残差模块 平均精度均值/% 处理速度/（帧·s−1） VOC SHWD Bottleneck 80.36 85.91 26.1 SCA−Bottleneck−1 80.19 87.31 24.3 SCA−Bottleneck−2 80.98 87.98 23.2 SCA−Bottleneck−3 81.53 88.75 23.3 SCA−Bottleneck−4 80.56 86.95 24.0 2.3 消融实验
为进一步评估各项改进对检测效果的影响，针对M−YOLO的各项轻量化改进在SHWD数据集上进行了消融实验，结果见表4。
表 4 消融实验结果Table 4. Ablation experiment results模型 S−MobileNetV2 SPPF 重构特征
融合网络平均精度
均值/%处理速度/
（帧·s−1）M2−YOLO 85.91 25.4 M−YOLO √ 88.75 23.3 √ √ 89.47 26.9 √ √ √ 91.10 33.6 从表4可看出，使用S−MobileNetV2主干网络的M−YOLO相较于使用MobileNetV2主干网络的M2−YOLO平均精度均值提高了2.84%；M−YOLO使用SPPF结构后，模型在平均精度均值提升0.72%的基础上，处理速度提高了3.6帧/s；使用深度可分离卷积替换特征融合网络的部分卷积后，模型在平均精度均值提高1.63%的同时，处理速度提高了6.7帧/s。
2.4 模型对比实验
为进一步评估M−YOLO模型对安全帽佩戴检测的性能，将M−YOLO与其他目标检测模型进行对比实验，结果见表5。
表 5 不同模型对比实验结果Table 5. Comparative experimental results of different models模型 平均精度均值/% 每秒浮点
运算次数/
109参数量/
106个处理速度/
（帧·s−1）模型大
小/MiBVOC SHWD SSD[24] 74.06 76.14 60.9 23.8 11.6 99.46 Efficientdet−d4[25] 76.51 82.14 105.0 20.6 11.2 78.25 Faster R−CNN[26] 76.86 85.01 369.7 136.7 7.2 523.69 YOLOv4[12] 84.71 91.94 60.0 63.9 21.9 242.58 YOLOv5−M 83.47 89.55 50.6 21.2 19.1 77.58 CenterNet[27] 77.69 89.97 70.2 32.7 23.3 122.28 YOLOX−M[28] 81.64 88.68 73.7 25.3 15.4 96.44 DETR[29] 78.05 83.18 114.2 36.7 10.7 156.79 YOLOX−S[28] 78.51 88.02 26.8 8.9 32.9 33.39 YOLOv4−tiny[30] 72.24 78.49 6.8 5.9 48.1 22.42 YOLOv5−S[31] 81.01 87.37 16.5 7.1 30.5 28.9 Efficientdet−d0[25] 69.22 79.03 4.7 3.8 36.5 15.87 M−YOLO 83.95 91.10 15.3 17.4 33.6 44.75 从表5可看出，在SHWD数据集上，M−YOLO模型的平均精度均值只比轻量化改进前的YOLOv4模型低了0.84%，但模型的计算量、参数量、模型大小相较于YOLOv4模型分别减小了74.5%，72.8%，81.6%，检测速度提高了53.4%。相较于其他YOLO系列模型、以Transformer为基础的DETR模型、无锚框策略的CenterNet和YOLOX系列模型，M−YOLO模型在准确率和实时性方面取得了较好的平衡。虽然YOLOX−S，YOLOv4−tiny，YOLOv5−S，Efficientdet−d0这4种轻量级模型的检测速度与M−YOLO模型相近或略优，但在平均精度均值上低于M−YOLO模型，无法满足工业场景下准确检测的要求。
2.5 实际场景检测效果对比实验
在实际场景检测中，将M−YOLO模型与除YOLOv4模型外表现较好的2个模型YOLOv5−M，CenterNet进行检测效果对比，结果如图9所示。
从图9可看出，对于黑白场景的煤矿井下监控视频，其具有目标与背景对比度低的特点，虽然M−YOLO，YOLOv5−M，CenterNet都正确检测到了目标，但这3种模型对目标检测的置信度不同，M−YOLO对安全帽目标的置信度为0.99，而CenterNet、YOLOv5−M对安全帽目标的置信度分别为0.57，0.49。对于正常场景下目标个数为24的煤矿井下图像，可看到M−YOLO正确检测到23个目标，漏检1个目标，无错检； YOLOv5−M正确检测到19个目标，漏检1个目标，错检4个目标；CenterNet正确检测到21个目标，漏检2个目标，错检1个目标。M−YOLO模型虽然因安全帽不完整而导致漏检1个目标，但整体效果依然优于YOLOv5−M和CenterNet模型。
3. 结论
1） 以YOLOv4模型为基础，提出了一种融合坐标注意力与多尺度的轻量级模型M−YOLO用于安全帽佩戴检测。该模型通过在轻量级主干网络中使用SCA模块，以提高网络的特征提取能力；在特征融合网络中使用SPPF结构和深度可分离卷积，以加快检测速度；同时将特征提取网络中的浅层特征加入特征融合网络，改善了模型对于复杂场景小目标的检测效果。
2） 实验结果表明，该模型在保证检测精度的前提下，具有参数量少、计算复杂度低、处理速度快等特点，满足在相关智能视频监控终端上嵌入式安装和使用的需求。
3） 虽然该模型实现了对安全帽佩戴的精准检测，但是需依托大量安全帽数据集来进行训练，未来可进一步研究无监督或弱监督的安全帽佩戴检测算法，以减少相应样本标注工作，增强算法的泛化性。
-
表 1 主流选矸机器人系统工作原理
Table 1 Working principles of main gangue sorting robot systems
选矸机器人 煤矸识别 煤矸分离 特点 TDS智能干选机 X射线识别 高压气动分拣 可适配高速胶带，可分拣50~300 mm的矸石 GPRT智能煤矸分选机器人 图像识别 桁架机器人拨/抓分拣 可同时进行多臂分拣任务，可分拣50~800 mm的矸石 RDS智能选矸机器人 图像识别 高压气动分拣 可适配高速胶带，可分拣50~300 mm的矸石 BIS−R智能机器人拣矸系统 X射线识别 桁架机器人抓取 适配0.5 ~0.8 m/s带速，可分拣50~300 mm的矸石 
下载: 导出CSV
-
[1] 葛世荣,胡而已,裴文良. 煤矿机器人体系及关键技术[J]. 煤炭学报,2020,45(1):455-463. GE Shirong,HU Eryi,PEI Wenliang. Classification system and key technology of coal mine robot[J]. Journal of China Coal Society,2020,45(1):455-463.
[2] 王国法,范京道,徐亚军,等. 煤炭智能化开采关键技术创新进展与展望[J]. 工矿自动化,2018,44(2):5-12. WANG Guofa,FAN Jingdao,XU Yajun,et al. Innovation process and prospect on key technologies of intelligent coal mining[J]. Industry and Mine Automation,2018,44(2):5-12.
[3] 刘园园. “十四五”能源领域科技创新规划[N]. 科技日报, 2022-04-06（1）. LIU Yuanyuan. The 14th Five-Year Plan for energy science and technological innovation[N]. Science and Technology Daily, 2022-04-06（1）.
[4] 葛世荣. 煤矿机器人现状及发展方向[J]. 中国煤炭,2019,45(7):18-27. DOI: 10.3969/j.issn.1006-530X.2019.07.004 GE Shirong. Present situation and development direction of coal mine robots[J]. China Coal,2019,45(7):18-27. DOI: 10.3969/j.issn.1006-530X.2019.07.004
[5] 胡而已,葛世荣. 煤矿机器人研发进展与趋势分析[J]. 智能矿山,2021,2(1):59-74. HU Eryi,GE Shirong. Coal mining robot research progress and trend analysis[J]. Journal of Intelligent Mine,2021,2(1):59-74.
[6] 黄邦松. TDS智能干选机在双柳煤矿的应用[J]. 中国煤炭,2020,46(3):47-50. DOI: 10.3969/j.issn.1006-530X.2020.03.008 HUANG Bangsong. Application of the TDS intelligent dry separator at Shuangliu Coal Mine[J]. China Coal,2020,46(3):47-50. DOI: 10.3969/j.issn.1006-530X.2020.03.008
[7] 江洪,宋勇,隋国成,等. 智能选矸机器人系统的研究与应用[J]. 选煤技术,2020(4):81-87. JIANG Hong,SONG Yong,SUI Guocheng,et al. Study and application of the intelligent robotic gangue picking system[J]. Coal Preparation Technology,2020(4):81-87.
[8] 朱道瑶,梁殿印,史佩伟,等. 矿石拣选技术和设备的研究和进展[J]. 矿山机械,2016,44(7):5-10. ZHU Daoyao,LIANG Dianyin,SHI Peiwei,et al. Research and development of ore sorting technology and equipments[J]. Mining & Processing Equipment,2016,44(7):5-10.
[9] 王鹏,曹现刚,夏晶,等. 基于机器视觉的多机械臂煤矸石分拣机器人系统研究[J]. 工矿自动化,2019,45(9):47-53. WANG Peng,CAO Xiangang,XIA Jing,et al. Research on multi-manipulator coal and gangue sorting robot system based on machine vision[J]. Industry and Mine Automation,2019,45(9):47-53.
[10] 赵明辉,宣鹏程,张少宾. 并联煤矸石分拣机器人的结构设计及分析[J]. 机床与液压,2021,49(5):55-59. ZHAO Minghui,XUAN Pengcheng,ZHANG Shaobin. Structure design and analysis for parallel gangue sorting robot[J]. Machine Tool & Hydraulics,2021,49(5):55-59.
[11] 商德勇,章林,牛艳奇,等. 煤矸分拣机器人设计与关键技术分析[J]. 煤炭科学技术,2022,50(3):232-238. SHANG Deyong,ZHANG Lin,NIU Yanqi,et al. Design and key technology analysis of coal-gangue sorting robot[J]. Coal Science and Technology,2022,50(3):232-238.
[12] 袁华昕. 基于X射线图像的煤矸石智能分选控制系统研究[D]. 沈阳: 东北大学, 2014. YUAN Huaxin. Research on coal and gangue smart sorting control system based on X-ray image[D]. Shenyang: Northeastern University, 2014.
[13] 李曼,段雍,曹现刚,等. 煤矸分选机器人图像识别方法和系统[J]. 煤炭学报,2020,45(10):3636-3644. LI Man,DUAN Yong,CAO Xiangang,et al. Image identification method and system for coal and gangue sorting robot[J]. Journal of China Coal Society,2020,45(10):3636-3644.
[14] 曹现刚,费佳浩,王鹏,等. 基于多机械臂协同的煤矸分拣方法研究[J]. 煤炭科学技术,2019,47(4):7-12. CAO Xiangang,FEI Jiahao,WANG Peng,et al. Study on coal-gangue sorting method based on multi- manipulator collaboration[J]. Coal Science and Technology,2019,47(4):7-12.
[15] 李阳阳. 长平公司洗煤厂智能煤矸分选机器人技术研究[J]. 机械管理开发,2022,37(1):221-222. LI Yangyang. Intelligent gangue sorting robot technology research in Changping Coal Washing Plant[J]. Mechanical Management and Development,2022,37(1):221-222.
[16] 宋文革,陶亚东,齐成军,等. 智能机器人拣矸系统的设计研究[J]. 煤炭加工与综合利用,2018(9):5-8. SONG Wenge,TAO Yadong,QI Chengjun,et al. Design and research of intelligent robot gangue picking system[J]. Coal Processing & Comprehensive Utilization,2018(9):5-8.
[17] 马宪民,蒋勇. 煤与矸石识别的数字图像处理方法探讨[J]. 煤矿机电,2004,25(5):9-11. DOI: 10.3969/j.issn.1001-0874.2004.05.004 MA Xianmin,JIANG Yong. Digital image processing method of coal gangues[J]. Colliery Mechanical & Electrical Technology,2004,25(5):9-11. DOI: 10.3969/j.issn.1001-0874.2004.05.004
[18] 何敏,王培培,蒋慧慧. 基于SVM和纹理的煤和煤矸石自动识别[J]. 计算机工程与设计,2012,33(3):1117-1121. DOI: 10.3969/j.issn.1000-7024.2012.03.055 HE Min,WANG Peipei,JIANG Huihui. Recognition of coal and stone based on SVM and texture[J]. Computer Engineering and Design,2012,33(3):1117-1121. DOI: 10.3969/j.issn.1000-7024.2012.03.055
[19] 孙继平,佘杰. 基于支持向量机的煤岩图像特征抽取与分类识别[J]. 煤炭学报,2013,38(增刊2):508-512. SUN Jiping,SHE Jie. Coal-rock image-feature extraction and recognition based on support vector machine[J]. Journal of China Coal Society,2013,38(S2):508-512.
[20] LI Lihong,WANG Haijiang,AN Lei. Research on recognition of coal and gangue based on image processing[J]. World Journal of Engineering,2015,12(3):247-253. DOI: 10.1260/1708-5284.12.3.247
[21] 李莹. 基于深度学习的煤矸石目标检测方法研究[D]. 西安: 西安科技大学, 2020. LI Ying. Research on coal gangue detection based on deep learning[D]. Xi'an: Xi'an University of Science and Technology, 2020.
[22] 曹现刚,李莹,王鹏,等. 煤矸石识别方法研究现状与展望[J]. 工矿自动化,2020,46(1):38-43. CAO Xiangang,LI Ying,WANG Peng,et al. Research status of coal-gangue identification method and its prospect[J]. Industry and Mine Automation,2020,46(1):38-43.
[23] 曹现刚,刘思颖,王鹏,等. 面向煤矸分拣机器人的煤矸识别定位系统研究[J]. 煤炭科学技术,2022,50(1):237-246. CAO Xiangang,LIU Siying,WANG Peng,et al. Research on coal gangue identification and positioning system based on coal-gangue sorting robot[J]. Coal Science and Technology,2022,50(1):237-246.
[24] 郜亚松,张步勤,郎利影. 基于深度学习的煤矸石识别技术与实现[J]. 煤炭科学技术,2021,49(12):202-208. GAO Yasong,ZHANG Buqin,LANG Liying. Coal and gangue recognition technology and implementation based on deep learning[J]. Coal Science and Technology,2021,49(12):202-208.
[25] 沈科,季亮,张袁浩,等. 基于改进YOLOv5s模型的煤矸目标检测[J]. 工矿自动化,2021,47(11):107-111,118. SHEN Ke,JI Liang,ZHANG Yuanhao,et al. Research on coal and gangue detection algorithm based on improved YOLOv5s model[J]. Industry and Mine Automation,2021,47(11):107-111,118.
[26] 谭建荣. 智能制造与机器人应用关键技术与发展趋势[J]. 机器人技术与应用,2017(3):18-19. DOI: 10.3969/j.issn.1004-6437.2017.03.007 TAN Jianrong. Key technologies and development trends of intelligent manufacturing and robot applications[J]. Robot Technique and Application,2017(3):18-19. DOI: 10.3969/j.issn.1004-6437.2017.03.007
[27] 李黎,尚俊云,冯艳丽,等. 关节型工业机器人轨迹规划研究综述[J]. 计算机工程与应用,2018,54(5):36-50. DOI: 10.3778/j.issn.1002-8331.1712-0116 LI Li,SHANG Junyun,FENG Yanli,et al. Research of trajectory planning for articulated industrial robot:a review[J]. Computer Engineering and Applications,2018,54(5):36-50. DOI: 10.3778/j.issn.1002-8331.1712-0116
[28] 夏群峰,彭勇刚. 基于视觉的机器人抓取系统应用研究综述[J]. 机电工程,2014,31(6):697-701,710. XIA Qunfeng,PENG Yonggang. Review on application research of robots scraping system based on visual[J]. Journal of Mechanical & Electrical Engineering,2014,31(6):697-701,710.
[29] 贾丙西,刘山,张凯祥,等. 机器人视觉伺服研究进展:视觉系统与控制策略[J]. 自动化学报,2015,41(5):861-873. JIA Bingxi,LIU Shan,ZHANG Kaixiang,et al. Survey on robot visual servo control:vision system and control strategies[J]. Acta Automatica Sinica,2015,41(5):861-873.
[30] 赵明辉. 双臂并联煤矸石分拣机器人及其轨迹规划研究[J]. 工矿自动化,2020,46(9):57-63. ZHAO Minghui. Research on dual-arm parallel coal gangue sorting robot and its trajectory planning[J]. Industry and Mine Automation,2020,46(9):57-63.
[31] 夏晶,张昊,周世宁,等. 煤矸分拣机器人动态拣取避障路径规划[J]. 煤炭学报,2021,46(增刊1):570-577. XIA Jing,ZHANG Hao,ZHOU Shining,et al. Dynamic picking and obstacle avoidance path planning of coal gangue sorting robot[J]. Journal of China Coal Society,2021,46(S1):570-577.
[32] 朱子祺,李创业,代伟. 基于G−RRT*算法的煤矸石分拣机器人路径规划[J]. 工矿自动化,2022,48(3):55-62. ZHU Ziqi,LI Chuangye,DAI Wei. Path planning of coal gangue sorting robot based on G-RRT* algorithm[J]. Journal of Mine Automation,2022,48(3):55-62.
[33] 谢龙,刘山. 基于改进势场法的机械臂动态避障规划[J]. 控制理论与应用,2018,35(9):1239-1249. DOI: 10.7641/CTA.2018.70187 XIE Long,LIU Shan. Dynamic obstacle-avoiding motion planning for manipulator based on improved artificial potential filed[J]. Control Theory & Applications,2018,35(9):1239-1249. DOI: 10.7641/CTA.2018.70187
[34] 邹宇星,李立君,高自成. 基于改进PRM的采摘机器人机械臂避障路径规划[J]. 传感器与微系统,2019,38(1):52-56. ZOU Yuxing,LI Lijun,GAO Zicheng. Obstacle avoidance path planning for harvesting robot arm based on improved PRM[J]. Transducer and Microsystem Technologies,2019,38(1):52-56.
[35] 陈秋莲,蒋环宇,郑以君. 机器人路径规划的快速扩展随机树算法综述[J]. 计算机工程与应用,2019,55(16):10-17. DOI: 10.3778/j.issn.1002-8331.1905-0061 CHEN Qiulian,JIANG Huanyu,ZHENG Yijun. Summary of rapidly-exploring random tree algorithm in robot path planning[J]. Computer Engineering and Applications,2019,55(16):10-17. DOI: 10.3778/j.issn.1002-8331.1905-0061
[36] 葛吉民,邓朝晖,李尉,等. 机器人磨抛力柔顺控制研究进展[J]. 中国机械工程,2021,32(18):2217-2230,2238. DOI: 10.3969/j.issn.1004-132X.2021.18.011 GE Jimin,DENG Zhaohui,LI Wei,et al. Research progresses of robot grinding and polishing force compliance controls[J]. China Mechanical Engineering,2021,32(18):2217-2230,2238. DOI: 10.3969/j.issn.1004-132X.2021.18.011
-
期刊类型引用(2)
1. 韩忠利. 基于卷积神经网络的矿用安全帽佩戴检测. 工矿自动化. 2024(S1): 82-87 . 
本站查看
2. 刘飞，刘明辉，张乐群，王飞骅. 基于残差网络的运煤皮带异物分类方法. 电子测量技术. 2024(17): 163-171 . 百度学术
其他类型引用(5)
-
其他相关附件
计量
- 文章访问数: 1168
- HTML全文浏览量: 84
- PDF下载量: 127
- 被引次数: 7
