UeDiff-GAN-based target detection and twin synchronization mapping for fully mechanized mining faces
-
摘要:
矿井综采工作面数字孪生模型的构建过程需要手动构建实体的数字孪生3D模型，然后对实体进行目标检测，并根据实时检测结果控制3D模型，以确保孪生体与实体之间的同步映射关系。因此，对井下目标的实时、准确检测是实现虚实同步映射控制的关键。目前主流的目标检测方法需要在传统模型中引入或改进模块，使得模型网络结构复杂、训练周期较长，降低了目标检测的实时性；同时，对于一些含高强度噪声的图像难以精确检测。针对上述问题，提出了一种基于UeDiff−GAN的综采工作面目标检测与孪生体同步映射方法。通过扩散模型对高质量样本进行加噪扩散，得到不同程度的加噪样本，然后使用生成对抗网络（GAN）模型进行训练；设计了平滑扩散算法，以控制扩散步长，加入不均衡扩散模块，以得到与预识别样本匹配的检测算法模型。使用Unity3D构建综采工作面3D模型并进行渲染，实现井下物理实体的对象孪生，据此构建综采工作面实体与其孪生模型的映射关系，根据井下不同位置的检测结果控制对应机器运动状态及姿态，实现孪生模型协同控制，从而实现过程孪生。在自制数据集上的实验结果表明：UeDiff−GAN模型对井下移动目标的平均检测精度较SSD，R−CNN，YOLOv7和Diff−GAN模型分别提升了19.4%，14.3%，9.1%，24.3%；检测速度较SSD，R−CNN分别提升了13.86，42.73 帧/s；孪生模型与实体的实时性延迟至多为0.873 s。
Abstract:The construction of a digital twin model for fully mechanized mining faces requires manually creating a digital twin 3D model of a physical entity, performing target detection on the entity, and adjusting the 3D model based on real-time detection results to ensure synchronization mapping between the twin and the physical entity. Therefore, real-time and accurate detection of underground targets is crucial for achieving virtual-physical synchronization mapping control. Current mainstream target detection methods require incorporating or modifying modules within traditional models, resulting in complex network structures and prolonged training cycles, which reduce the real-time performance of target detection. Moreover, these methods struggle with precisely detecting targets in images with high-intensity noise. To address these issues, this study proposed a UeDiff-GAN-based target detection and twin synchronization mapping method for fully mechanized mining faces. The diffusion model was used to add noise into high-quality samples to generate samples of varying levels, which were then used to train a generative adversarial network (GAN) model. A smooth diffusion algorithm was designed to regulate the diffusion step sizes, while an imbalanced diffusion module was incorporated to obtain a detection algorithm model that matches pre-identified samples. A 3D model of the fully mechanized mining face was constructed and rendered using Unity3D, achieving a digital twin of underground physical entities. Based on this model, a mapping relationship between the physical entity and its twin model was established. The corresponding machine's motion state and posture are controlled according to the detection results at different underground locations. This approach enabled twin model coordinated control, thereby achieving process-level twinning. Experimental results on a self-developed dataset demonstrated that the UeDiff-GAN model improved the average detection accuracy of underground moving targets by 19.4%, 14.3%, 9.1%, and 24.3% compared to SSD, R-CNN, YOLOv7, and Diff-GAN models, respectively. The detection speed improved by 13.86, 42.73 frames per second (fps) compared to SSD and R-CNN models, respectively. The real-time delay between the twin model and the physical entity was at a maximum of 0.873 seconds.
-
0. 引言
随着矿山智能化技术的不断演进，数字孪生逐渐应用于智能矿山领域中[1-2]。建立矿山数字孪生模型，通过与数字孪生体的镜像同步和交互映射控制物理实体[3]，可实现矿山的自动化、智能化开采[4]。在孪生模型同步映射过程中，数字孪生体不仅是一个静态的虚拟对象，还要满足与物理实体的动态性、实时性和准确性交互映射要求，以实现对象孪生和过程孪生[5]。孪生模型同步映射主要包括扫描3D模型[6]构建方法和预先搭建模型实时控制方法，前者的应用对象主要是静态且内部结构简单的实体，后者的应用对象主要是动态且内部结构复杂的实体。在矿山场景的孪生模型同步映射中，可利用激光扫描等方法实现矿井工作面空间结构3D模型构建[7]，但矿井采煤工作面模型构建精细化尤为重要，不仅要考虑工作面机器设备复杂结构动态变化，还要考虑其与矿井工作面耦合模型构建及其动态演化和实时控制方法[8]。在此过程中，需要手动构建实体的数字孪生3D模型，然后对实体进行目标检测，并根据实时检测结果控制3D模型，以确保孪生体与实体之间的同步映射关系。因此，对井下目标的实时、准确检测是实现虚实同步映射控制的关键。
目标检测方法主要包括基于特征提取、机器学习和深度学习的方法等[9]，但井下环境复杂，图像噪声程度不一，并且分布无规律，常规的检测方法有时难以取得理想的效果。高涵等[10]基于低层级特征增强和Transformer机制设计了一种轻量级FET−YOLO输送带异物检测算法，解决了轻量级目标难以检测的问题。王宇等[11]提出了一种基于多模态特征融合的井下人员不安全行为识别方法，采用PoseC3D网络对骨骼模态特征进行提取，得到井下人员不安全行为识别结果。陈伟等[12]提出了一种基于改进YOLOv8的MAC−YOLO方法，解决了传统卷积运算中的参数共享问题，提高了模型的检测精度。杨伟康等[13]提出了一种基于倒置残差的井下无人车目标检测算法，丰富了特征数量，提高了对井下模糊目标的检测精度。目前主流的目标检测方法主要是在井下噪声图像的基础上进行特征处理，或先对样本去噪及优化后再进一步进行检测，往往需要在传统模型中引入或改进模块，使得模型网络结构复杂，同时训练时间较长，降低了目标检测的实时性；同时，对于一些含高强度噪声的图像难以精确检测。
数字孪生虚实同步映射主要包括3D模型构建和数据通信2个部分。3D模型的可交互程度和通信效率决定着同步映射的效果。周浩等[14]提出了一种数字孪生机器人虚实双向控制方法，构建了低时延数据通信网络，提升了孪生系统对实体机器人的控制能力。牛进鑫等[15]在Unity3D中建立了模拟物理空间，利用TCP/IP协议和Socket通信方式建立了虚拟实体与物理实体之间的数据连接，实现了数字孪生的虚实映射。Sa Guodong等[16]提出了一种将动态和静态误差相关联的数控机床数字孪生同步映射方法，实现了面向产品加工路径的数控机床数字孪生高保真映射。然而，学者们对矿山领域的同步映射研究较少，并且综采工作面具有多层次性的复杂结构，需格外关注模型精细程度和通信实时性。
本文提出了一种基于UeDiff−GAN的综采工作面目标检测与孪生体同步映射方法。UeDiff−GAN基于扩散模型（Diffusion）和生成对抗网络（Generative Adversarial Network，GAN）模型[17]，对矿山样本图像进行不均衡扩散加噪，利用加噪后的图像进行生成对抗训练，实现对井下目标的实时准确检测。同时构建综采工作面3D模型，根据目标检测结果对综采工作面设备数字孪生模型作业位姿、作业动态等进行实时动态控制，以实现综采工作面孪生体的同步映射。
1. 目标检测模型
1.1 模型总体框架
基于UeDiff−GAN的综采工作面目标检测模型是一个基于前向扩散过程的GAN模型，由扩散模型和GAN模型耦合构成，如图1所示。GAN模型的生成器G和判别器D需要对数据集中每个样本一系列扩散时间点的图像进行学习和训练。判别器D需要学会判别扩散过程中一系列时间点为真实或虚假图像，同时反馈给生成器G，生成器G进一步生成图像并传入扩散模型进行扩散，二者互相对抗学习。
1.2 扩散模型
扩散模型是一种基于深度学习的生成模型，包括前向扩散过程和反向去噪过程。前向扩散过程可理解为一个马尔可夫链，即逐步对一张真实图像添加高斯噪声，直到最终变成纯高斯噪声图像[18]。
在给定前一时间步状态$ {x}_{t-1} $（$ t $为加噪次数）的条件下，当前时间步状态$ {x}_{t} $的条件概率分布为
$$ q\left(\left.{x}_{t}\right|{x}_{t-1}\right)=N\left({x}_{t};\sqrt{1-{b }_{t}}{x}_{t-1},{b }_{t}\boldsymbol{I}\right) $$ (1) 式中：$ N $为正态分布；$ {b }_{t} $为扩散$ t $次时噪声的方差系数；$ \boldsymbol{I} $为单位矩阵。
前向扩散过程中，可直接从未加噪数据$ {x}_{0} $采样，得到中间任意一个时间步的噪声图像，其公式为
$$ \left(\left.{x}_{t}\right|{x}_{0}\right)=N\left({x}_{t};\sqrt{{\bar {\alpha }}_{t}}{x}_{0},\left(1-{\bar {\alpha }}_{t}\right)\boldsymbol{I}\right) $$ (2) 式中$ {\bar {\alpha }}_{t}=\displaystyle \prod _{t=1}^{T}{\alpha }_{t} $，$ \alpha_t=1-b_t $，$ T $为总扩散步长。
反向去噪过程是从$ q\left(\left.{x}_{t-1}\right|{x}_{t}\right) $中采样，逐渐去噪，以获得理想图像。在给定当前时间步状态$ {x}_{t} $的条件下，前一时间步状态$ {x}_{t-1} $的条件概率分布为
$$ {P}_{\theta }\left(\left.{x}_{t-1}\right|{x}_{t}\right)=N\left({x}_{t-1};{\mu }_{\theta }\left({x}_{t},t\right),{\varSigma }_{\theta }\left({x}_{t},t\right)\right) $$ (3) 式中：$ \theta $为神经网络参数；$ {\mu }_{\theta } $，$ {\varSigma }_{\theta } $分别为模型输出的均值和协方差。
1.3 GAN模型
GAN模型中，生成器G用于生成新数据，没有标签，属于无监督网络；判别器D用于判断生成的数据和真实数据，属于有监督网络[19]。GAN模型损失函数为
$$ \begin{split} {\mathrm{mi{n}}}_{G}{\mathrm{ma{x}}}_{D}V\left(D,G\right)=&{\mathrm{mi{n}}}_{G}{\mathrm{ma{x}}}_{D}\left[{E}_{x\sim {P}_{{\mathrm{data}}}\left(x\right)}{\mathrm{ln}}D\left(x\right)+\right.\\ &\left.{E}_{{\textit{z}}\sim P\left({\textit{z}}\right)}{\mathrm{ln}}\left(1-D\left(G\left({\textit{z}}\right)\right)\right)\right] \end{split} $$ (4) 式中：$ V $为交叉熵；$ {P}_{{\mathrm{data}}}\left(x\right) $为真实数据$ x $的分布；$ {E}_{x\sim {P}_{{\mathrm{data}}\left(x\right)}} $为$ {P}_{{\mathrm{data}}}\left(x\right) $的期望值；$ D\left(x\right) $为判别器在真实数据$ x $上的判断结果；$ {\textit{z}} $为与真实数据结构相同的任意随机数据；$ P\left({\textit{z}}\right) $为z的分布；$ {E}_{{\textit{z}}\sim P\left({\textit{z}}\right)} $为$ P\left({\textit{z}}\right) $的期望值；$ G\left({\textit{z}}\right) $为生成器中基于$ {\textit{z}} $生成的假数据；$ D\left(G\left({\textit{z}}\right)\right) $为判别器在假数据$ G\left({\textit{z}}\right) $上的判断结果。
生成器的目标是生成尽量真实的数据，以求以假乱真，让判别器无法判断，学习目标是让判别器的判断准确性越来越低；判别器的目标是尽量判别出真伪，学习目标是让自己的判断准确性越来越高。
1.4 UeDiff−GAN模型
2个模型间的耦合关系有3种。第1种耦合方式：在一个样本前向扩散过程中，每进行一步扩散，就对扩散后样本进行对抗训练，这种方式会导致最终模型在训练中存在规律性和偏移性，无法训练大量数据，且存在噪声程度逐渐增加的规律性。第2种耦合方式：一批样本同时进行前向扩散，每进行一步扩散，就对扩散后样本进行对抗训练，这种方式虽然一定程度上克服了偏移性和样本数量少的缺陷，但是仍然存在样本噪声程度逐渐增加的规律性。第3种耦合方式：对一批样本进行扩散后，将各扩散时间点的样本作为对抗训练的数据源，这种方式克服了前面2种方式的缺陷，每批数据源中数量更加充足，同时也包含了不同噪声程度的数据。因此，本文使用第3种耦合方式。
UeDiff−GAN模型训练原理如图2所示。$ {F}_{1}\left(x\right)— {F}_{n}\left(x\right) $为样本数据集，经扩散加噪后得到$ {F}_{i}\left(x\right)\left|t\right. $$(t=\mathrm{1,2},\cdots , T) $，$i=1,2,\cdots ,n $，n为样本总数。$ {G}_{i}\left({\textit{z}}\right) $为生成器生成的第i个假样本，经扩散加噪后得到$ {G}_{i}\left({\textit{z}}\right)\left|t\right.$，$ {P}_{1}\left(x\right)—{P}_{n}\left(x\right) $为井下巷道中不同位置获取的图像，$ D\left({P}_{1}\left(x\right)\right)—D\left({P}_{n}\left(x\right)\right) $为对应判别结果。
针对预检测样本的环境复杂程度不同，在训练过程中自适应调整扩散步长，以达到最佳匹配加噪程度的样本。设计了递归算法，设定T的初始值为80，增减幅度为5，每20个训练周期后对T进行增减操作，然后根据预检测样本检测准确率变化趋势对T进行递归调整，最终得到与预检测样本最佳匹配的扩散步长。
井下照明环境中，光源往往在上方或者一侧，导致图像出现区域明暗不均的现象。同时图像采集时易出现反射及曝光问题，导致图像质量低，从而影响目标检测精度。 不均衡扩散效果如图3所示。
针对以上问题，引入不均衡扩散模块。设样本图像高度为H，宽度为W，根据井下常见场景，分别以左上、上等位置为中心点进行递增扩散，以样本左下角为坐标原点，则中心点坐标为（X，0）。最终边缘最大扩散步长T是通过与样本自适应计算后得到的取值，则样本每一个基本扩散单元的高度为H/T，宽度为X/T（中心的左侧）、（W−X）/T（中心的右侧）。引入该模块后，训练样本在一定程度上贴近了井下所采集的图像，提高了检测准确率。
2. 综采工作面孪生模型同步映射
2.1 数据采集与传输
在采煤机、液压支架和刮板输送机等设备上安装振动传感器、速度传感器和压力传感器等，实时采集“三机”的姿态、负载等运行状态数据。
对于采煤机，在牵引部电动机输出轴或滚筒轴上安装速度传感器，通过监测电动机或滚筒转速计算采煤机运行速度；在机身或牵引部的水平或垂直平面上安装倾角传感器，监测机身的倾斜角度和俯仰角度；在电动机、滚筒等关键部位安装振动传感器，监测设备异常状态。对于液压支架，在液压缸的进油口或回油口安装压力传感器，实时监测液压缸的压力；在推移千斤顶上安装位移传感器，监测支架的移动距离；在顶梁或底座的水平平面上安装倾角传感器，监测支架倾斜状态。对于刮板输送机，在驱动链轮轴或电动机输出轴上安装速度传感器，通过监测链轮的转速计算刮板输送机运行速度。
利用工业以太网、5G通信和工业物联网等技术进行数据传输，确保低延迟和高可靠性[20]。有线通信方面，采用工业以太网技术，使用千兆环网光纤连接综采工作面各设备，同时使用Profibus，Modbus等现场总线协议实现数据的集中采集和传输；无线通信方面，使用WiFi6，5G通信技术对设备进行远程通信控制，同时使用ZigBee，LoRa等低功耗广域网技术对低功耗设备数据进行远距离传输。
2.2 综采工作面3D模型构建
目前常见的3D建模软件有Solidworks，UG和ProE等，其中UG可完成对零件表面及实体造型的设计建模过程，对复杂零件的适用性也较强，同时兼容性好，因此本文采用UG构建综采工作面3D模型[21]。目前常见的虚拟仿真开发平台包括UE，Unity3D和CityEngine等，其中Unity3D提供了多样化UI组件，同时支持多种操作系统和编程语言，兼容性强[22]，因此本文采用Unity3D平台进行仿真。
综采工作面3D模型构建主要包括数据采集、场景构建、模型渲染、关系绑定等[23]，如图4所示。
![]()
图 4 综采工作面3D模型构建流程Figure 4. Construction process of 3D model for fully mechanized mining face1） 物理实体数据采集。获取井下环境物理信息，同时获取设备型号及其精确参数。
2） 场景及设备模型构建。搭建矿井空间结构模型，同时结合设备具体数据构建机器设备模型。
3） 模型渲染。将建立的模型导入3DMAX中，使用物体真实材质图像作为贴图对模型进行渲染优化，增加模型真实感。
4） 模型父子关系建立。将渲染后的模型输入Unity3D中，使用SetParent方法建立模型间父子关系，确保模型间协同控制运行。
2.3 孪生模型协同控制机理
综采工作面“三机”实体与孪生体的协同控制是实现综采工作面实体与孪生体交互映射的核心部分，其关系如图5所示。
![]()
图 5 综采工作面“三机”实体与孪生体协同控制关系Figure 5. Collaborative control relationship of physical entity and twin entity of "three machines" in fully mechanized mining face在井下开采过程中，煤层环境复杂多变，“三机”需要根据煤层变化做出调整。一方面，传感器采集数据处理后可用于对“三机”实体和孪生体进行调整，由实体对孪生体进行驱动；另一方面，将“三机”3D 模型的运动状态与“三机”实体进行比较验证，可从孪生体的角度对实体进行验证。
采煤机物理实体受煤岩、煤矸分布的影响，滚筒转速及开采速度相应动态变化；对于孪生体，可根据实体动态位置的检测结果对速度进行更新。液压支架物理实体受煤岩作用力及采煤机作业位置的影响，需对位姿进行动态调整；对于孪生体，可根据模型父子关系和采煤机孪生体位置对应进行移架、推溜等调整。刮板输送机物理实体受开采煤流的影响，需对电动机功率及传动速率进行动态调整；对于孪生体，需与实体传动速率保持一致，根据模型父子关系的状态传递对实体进行验证。
3. 实验分析
3.1 实验数据集及参数设置
采用自制数据集进行实验，数据集中包括采煤机、人和车辆的图像。训练集包括井下相机拍摄的实况图像和3D模型经贴图渲染后截取的图像，共4 271张；测试集为真实井下工作面视频序列图像数据集，主要为噪声分布较均匀的图像，存在小部分噪声分布局部集中的图像，共966张。
本实验基于Windows 11操作系统，汇编语言为Python3.11.5及C# 11.0，对应编程运行平台为Jupyter Notebook7.0.6，Unity 2021.3.4f1，深度学习框架为Pytorch2.1.1，计算平台CUDA版本为11.6，CPU为2路英特尔至强4210R 10核处理器，主频为3.2 GHz，GPU为Geforce RTX 3080 8 GiB显卡，内存配置为双通道3 200 MHz，容量为2×32 GiB，数字孪生模型实现及存放平台分别为Dell Precision T7920图形工作站、Unity 2021.3.4f1。
训练阶段，扩散过程使用平滑扩散步长算法，训练集在不同扩散步长T下训练后，对测试集进行测试，根据测试结果自适应调整T，得到与预判别样本噪声程度相匹配的T值，而后对图像进行扩散；生成对抗过程使用ADAM算法优化器提高模型训练效率及稳定性，设指数衰减率β1=0.5，β2=0.999，常量ε=10−8，学习率为2×10−4，训练周期为200。
3.2 对比实验
为了衡量UeDiff−GAN模型的检测性能，将其与SSD，R−CNN，YOLOv7，Diff−GAN目标检测模型进行对比实验，结果见表1。
表 1 各模型对比结果Table 1. Comparison of different models模型 检测精度% 平均检测
精度%检测速度/
（帧·s−1）采煤机 人 车辆 SSD 72.3 87.1 71.9 77.1 45.60 R−CNN 77.4 88.2 75.8 80.5 16.73 YOLOv7 82.6 90.9 81.0 84.8 70.56 Diff−GAN 67.4 74.9 65.1 69.1 59.71 UeDiff−GAN 91.7 92.4 91.0 91.7 59.46 由表1可见，UeDiff−GAN模型对采煤机的检测精度较SSD，R−CNN，YOLOv7，Diff−GAN分别提升了19.4%，14.3%，9.1%，24.3%；对人的检测精度较SSD，R−CNN，YOLOv7，Diff−GAN分别提升了5.3%，4.2%，1.5%，17.5%；对车辆的检测精度较SSD，R−CNN，YOLOv7，Diff−GAN分别提升了19.1%，0.152%，10.0%，25.9%。UeDiff−GAN模型的平均检测精度较SSD，R−CNN，YOLOv7，Diff−GAN分别提升了14.6%，11.2%，6.9%，22.6%。UeDiff−GAN模型的检测速度较SSD，R−CNN分别提升了13.86，42.73 帧/s。虽然UeDiff−GAN模型的检测速度并不优于所有模型，但是总体性能呈现出优化趋势，并且检测精度都有相对提高，说明UeDiff−GAN模型的综合检测性能更佳。
3.3 消融实验
以Diff−GAN模型作为基础模型，模型1添加平滑扩散步长模块，模型2添加不均衡扩散模块。分别对不同类型目标进行对比实验，结果见表2。
表 2 消融实验结果Table 2. Results of ablation experiment模型 检测精度% 平均检测
精度%检测速度/
（帧·s−1）采煤机 人 车辆 Diff−GAN 67.4 74.9 65.1 69.1 59.71 模型1 88.7 89.3 88.1 88.7 59.50 模型2 74.3 83.0 73.1 76.8 59.66 UeDiff−GAN 91.7 92.4 91.0 91.7 59.46 由表2可见，模型1对采煤机、人和车辆的检测精度较Diff−GAN模型分别提升了21.3%，14.4%，23.0%，平均检测精度提升了19.6%；模型2对采煤机、人和车辆的检测精度较Diff−GAN模型分别提升了6.9%，8.1%，8.0%，平均检测精度提升了7.7%；UeDiff−GAN模型对采煤机、人和车辆的检测精度较Diff−GAN模型分别提升了24.3%，17.5%，25.9%，平均检测精度提升了22.6%，说明UeDiff−GAN模型在保持检测速度的同时，有效提升了模型的检测精度。
3.4 同步映射验证实验
为验证综采工作面同步映射的实时性，同时更加直观展现实体与孪生体的同步映射效果，进行了同步映射验证实验。
每间隔20个支架片作为1个图像捕获点，共设置5个图像捕获点位，分别在5个文件夹中依次放置采煤机由无至有再至无共100张图像，以模拟5个点位的真实采集视频序列。为了保证实验环境与真实工作面环境的一致性，采用井下工作面视频序列图像进行实验。同时，选择第3个图像捕获点作为监测点，将此图像中采煤机头部对应支架片设定为41号。
同步映射效果如图6所示，可看出孪生模型大致上与实体呈现同步映射关系。同时，在第3个捕获点的图像输入模型后，0.673 s后可观察到孪生模型中采煤机头部经过41号支架片，WiFi6或工业以太网的网络延迟为50～200 ms。因此，经过交互验证的孪生模型与实体的延迟至多为0.873 s。在该延迟内，可通过传感器获取实体数据，对孪生体进行驱动，同时根据模型检测结果对孪生体进行控制，并对实体进行验证反馈。
4. 结论
1） UeDiff−GAN模型对采煤机、人和车辆的检测精度分别为91.7%，92.4%，91.0%，较Diff−GAN模型分别提升了24.3%，17.5%，25.9%，平均检测精度和检测速度分别为91.7%和59.46 帧/s。
2） 将UeDiff−GAN模型分别与SSD，R−CNN，YOLOv7，Diff−GAN模型进行对比实验，结果表明，UeDiff−GAN模型的精度更高，综合检测性能更佳。
3） 经过交互验证的孪生模型与实体的延迟至多为0.873 s，能够满足虚实同步映射的实时性要求。
-
![]()
图 4 综采工作面3D模型构建流程
Figure 4. Construction process of 3D model for fully mechanized mining face
![]()
图 5 综采工作面“三机”实体与孪生体协同控制关系
Figure 5. Collaborative control relationship of physical entity and twin entity of "three machines" in fully mechanized mining face
表 1 各模型对比结果
Table 1 Comparison of different models
模型 检测精度% 平均检测
精度%检测速度/
（帧·s−1）采煤机 人 车辆 SSD 72.3 87.1 71.9 77.1 45.60 R−CNN 77.4 88.2 75.8 80.5 16.73 YOLOv7 82.6 90.9 81.0 84.8 70.56 Diff−GAN 67.4 74.9 65.1 69.1 59.71 UeDiff−GAN 91.7 92.4 91.0 91.7 59.46 
下载: 导出CSV
表 2 消融实验结果
Table 2 Results of ablation experiment
模型 检测精度% 平均检测
精度%检测速度/
（帧·s−1）采煤机 人 车辆 Diff−GAN 67.4 74.9 65.1 69.1 59.71 模型1 88.7 89.3 88.1 88.7 59.50 模型2 74.3 83.0 73.1 76.8 59.66 UeDiff−GAN 91.7 92.4 91.0 91.7 59.46
下载: 导出CSV
-
[1] 邢震. 面向智能矿山的数字孪生技术研究进展[J]. 工矿自动化,2024,50(3):22-34,41. XING Zhen. Research progress on digital twin technology for intelligent mines[J]. Journal of Mine Automation,2024,50(3):22-34,41.
[2] 张旭辉. 打造数字孪生行业生态,突破采掘装备远程控制[J]. 西安科技大学学报,2023,43(1):2. ZHANG Xuhui. Creating digital twin industry ecology,advancing remote control of mining equipment[J]. Journal of Xi'an University of Science and Technology,2023,43(1):2.
[3] 鲍久圣,张可琨,王茂森,等. 矿山数字孪生MiDT:模型架构、关键技术及研究展望[J]. 绿色矿山,2023(1):166-177. BAO Jiusheng,ZHANG Kekun,WANG Maosen,et al. Mine digital twin:model architecture,key technologies and research prospects[J]. Journal of Green Mine,2023(1):166-177.
[4] 张帆,葛世荣,李闯. 智慧矿山数字孪生技术研究综述[J]. 煤炭科学技术,2020,48(7):168-176. ZHANG Fan,GE Shirong,LI Chuang. Research summary on digital twin technology for smart mines[J]. Coal Science and Technology,2020,48(7):168-176.
[5] 张帆,葛世荣. 矿山数字孪生构建方法与演化机理[J]. 煤炭学报,2023,48(1):510-522. ZHANG Fan,GE Shirong. Construction method and evolution mechanism of mine digital twins[J]. Journal of China Coal Society,2023,48(1):510-522.
[6] 熊思博,王琦,刘光洁. 三维重建技术的发展与现状研究综述[J]. 电脑知识与技术,2022,18(36):114-117. XIONG Sibo,WANG Qi,LIU Guangjie. A review on the development and current status of 3D reconstruction technology[J]. Computer Knowledge and Technology,2022,18(36):114-117.
[7] 齐海明,李俊林,罗广利. 基于三维激光扫描技术的地下矿山三维模型重建方法研究[J]. 经纬天地,2023(1):79-81. DOI: 10.3969/j.issn.1673-7563.2023.01.023 QI Haiming,LI Junlin,LUO Guangli. Research on 3D model reconstruction method of underground mine based on 3D laser scanning technology[J]. Survey World,2023(1):79-81. DOI: 10.3969/j.issn.1673-7563.2023.01.023
[8] 苗丙,葛世荣,郭一楠,等. 煤矿数字孪生智采工作面系统构建[J]. 矿业科学学报,2022,7(2):143-153. MIAO Bing,GE Shirong,GUO Yinan,et al. Construction of digital twin system for intelligent mining in coal mines[J]. Journal of Mining Science and Technology,2022,7(2):143-153.
[9] 郭虎升. 目标检测综述:从传统方法到深度学习[J]. 新兴科学和技术趋势,2024(2):128-145. DOI: 10.12405/j.issn.2097-1486.2024.02.002 GUO Husheng. Object detection:from traditional methods to deep learning[J]. Emerging Science and Technology,2024(2):128-145. DOI: 10.12405/j.issn.2097-1486.2024.02.002
[10] 高涵,赵培培,于正,等. 基于特征增强与Transformer的煤矿输送带异物检测[J]. 煤炭科学技术,2024,52(7):199-208. GAO Han,ZHAO Peipei,YU Zheng,et al. Coal mine conveyor belt foreign object detection based on feature enhancement and Transformer[J]. Coal Science and Technology,2024,52(7):199-208.
[11] 王宇,于春华,陈晓青,等. 基于多模态特征融合的井下人员不安全行为识别[J]. 工矿自动化,2023,49(11):138-144. WANG Yu,YU Chunhua,CHEN Xiaoqing,et al. Recognition of unsafe behaviors of underground personnel based on multi modal feature fusion[J]. Journal of Mine Automation,2023,49(11):138-144.
[12] 陈伟,江志成,田子建,等. 基于YOLOv8的煤矿井下人员不安全动作检测算法 [J/OL]. 煤炭科学技术:1-19[2024-08-18]. http://kns.cnki.net/kcms/detail/11.2402.td.20240322.1343.003.html. CHEN Wei,JIANG Zhicheng,TIAN Zijian,et al. YOLOv8-based algorithm for detecting unsafe movements of underground personnel in coal mines[J/OL]. Coal Science and Technology:1-19[2024-08-18]. http://kns.cnki.net/kcms/detail/11.2402.td.20240322.1343.003.html.
[13] 杨伟康,吕文生,杨鹏,等. 基于倒置残差的井下无人车目标检测研究[J]. 矿业研究与开发,2024,44(4):222-227. YANG Weikang,LYU Wensheng,YANG Peng,et al. Research on target detection of underground unmanned vehicle based on inverted residual[J]. Mining Research and Development,2024,44(4):222-227.
[14] 周浩,叶夏磊,包志舟,等. 数字孪生机器人虚实双向控制方法研究[J]. 机电工程技术,2024,53(12):135-140. ZHOU Hao,YE Xialei,BAO Zhizhou,et al. Research on virtual real bidirectional control method for digital twin robots[J]. Mechanical & Electrical Engineering Technology,2024,53(12):135-140.
[15] 牛进鑫,孙文磊,刘国良,等. 基于数字孪生驱动的机器人运动仿真与状态虚实同步映射研究[J]. 现代制造工程,2024(5):48-55. NIU Jinxin,SUN Wenlei,LIU Guoliang,et al. Research on robot motion simulation and virtual-real synchronized mapping driven by digital twins[J]. Modern Manufacturing Engineering,2024(5):48-55.
[16] SA Guodong,SUN Jiacheng,HOU Mingjie,et al. A digital twin synchronous evolution method of CNC machine tools associated with dynamic and static errors[J]. The International Journal of Advanced Manufacturing Technology,2024,134(5):2753-2763.
[17] WANG Zhendong,ZHENG Huangjie,HE Pengcheng,et al. Diffusion-GAN:training GANs with diffusion[EB/OL]. [2024-08-16]. https://arxiv.org/abs/2206.02262.
[18] HO J,JAIN A,ABBEEL P. Denoising diffusion probabilistic models[J]. Advances in Neural Information Processing Systems,2020,33:6840-6851.
[19] GOODFELLOW I J,POUGET-ABADIE J,MIRZA M,et al. Generative adversarial nets[C]. 28th Annual Conference on Neural Information Processing Systems,Montreal,2014:2672-2680.
[20] 王鑫,吴士良. 智能综采工作面系统设计及关键技术研究[J]. 中国煤炭,2024,50(9):73-79. WANG Xin,WU Shiliang. Research on system design and key technology of intelligent fully mechanized mining face[J]. China Coal,2024,50(9):73-79.
[21] 张捷. UG软件在汽车车身CAD建模中的使用[J]. 内燃机与配件,2021(19):206-207. DOI: 10.3969/j.issn.1674-957X.2021.19.097 ZHANG Jie. Application of UG software in auto body CAD modeling[J]. Internal Combustion Engine & Parts,2021(19):206-207. DOI: 10.3969/j.issn.1674-957X.2021.19.097
[22] 王进峰,问丛川,花广如,等. 基于Unity3D的数控机床数字孪生系统设计与实现[J]. 中国工程机械学报,2023,21(5):443-448. WANG Jinfeng,WEN Congchuan,HUA Guangru,et al. Design and implementation of digital twin system for CNC machine tools based on Unity3D[J]. Chinese Journal of Construction Machinery,2023,21(5):443-448.
[23] 陈述,鲁世立,王建平,等. 融合Unity3D的缆索起重机安全运行数字孪生模型构建方法[J]. 中国安全生产科学技术,2024,20(1):154-159. CHEN Shu,LU Shili,WANG Jianping,et al. Construction method of digital twin model for safe operation of cable crane by integrating Unity3D[J]. Journal of Safety Science and Technology,2024,20(1):154-159.
计量
- 文章访问数: 35
- HTML全文浏览量: 10
- PDF下载量: 6
