0.   引言

煤矿智能化建设对于推动煤炭产业的转型升级和实现高质量发展具有重要意义^[1-3]。截至2024年4月底，全国已建成智能化采煤工作面1 922个，智能化掘进工作面2 154个。《国家能源局关于进一步加快煤矿智能化建设促进煤炭高质量发展的通知》要求大型煤矿加速实现采掘系统全面智能化。同时《煤矿智能化标准体系建设指南》提出建立数字孪生系统标准，涵盖参考架构、信息模型、设备模型、数据接口及全矿井数字孪生服务应用等标准。

2014年，葛世荣在主持的国家重点基础研究发展计划（973计划）项目中首次提出了基于煤层地理信息系统的采煤机自主导航截割技术^[4]，标志着采煤机截割控制理念进入新阶段。该技术利用详细的煤层探测地图进行截割运动规划，并采用导航控制技术实现采煤机的无人截割操作，有效应对煤层变化带来的挑战，实时调整截割路径，确保操作的自主性。2020年，葛世荣指出数字孪生智采工作面（Digital Twin Smart Mining Workface，DTSMW）^[5-7]是一个数据三维可视化、人机交互强、全流程自优化的高逼真采煤工作面三维镜像场景。该系统实现了数字孪生体与物理实体间的双向通信和信息交互，全面感知井下无人化综采工作面的物理空间，实时监控生产过程及性能，并进行虚拟场景的三维可视化再现，显著提升煤矿综采工作面的智能化水平^[8]。

本文基于采煤机自主导航截割技术和DTSMW，提出采煤机数字孪生导航截割运动规划理论与方法。采用数字孪生技术创建物理实体的虚拟模型，并在物理世界与数字世界之间实现双向映射、动态交互和实时连接。采煤机数字孪生导航截割运动规划理论与方法主要包括数字孪生理论、采煤机截割状态数字孪生、动态导航地图数字孪生及基于数字孪生的深度强化学习运动规划，如图1所示。

图  1  采煤机数字孪生导航截割运动规划理论与方法架构

Figure  1.  Framework of shearer digital twin navigation theory and method

下载: 全尺寸图片 幻灯片

数字孪生理论的深入研究包括智采工作面物理场景、数字孪生模型构建理论及数字孪生驱动、交互、演化理论3个方面。智采工作面物理场景的研究分为智采工作面组成要素和装备环境约束关系^[7]，为数字孪生模型的构建提供坚实基础。数字孪生模型构建理论包含物理实体、孪生模型及数据模型。数字孪生驱动、交互、演化理论分为孪生驱动运行机制、虚实交互逻辑、数字孪生系统演化。

以数字孪生理论为支撑构建采煤机数字孪生导航截割运动规划系统。结合数字孪生模型和实时传感器数据，对采煤机的截割状态进行数字孪生，创建一张能够动态更新的精细化煤层导航地图，提供实时、准确的导航路径信息，并建立一个基于数字孪生的强化学习环境，实现物理与虚拟模型的交互，利用强化学习优化算法进行采煤机的数字孪生导航截割运动规划。

1.   数字孪生模型构建理论

智采装备数字孪生模型的构建是数字孪生技术的基础和关键环节。因此，针对不同类型的智采装备及其具体的应用需求，分析并构建包含相关模型信息的数字孪生模型^[9-10]。

智采装备数字孪生（MG Digital Twin，MGDT）包括物理实体模型（Physical Entity Model，PE）、孪生模型（Digital Twin Model，MDT）、数据模型（Digital Twin DataBase，DBDT），即$ {\text{MGDT}} = ({\text{PE}},{\text{MDT}}, {\text{DBDT}}) $。

1.1   智采装备物理实体模型PE

PE是指对现实世界智采装备功能和传感器感知的虚拟表示，包括MG物理功能模型（Physical Function Model，MGPFM）和MG物理传感器模型（Physical Sensor Model，MGPSM），即PE=（MGPFM，MGPSM）。

采煤机是工作面智采装备的核心。采煤机的MGPFM由滚筒、摇臂、截割电动机、牵引行走部、控制箱、高压箱等部分组成，可分为电气、液压、机械部分。采煤机的MGPSM主要包括状态感知、位置及姿态感知和截割状态感知^[7]。

1.2   智采装备孪生模型MDT

MDT是实现数字孪生各项功能的基础核心组件，包括三维几何模型（Three Dimensional Geometrical Model，M3dGM）和机理模型（Mechanical Model，Mmech），即$ {\text{MDT}} = \left( {{\text{M3dGM，Mmech}}} \right) $。逻辑结构如图2所示。

图  2  孪生模型逻辑结构

Figure  2.  Logical structure of digital twin model (MDT)

下载: 全尺寸图片 幻灯片

以采煤机为例，M3dGM模型是基于SolidWorks机械设计的三维模型，包含了装备的几何形状信息。采用基于物理的渲染技术（Physically-Based Rendering，PBR）对导入3DMAX软件后采煤机的SolidWorks模型进行处理。采煤机整机经过PBR渲染，对采煤机的颜色、粗糙度、高光属性等分别进行处理，使采煤机展现出更真实的感觉。Mmech是根据特定系统对象或过程的明确因果关系和内部交互作用机制机理建立起来的数学计算模型，分为物理模型（Physical Mechanical Model，MmechP）、行为模型（Behavioral Mechanical Model，MmechB）、知识模型（Knowledge Mechanical Model，MmechK） 3个部分，即$ {\text{Mmech}} = {\text{(MmechP，MmechB，MmechK)}} $。

MmechP作为采煤机数字孪生导航截割运动规划场景中的重要部分，在几何模型的基础上构建，结合了实际物理环境中的物理属性、物理约束及物理外部载荷。该模型通常利用离散元（Discrete Element Method，DEM）、有限元分析（Finite Element Method，FEM）软件创建，是数字孪生模型的核心组成之一。MmechP结合DEM，FEM理论，能够便捷地生成大量仿真数据，这些数据为采煤机导航截割运动规划提供了基础。通过对智采装备仿真数据与智采工作面物理环境中装备的传感系统采集数据进行比较和校准，可以增强数字孪生模型的精度和对物理现实的再现还原能力。

MmechB利用物理机理描述并预测PE在特定时空环境及外部动态因素影响下的行为。该模型涵盖了PE随时空条件演化的行为和性能的变化，以及对智采工作面环境动态变化的响应能力。MmechB是基于质量平衡方程、能量平衡方程、动量平衡方程及电气基本定律等而获得对象或过程的数学模型（常见的有力学模型、动力学模型、振动模型、载荷模型、疲劳模型、控制模型），为理解和预测智采装备行为提供了重要手段。

MmechK包含基础规则模型和生成知识模型。基础规则模型基于历史数据、专家经验、行业规范与标准，形成一套既定且持续完善的知识规则机制。生成知识模型随时间发展能够自我更新与调整规则和知识，这部分主要依赖于机器学习算法，这些算法利用数据整合和挖掘功能，形成新的知识规则，从而增强模型的智能化分析、预测和控制能力。这种结构不仅确保了MmechK的适应性，还提升了其决策的准确性和效率。

1.3   智采装备数据模型DBDT

DBDT融合了多模态、多维度数据，构成以时间及模型为索引的综合数据平台，包括PE数据、MDT数据、数模融合生成数据和知识数据。DBDT是数字孪生系统的核心动力，主要承担全系统数据的整合、决策支持及优化预测功能。DBDT作为整个数字孪生体系的数据汇聚点，负责数据的集中存储和备份。通过提供这些服务，DBDT为系统的应用功能提供了坚实的数据基础，确保了系统的高效运行和信息的准确处理。DBDT分为原始数据（Primary Data）和生成数据（Generate Data）2类。这种分类结构不仅清晰地界定了数据的来源和功能，也为数据处理和应用提供了明确的框架。原始数据分为物理实体数据（Physical DBDT，DBDTP）、数字孪生模型数据（Twins DBDT，DBDTT）及原始知识数据（Knowledge DBDT，DBDTK）。生成数据包括数模融合生成数据（Integrated DBDT，DBDTI）和生成知识数据（Generate Knowledge DBDT，DBDTGK），即DBDT=(DBDTP，DBDTT，DBDTK， DBDTI，DBDTGK)。DBDT的逻辑关系如图3所示。

图  3  数据模型DBDT逻辑结构

Figure  3.  Logical structure of the digital twin database data model

下载: 全尺寸图片 幻灯片

DBDTP是指通过数字线程从采煤机导航截割过程中的智能采掘设备采集获取的传感器数据，包括采煤截割过程的状态感知数据、设备性能感知数据、环境参数感知数据、突发扰动感知数据，是原始数据中的基础底层数据。

DBDTT包含物理过程模型数据、驱动因素模型数据、环境扰动模型数据、运行机制模型数据、行为仿真数据、过程验证数据、过程仿真数据，以及评估、分析、预测仿真数据。DBDTT代表从虚拟模型中提取的一系列仿真数据。虽然仿真数据准确性不如现实中的物理数据，但其主要优势在于可以提供大量的样本。此外，某些在实际环境中难以达到的工况或无法获得的数据，可以通过DBDTT中的特定需求仿真数据进行补充。因此，在原始数据类别中，DBDTT构成了一个关键的数据源，使孪生模型在数据不足的情况下仍能维持其功能和效率。

DBDTK来源于煤矿行业经验、生产历史统计数据、煤矿专家知识库及煤矿管理人员的逻辑推理。虽然这些数据因其主观性带来不稳定性和不确定性，但它们在补充数据结构的缺陷与空白方面表现出显著的效用。因此，数字孪生系统通过其自适应性能，逐步对这类数据进行学习和演化处理，使其成为原始数据中的第3类重要数据资源。这种处理方式极大地增强了系统的灵活性和应对复杂情况的能力。DBDTK包含算法功能型服务数据、模型功能型服务数据、数据处理方法、行业标准、规则约束。

DBDTI和DBDTGK涵盖转换数据、预处理数据、分类数据、关联数据和集成数据等多种形式，均是通过人工智能算法对原始数据进行深度挖掘后生成的。这些数据具备更高的观察维度和更强的综合性。在知识模型的指导及系统自我调整的作用下，这些数据逐渐构建出强大的决策支持和预测分析能力。在数字孪生体系中，这种数据不仅实现了价值增长，还促进了信息共享，提升了整个系统的效率和智能水平。

2.   数字孪生驱动交互演化理论

2.1   数字孪生驱动运行机制

通过数字孪生技术有效地实施采煤机导航截割运动规划的关键在于深入理解数字孪生的核心驱动机制^[11]。本文将这些核心驱动机制划分为MDT模型驱动、DBDT数据驱动和服务驱动3类，如图4所示。三者构成了数字孪生运行自下而上的整体驱动机制，模型、数据、服务递进式的关系驱动采煤机运动规划的运行。

图  4  数字孪生驱动机理

Figure  4.  Digital twin driving mechanism

下载: 全尺寸图片 幻灯片

针对采煤机数字孪生导航截割运动规划，将问题分为截割状态数字孪生、动态导航地图构建及基于强化学习的动态规划。在以服务为导向的牵引下，MDT模型驱动与DBDT数据驱动将进行有效协同，应对采煤机数字孪生导航和截割运动规划的3个问题。

MDT模型驱动是数字孪生的基础驱动力，因此强调了模型高质量和高还原度的重要性。数字孪生的模型包括几何模型、物理模型、行为模型及知识模型等，这些模型不仅提供了对物理对象的高精度刻画，而且增强了系统的适应能力。

DBDT数据驱动由各类目标数据的感知获取、网络传输、数据集融合和数据存储管理等主要环节构成。在数字孪生的架构中，系统通过对大量的数据交互、历史数据和预测数据进行深入分析和综合处理，有效地解决服务驱动提出的问题。

数字孪生导航截割规划是一个虚实交互循环迭代的过程，如图5所示。以采煤机导航截割运动规划为对象，将闭环管理逻辑设计为全面感知（Perception）、融合分析（Analysis）、优化预测（Prediction）、规划控制（Planning Control） 4个部分。这4个部分相互依赖形成一个闭环系统，从而提升导航和截割任务的效率和精确性。

图  5  PAPPC循环迭代逻辑结构

Figure  5.  Loop iterative logic structure of perceotion-analysis-prediction-planning control(PAPPC)

下载: 全尺寸图片 幻灯片

全面感知阶段包括物理现实感知、孪生模型感知、仿真环境感知及孪生环境感知。目标是通过物理和数字孪生模型获取尽可能全面的数据，以支持后续的分析和决策过程。

融合分析阶段包括异常数据处理、融合算法构建、特征指标设计及主成分分析。目标是处理、整合及提炼收集的多源数据信息。

优化预测阶段包括智能算法构建、计算模型训练、预测模型评估及性能指标评价。目标是通过智能机器学习算法和模型来预测未来状态，并优化系统性能，同时通过模型评估和性能指标评价提高预测的准确性。

规划控制阶段包括物理引擎设计、强化学习构建、策略梯度优化、价值函数优化。目标是将这些预测结果应用于实际操作，通过物理引擎的设计和强化学习技术优化决策过程，确保任务执行的高效性和精确性。

2.2   数字孪生交互演化逻辑

在智采工作面物理空间，采煤机通过实时感知截割状态并根据环境地质体的变化进行自主决策，以控制自身执行截割任务。在智采工作面孪生空间，采煤机智能体Agent实时感知数字孪生环境，并在自我组织、自我学习和自我优化的基础上进行导航状态解析和决策评估，实现安全高效的智能化决策。这种物理空间与数字孪生空间交互逻辑模式有效地增强了采煤机导航截割系统的整体性能和动态适应性^[12]。利用数字孪生技术，采煤机的数字孪生导航截割运动规划通过构建数据与模型的多维对应关系，实现了虚拟与现实间的交互与迭代优化，显著提高了规划效率与成效，如图6所示。

图  6  数字孪生交互逻辑结构

Figure  6.  Digital twin interaction logical structure

下载: 全尺寸图片 幻灯片

物理空间的采煤机导航截割基于感知自动化技术构建，描述了一个具备“自动感知、自动决策、自动执行”功能的感知智能运行过程。在物理空间中，“自动决策”功能是采煤机记忆截割运动决策的核心，也是感知智能化水平的关键体现。首先，通过实时传感器数据采集获取物理采煤机在智采工作面的运行状态，实现对工作面环境的“自动感知”。其次，利用记忆截割映射技术将物理采煤机的运行状态即时映射到记忆截割模型中，支持“自动决策”过程。然后，“自动决策”机制在记忆模型中处理数据并输出实时导航结果，这些结果转换为设备控制指令，通过记忆模拟控制实际设备，为“自动执行”阶段提供必要的控制指令。最后，采煤机控制系统硬件将这些指令下发到相应的设备执行器，实现导航截割全过程的闭环反馈控制，确保物理采煤机的实时、准确运行，完成记忆截割任务的整个流程。这一系列步骤保证了采煤机导航的实时性和准确性。

在智采工作面孪生空间，数字孪生智采工作面为采煤机数字孪生导航截割运动规划提供了核心支撑，并实现了从感知智能到认知智能的转变，增强了整体决策与执行的智能化程度。数字孪生智采工作面基于采煤机智能体Agent系统，具备“自主推演、自主学习、自主优化”的认知智能过程，突出智能体Agent的自适应能力。

在数字孪生智采工作面的执行逻辑中，采煤机智能体Agent利用数字孪生的交互通信技术在数字孪生环境中工作，完成导航截割运动规划任务，实现系统的“自主推演”。为提升智能体Agent的决策性能，通过虚实映射技术驱动数字孪生采煤机在虚拟智采工作面运行，为智能体Agent的训练与学习提供仿真实环境支持。同时，使用人工智能强化学习算法，实现智能体Agent的“自主学习”。为应对动态变化的智采工作面环境，智能体Agent系统利用智能算法和虚拟采煤机模型，通过持续的虚实交互改变虚拟环境，迭代优化采煤机的决策能力，增强导航系统的自适应性和整体性能。这一层逻辑确保了导航系统能有效适应环境变化，提高操作效率和精确性。

智采工作面采煤机数字孪生导航截割运动规划依托数字孪生技术，通过实时数据感知、数字孪生模型与历史数据综合，精确刻画物理采煤机当前状态和变化趋势，使智能体Agent能高效地进行实时导航规划决策。采煤机智能体Agent利用数字孪生技术不断与环境进行交互，通过强化学习智能算法来优化策略，提升导航决策能力。这一过程实现了煤矿数字孪生智采工作面系统从L1虚拟模型阶段到L2基础数字孪生阶段，最终成功达到L3自适应数字孪生阶段^[7]。

3.   采煤机数字孪生导航截割运动规划系统构建

采煤机数字孪生导航截割运动规划系统是以导航截割运动规划为问题需求导向的集成数字孪生操作环境，实现物理空间与孪生空间的有效融合与交互。基于对数字孪生特性的分析，本研究探讨了采煤机导航截割数字孪生构建的关键技术和运动规划决策服务，系统架构包括物理感知层、综合数据层、数模融合分析层及数字孪生服务层，如图7所示。系统整合了现实中的采煤机导航截割过程、数字孪生模型组成的场景、数字孪生数据模型和面向功能的应用层。通过数字化手段将现实中的采煤机导航截割过程复制到数字孪生操作环境中，通过系统内各模块的调用实现数据的自适应融合、智能分析和最优规划。

图  7  采煤机数字孪生导航截割运动规划系统架构

Figure  7.  Framework of shearer digital twin navigation cutting motion planning system

下载: 全尺寸图片 幻灯片

3.1   物理感知层

在数字孪生架构中，物理感知层负责收集物理实体的实时数据，这是整个系统运作的基础。物理感知层需要对接交互的系统包括综采工作面地质系统和智采工作面装备状态监控系统。通过安装在物理设备上的各类传感器与测量设备（如温度、压力和位置传感器等）持续采集关键数据。这些数据在经过初步处理后，通过网络层送往上层进行更深入的分析与应用。采用边缘计算对数据进行初步分析，以减轻综合数据层的数据处理压力。

在采煤机数字孪生导航截割运动规划系统中，采煤机既是生产设备，也集成了众多传感器、边缘数据处理装置和电控装置，使以采煤机为核心的智采工作面装备状态监控系统不仅具备态势综合感知、数据融合计算功能，还拥有优化控制功能，成为一个综合性的智能系统。这些系统构成了物理感知层。考虑到各智能体分布在不同的子系统中，需要有效互动以确保互联互通和互操作性，构建数字线程成为了物理感知层的核心任务。通过建立统一的数字线程，可以解决不同感知设备产生的多源异构数据交互问题，并在语义层面确保设备间的互联互通。

3.2   综合数据层

构建采煤机数字孪生导航截割运动规划系统依赖于大量数据的收集与处理，以确保数据模型的完整性。在物理实体层面，通过传感器及其他感知设备采集智采装备的实时运行状态，采用信号转换器将这些状态转换为数字信号进行传输。综合数据层的任务是对这些海量的数据进行有效处理，提取出有价值的信息。智采工作面中的数据处理（P_tid）通常包括数据预处理（D_p）、数据融合（D_f）、数据挖掘（D_m）、数据应用（D_a）和数据管理（DM_gt），即$ {\mathrm{P}}_{{\mathrm{t i d}}}= \left({\mathrm{D M}}_{{\mathrm{g t}}}, {\mathrm{D}}_{{\mathrm{p}}}, {\mathrm{D}}_{{\mathrm{f}}}, {\mathrm{D}}_{{\mathrm{m}}},{\mathrm{D}}_{{\mathrm{a}}}\right) $，供上层智能应用使用。此外，在数据传输过程中需考虑数据的安全性、实时性和完整性。

DBDT中的动态数据即智采装备在测试和使用过程中收集的大量数据，包括地理信息数据、三维模型数据、算法模型数据、传感器数据、系统运行数据、设备固有信息数据、虚拟实体数据和物理实体数据等。动态数据具有庞大的数据量、统一的数据结构、持续的数据添加及每个数据点的明确时间戳等特点，以实现对物理实体的高保真映射。

综合数据层建立的数据模型必须符合：① 能快速写入以匹配传感器的采集频率。② 通过适当的压缩方法实现高效存储，以减少存储需求。③ 实现实时状态映射，确保对物理空间的精准反映，以更好地支持数模融合分析层的需求。

3.3   数模融合分析层

数模融合分析层为采煤机数字孪生导航截割运动规划系统的核心部分，涵盖模型的构建、展示、同步、管理、校验、组装及融合7个关键环节^[9]。由于采煤机的功能与结构复杂性，单一的机理模型难以全面描述其特性。通过创建几何模型、物理模型、行为模型、数据驱动模型和知识模型，实现不同领域、多维度的融合，以更精确地刻画采煤机的特性和功能。几何模型展示采煤机的机械结构特征，并通过可视化技术进行直观呈现。物理模型涵盖岩石力学、齿轮动力学、电机学等领域。行为模型描述采煤机在动态场景下的行为演化。数据驱动模型依据人工智能算法对历史数据进行分析，从数据角度解读采煤机的行为。知识模型整合了采煤机全生命周期内的专业知识，用于支持智能决策过程。

智采工作面地质体模型与采煤机机理模型通过连接实时数据与模拟仿真进行更新，并利用数字线程支撑采煤机导航截割算法及控制模型。通过实时采集智采装备传感数据，可以反映设备的即时状态和环境条件，这对系统的即时反馈和动态调控非常关键。

采煤机导航截割算法及控制模型结合传感器数据和滚筒截割载荷模型，可以预测和分析截割部件在当前作业中所承受的力学载荷。截割部机电耦合模型将机械动力学行为与电气系统性能进行集成分析，这种机电一体化的分析方法可以进一步提高采煤机的截割性能和能效。截割状态识别与轨迹跟踪技术利用机器学习技术分析传感器数据，以识别设备的截割状态，并根据预设或实时生成的轨迹进行精准导引。截割路径及运动规划算法用于计算最优的截割路径和相应的设备运动策略。导航地图修正算法则能够实时更新和修正内部导航地图，通过分析传感器和外部数据源收集的信息来纠正地图误差，确保导航的准确性。

3.4   数字孪生服务层

在采煤机数字孪生导航截割运动规划系统中，数字孪生服务层主要提供采煤机截割状态数字孪生、动态导航地图数字孪生、数字孪生强化学习环境和强化学习运动规划关键功能。这些功能在逻辑上形成递进关系，相互衔接以提升系统的整体性能和效率。

3.4.1   采煤机截割状态数字孪生

采煤机截割状态数字孪生是指利用数字孪生模型来创建一个采煤机截割过程的虚拟副本，用于在数字空间模拟、分析和优化采煤机的截割操作。采煤机的截割原理涵盖地质、机械和电气等多个领域。采煤机截割部机电耦合动力学模型包括截割电动机动态模型、齿轮系动力学模型^[13]、截齿滚筒载荷^[14-15]等。为了能准确地进行采煤机截割状态数字孪生，建立相应的机理模型后还需要通过物理截割试验^[16-17]对机理模型进行试验验证，采煤机截割状态数字孪生如图8所示。其中，λ为感应电动势；T_e为电磁转矩；T_m为截割电动机负载转矩；T_L为滚筒扭矩；Σ为滚筒上所有截齿受力F的矢量和；定子三相轴线分别标记为A，B，C；转子三相轴线分别标记为a，b，c；u_A，u_B，u_C为定子侧各相电压；u_a，u_b，u_c为转子侧各相电压；i_A，i_B，i_C为定子电流；φ_g为第g个截齿的位置角；ω为滚筒角速度；V为滚筒速度；h为滚筒截割厚度；F_i为截齿截割载荷；F_j为截齿截割法向载荷；F_k为截齿截割侧向载荷；d为截割厚度；V_i为截齿运行速度。

图  8  采煤机截割状态数字孪生

Figure  8.  Digital twin of shearer ctting state

下载: 全尺寸图片 幻灯片

3.4.2   动态导航地图数字孪生

煤层初始三维模型的构建是一个由点到线再到面最后生成体的过程，如图9所示。

图  9  煤层初始三维模型创建流程

Figure  9.  Creation process of coal seam initial 3D model

下载: 全尺寸图片 幻灯片

首先，根据地面钻孔数据、巷道揭露素描等数据（包括地质钻探数据、运输和通风巷道煤层数据、工作面煤层数据及煤层异构体数据），通过样条曲线插值方法生成线模型（如区域顶板曲线、区域底板曲线及顶底煤层曲线）。然后，通过Kriging曲面插值方法，生成工作面顶底板的不规则三角网络（Triangulated Irregular Network，TIN）面模型。最后，利用这些数据创建煤层初始三维模型。

神东某矿22214工作面煤层初始三维模型如图10所示，X_n，Y_n，Z_n为导航坐标系（Navigation Coordinate System, NCS）n的三轴方向。

图  10  22214工作面煤层初始三维模型

Figure  10.  Coal seam initial 3D model of 22214 working face

下载: 全尺寸图片 幻灯片

由于静态地质数据构建的煤层初始三维模型精度不足，无法为采煤机截割运动规划提供有效的地质导航。为提高截割路径的精度，将煤层初始三维模型数据与采煤机的截割轨迹及生产揭露数据相融合，提出了动态导航地图数字孪生方法，如图11所示。

图  11  动态导航地图数字孪生方法

Figure  11.  Dynamic navigation map digital twin method

下载: 全尺寸图片 幻灯片

首先，对生成的动态导航地图沿工作面方向Y_n和工作面推进方向X_n进行地质体切片，如图12所示。然后，根据形态相似性和共面性测量方法进行分层聚类^[18]。最后，结合地质体切片数据及采煤机单次最大卧底量及生产工艺约束进行采煤机的截割路径规划^[19]，如图13所示，其中Δγ为采煤机横滚角，Δf为下切深度，Δh为底板阶梯高差。

图  12  地质体规划切片原理

Figure  12.  Geological body planning slice principle

下载: 全尺寸图片 幻灯片

图  13  采煤机俯仰采路径规划原理

Figure  13.  Pitch mining path planning principle of shearer

下载: 全尺寸图片 幻灯片

3.4.3   数字孪生强化学习环境构建

深度强化学习通过结合深度学习和强化学习原理，使机器人系统能够在复杂的环境中学习最优的行动策略^[20-21]。适用于采煤机导航截割运动规划的深度强化学习算法需具备处理多维状态空间和连续输出的能力，如图14所示。其中S为状态空间；P为动作空间；R为奖励，r_t为即时奖励函数，用于计算在t时间刻智能体给定状态s_t下执行动作p_t后，在t+1时间刻智能体预期从环境获得的奖励。

图  14  采煤机强化学习的基本框架

Figure  14.  Basic framework of reinforcement learning of shearer

下载: 全尺寸图片 幻灯片

在强化学习中，环境直接影响了智能体的学习过程、策略选择及最终性能。ML−Agents是一个利用Unity3D开发的开源框架，专为在虚拟环境中培训智能体以完成多样化的任务而设计。ML−Agents框架实现与外部环境的通信主要依赖于网络协议，其中Python环境作为客户端，而ML−Agents软件扮演服务器角色，二者通过套接字进行双向通信，如图15所示。

图  15  强化学习算法与ML-Agents软件交互

Figure  15.  Interaction between reinforcement learning algorithm and ML-Agnets software

下载: 全尺寸图片 幻灯片

在Unity3D中将全面且准确的动态地图与装备模型一同融入数字孪生环境，实现生产过程中所有元素的数字孪生化。通过数字孪生环境，对采煤机进行强化学习运动规划，从而为实际生产提供更有效的指导。关键是利用虚拟现实引擎Unity3D构建强化学习环境，其中包括数字孪生的采煤机、刮板输送机和液压支架在三维煤层模型上的集成，总体研究框架如图16所示。

图  16  强化学习环境构建原理

Figure  16.  Construction principle of reinforcement learning environment

下载: 全尺寸图片 幻灯片

在Unity3D环境中，为实现模型受到重力的作用，对模型加入Rigidbody组件及正确配置其属性，如图17所示。数字孪生采煤机、刮板输送机和液压支架在重力作用下下落，并在接触到虚拟复杂煤层底板后自适应地贴合上去。

图  17  物理引擎作用原理

Figure  17.  Principlel of physical engine function

下载: 全尺寸图片 幻灯片

将面模型转换为体模型后，可以对生成的数据进行排序并存入数据库，如图18所示。当采煤机运行至特定位置时，可通过脚本提取这些数据，并实现对智采工作面煤层顶板轮廓位置的精确提取。

图  18  三维煤层体模型

Figure  18.  The 3D coal seam model

下载: 全尺寸图片 幻灯片

以采煤机的位置为索引，提取煤岩的属性信息，并根据已建立的载荷模型，计算滚筒在行进方向上的截割阻力和滚筒扭矩。定义ShearerScript类，通过AddForce和AddTorque方法，分别将力和扭矩施加到滚筒对象上，从而精确模拟采煤机的截割运动，相关代码见表1。

表  1  截割阻力扭矩添加代码示例

Table  1.  Example of adding code to cutting resistance torque

public class ShearerScript : MonoBehaviour
{ public Rigidbody Shearer;
public float forceX; // X轴力的大小
public float forceY; // Y轴力的大小
public float forceZ; // Z轴力的大小
public Vector3 torque; // 扭矩向量
void Start（）{ Shearer= GetComponent<Rigidbody>（）; }
void ApplyTorque（）{ Shearer.AddTorque（torque）;}
void FixedUpdate（）{
Vector3 forceOnX = transform.right * forceX;
Vector3 forceOnY = transform.up * forceY;
Vector3 forceOnZ = transform.forward * forceZ;
Shearer.AddForce（forceOnX + forceOnY+ forceOnZ）;
ApplyTorque（）;}}

下载: 导出CSV 

| 显示表格

3.4.4   强化学习运动规划

在构建的数字孪生环境中，将深度Q网络−归一化优势函数（Deep Q-Network with Normalized Advantage Functions，DQN−NAF）与深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）算法应用于采煤机运动规划任务。在采煤机导航截割数字孪生深度强化学习运动规划任务中，强化学习智能体控制数字孪生采煤机沿刮板输送机运动到达目标区域。采煤机的牵引截割任务如图19所示。

图  19  采煤机的牵引截割任务

Figure  19.  Traction cutting task of shearer

下载: 全尺寸图片 幻灯片

实际煤矿工作环境下，采煤机自身姿态随煤层底板起伏而发生变化，需要调节左右截割部油缸使前后滚筒边沿到达顶底板目标位置的一定范围内。采煤机截割滚筒顶底板跟踪任务环境如图20所示。

图  20  采煤机截割滚筒顶底板跟踪任务

Figure  20.  Roof and floor tracking task of shearer cutting drum

下载: 全尺寸图片 幻灯片

训练环境配置如下：处理器为13代Intel® Core™ i7−13700KF，主频为3.40 GHz，配备NVIDIA GeForce RTX 3090独立显卡。通过Anaconda3创建Python环境，并安装ML−Agents软件包。使用TensorBoard 2.11.2进行可视化。构建四场景加速模型训练，如图21所示，训练结果如图22所示。可看出采用DQN−NAF和DDPG 2种深度强化学习算法对采煤机进行训练后均取得了较好的效果。当训练迭代步数超过120×10³后，2种算法对于运动规划任务都达到收敛。

图  21  ML−Agents四场景加速训练

Figure  21.  ML-Agents four-scene parallel accelerated training

下载: 全尺寸图片 幻灯片

图  22  DQN−NAF和DDPG算法的平均收益

Figure  22.  Average reward of DQN-NAF and DDPG algorithms

下载: 全尺寸图片 幻灯片

DQN−NAF和DDPG的累计奖励、价值函数更新的平均损失及策略损失函数的平均幅度曲线如图23所示。累计奖励是指智能体在一段时间内获得的总奖励，用于衡量智能体在特定任务中的表现。价值函数更新的平均损失是评估学习算法在更新价值函数时预测准确性的指标，此损失基于价值预测与实际获得的回报之间的差异进行计算，用于调整算法以更准确地预测未来回报。策略损失函数用于优化智能体的行为或决策规则，其平均幅度表示在更新策略时损失函数的平均变化量。从图23可看出DQN−NAF在累计奖励上较DDPG表现更优，这表明其在任务完成中的效率更高；DQN−NAF的平均损失低于DDPG，表明其预测准确性更高；DDPG算法在训练过程中显示出较大的波动性，表现出一定的不稳定性，并需要多次迭代才能收敛至较好的结果。说明在采煤机运动规划任务中，DQN−NAF算法性能更优。

图  23  DQN−NAF和DDPG算法性能对比

Figure  23.  Performance comparison of DQN-NAF and DDPG algorithms

下载: 全尺寸图片 幻灯片

4.   结论

1） 为提高采煤工作面的智能化水平，深入探讨了采煤机数字孪生导航截割运动规划的理论与方法，提出了一套完整的数字孪生理论和系统构建方法。① 数字孪生理论研究。涉及智采工作面的物理场景、数字孪生模型的构建理论及数字孪生驱动交互与系统演化机制。② 数字孪生导航截割运动规划系统构建。基于数字孪生理论，建立了采煤机数字孪生导航截割运动规划系统。该系统集成了物理感知层、综合数据层和数模融合分析层，实现了采煤机截割状态的数字孪生、动态导航地图的数字孪生及基于数字孪生的强化学习环境构建和运动规划。③ 深度强化学习算法的应用。利用ML−Agents构建了数字孪生环境，该环境集成了动态导航地图和数字孪生采煤机、刮板输送机和液压支架，并利用物理引擎实现了采煤机截割状态的数字孪生。

2） 比较了DQN−NAF和DDPG 2种深度强化学习算法在采煤机运动规划任务中的应用效果。研究结果显示，DQN−NAF算法在处理数字孪生运动规划任务时展现了更佳的效果和稳定性。