Intelligent coal mine data warehouse modeling method
-
摘要: 煤矿海量数据存在“数据孤岛”、关联性弱、因缺乏数据管理体系而导致数据质量差等问题，难以充分利用，无法为煤矿智能化提供分析决策支撑。数据仓库可满足煤矿多源异构数据集成需求，为煤矿智能化应用提供数据基础。通过分析煤矿数据类型、特点及实际数据智能化应用需求，研究了智能化煤矿数据仓库建模方法。首先，构建了智能化煤矿数据仓库分层架构，分析了原始数据层、明细数据层、基础指标层、服务数据层、公共维度层数据模型特点；其次，以综采工作面数据为例，从业务数据分析、应用需求分析、分层架构设计等方面阐述了数据仓库建模过程；再次，介绍了煤矿数据仓库中数据模型构建方法，即通过维度对齐、维度关联、维度化指标聚合等将原始数据转换为数据仓库维度模型，解决了不同维度的煤矿数据关联应用问题；最后，为解决煤矿数据仓库的可迁移性问题，提出了煤炭行业通用数据仓库+参数化ETL（抽取、转换、加载）方法的煤矿参数化数据仓库设计思路。在实验室环境下搭建了煤矿数据仓库平台，对山西天地王坡煤业有限公司综采工作面数据进行处理，并基于处理数据辅助机理模型分析、实现可视化管理驾驶舱，验证了智能化煤矿数据仓库的实用性；对比了原始数据模型与智能化煤矿数据仓库的性能指标，结果表明智能化煤矿数据仓库的数据组织度、模型复用度和迭代难易度均优于原始数据模型，且数据查询响应时间缩短50%以上。Abstract: The coal mine massive data has problems such as 'data island', weak correlation, poor data quality due to lack of data management system. It is difficult to make full use of the data and provide analysis and decision-making support for coal mine intelligence. The data warehouse can meet the requirements of multi-source heterogeneous data integration in coal mine, and provide data basis for intelligent application in coal mine. By analyzing the coal mine data types, characteristics and intelligent application requirements of actual data, the intelligent coal mine data warehouse modeling method is studied. Firstly, the layered architecture of intelligent coal mine data warehouse is constructed, and the characteristics of data model of original data layer, detailed data layer, basic index layer, service data layer and public dimension layer are analyzed. Secondly, taking the data of fully mechanized working face as an example, the modeling process of data warehouse is expounded from the aspects of business data analysis, application demand analysis and layered architecture design. Thirdly, the construction method of data model in coal mine data warehouse is introduced. The original data is transformed into data warehouse dimensional model through dimension alignment, dimension association and dimensional index aggregation. The method solves the application problem of coal mine data association in different dimensions. Finally, in order to solve the problem of portability of coal mine data warehouse, the design idea of coal mine parametric data warehouse based on general data warehouse in coal mine industry + parametric ETL (extraction-transformation-load) method is proposed. The platform of coal mine data warehouse in the laboratory environment is set up to process the data of fully mechanized working face of Shanxi Tiandi Wangpo Coal Industry Co., Ltd. The auxiliary mechanism model analysis and visual management cockpit are realized based on the processing data, which verifies the practicability of intelligent coal mine data warehouse. The performance indexes of the original data model and the intelligent coal mine data warehouse are compared. The results show that the data organization, model reuse and iteration difficulty of the intelligent coal mine data warehouse are better than those of the original data model, and the data query response time is shortened by more than 50%.
-
0. 引言
随着大数据、人工智能、物联网等技术的高速发展，煤矿智能化建设进程得到极大推动，煤矿生产模式发生极大转变[1]。在该过程中，煤炭行业数据量呈现爆炸式增长，而传统的煤矿数据处理方式中，煤矿主数据﹑实时监测监控类数据﹑管理业务类数据及决策分析数据各自离散存储，数据集成、业务应用及数据分析难度大，无法有效满足煤矿企业在自动化、信息化业务层面的应用需求，更无法满足智慧化决策分析需求[2]，具体体现在以下3个方面。
（1） “数据孤岛”现象。当前数据共享和交换大多仍采用人工方式，缺乏数据处理系统之间的业务协同，时效性差，且数据仍以分散和弱关联方式存在，系统效率低，无法满足智慧矿山建设需求[3]。
（2） 数据关联性弱。井下局部系统虽然实现了运行数据的采集、分析、展示功能，但没有进行相互关联，难以挖掘开采过程的动态演进规律，无法实现大数据应用[4]。
（3） 缺乏数据管理体系，数据质量差。煤矿内部系统众多，各类数据间没有统一标准[5]，缺乏数据管控体系等，导致煤矿大数据质量较差[6]。
上述问题本质上是由煤矿缺乏统一数据管理造成的。如何将煤矿大数据有效组织起来，打破底层子系统数据与上层智能化应用之间的屏障，成为亟待解决的问题[7]。对此，许多学者提出了建设智能化煤矿数据仓库的思路。王国法等[4]提出智能化煤矿大数据构建涵盖全矿安全监管、生产、运销、综合服务等业务的大数据仓库，挖掘数据价值，使各类信息通过各种手段及时推送到矿端各级决策层中去辅助决策，以解决数据滞后、多种类型数据难以统一等问题。杜毅博等[8]提出建设智能化煤矿大数据仓库和数据服务化，根据业务对煤矿大数据集进行结构划分，形成煤矿数据主题域。吴群英等[9]提出利用数据仓库可实现煤矿大数据的数据挖掘。
上述研究均指出了智能化煤矿建设数据仓库的重要性，但没有详细阐述具体建设方法。鉴此，本文针对智能化煤矿数据仓库建模方法展开研究，以综采工作面为例展示了建模过程及应用效果。
1. 数据仓库及其建模
1.1 数据仓库
数据仓库可定义为支持管理决策过程的、面向主题的、集成的、随时间变化的持久的数据集合[10]，其核心是对数据进行组织、划分，构建面向分析的集成化数据环境，提供统一的数据标准。数据仓库的核心过程是将累积的大量数据资料进行汇聚与融合，建立规范化统一的数据环境，支撑各种类型数据分析与展示。其运转流程如图1所示。
业务系统在满足业务功能需求的同时产生大量业务过程数据，将各类业务过程数据进行统一汇集，形成数据仓库中的原始数据。多数据源的集合解决了“数据孤岛”难题。
ETL(Extraction−Transformation−Load，抽取、转换、加载)是数据仓库的数据加工技术。数据仓库的原始数据标准不统一、数据质量差，可通过ETL进行数据内容清洗、数据结构统一、数据关联融合，形成数据仓库模型[11]。
1.2 数据仓库建模
数据仓库建设首先要选择合适的分层架构对数据进行组织划分。按照层级划分数据的方式具有以下优点：① 明确数据定位。每个数据分层都有明确的作用域和职责，使用模型时更容易理解数据的作用。② 避免重复建设。规范的数据分层为金字塔结构，数据自底向上逐步汇聚，避免“烟囱式”建设方式的低效性。③ 统一数据口径。通过分层可实现计算逻辑的高内聚、低耦合，相同类型数据口径在特定层级内实现，统一数据出口，避免多次计算造成口径差异。
目前常用的数据仓库建模方法包括范式建模、维度建模、DataVault建模及Anchor建模[12-13]。范式建模用实体和关系对整体业务架构进行抽象，适用于较成熟的业务场景，对建模能力要求较高。维度建模从分析主题的角度出发，通过指标刻画分析主题并进行维度扩展，对原始数据做大量预处理并转换为星型结构，迭代快速，适用于灵活多变的业务场景。DataVault建模和Anchor建模在范式建模基础上扩展了对数据变更场景的支持，适用于对数据强约束的场景。
当前煤矿智能化建设仍处于初级阶段。为满足未来高速发展、快速迭代的建设需求，本文基于维度建模思想，针对煤矿数据特点，研究智能化煤矿数据仓库建模方法。维度建模流程主要包括主题选择、粒度选择、维度选择、事实选择、模型选择[14]。结合对分析需求调研与数据业务过程的理解，明确模型所属主题是维度建模的第1步。确定主题后需要进一步确定模型的粒度，原子粒度能够表达最细节的业务明细，但不适合直接用于分析，需根据应用场景进行粒度选择。维度用于分析所需的角度，模型添加更多的维度能扩展更加丰富的分析方式。事实即统计指标，事实选择需要确定将哪些事实放到事实表中，事实必须与粒度吻合，因此在选择事实时可能会对粒度和维度进行调整。维度模型包括星型模型、雪花模型、星座模型。其中最常用的是星型模型，其数据结构是1张事实表为中心，维度表分布在事实表周围，从不同的维度描述数据情况[15]，形成一个有别于实体关系图的数据结构，如图2所示。星型模型适用于以分析查询为主的应用场景。雪花模型、星座模型适用于维度之间关联复杂的场景。
2. 智能化煤矿数据仓库建模
煤矿数据主要包括由综合自动化、井下监测、生产管理、安全管理、地测、经营管理等业务系统采集及人工录入台账的数据。智能化煤矿数据仓库建模时需要综合考虑煤矿数据的领域特点与煤矿智能化应用分析需要，先设计整体架构，再研究建模方法。
2.1 数据仓库整体架构
为了保证煤矿数据的有序流转，满足智能化应用对数据的需求，智能化煤矿数据仓库整体采用分层架构，如图3所示。
![]()
图 3 智能化煤矿数据仓库分层架构Figure 3. Layered architecture of intelligent coal mine data warehouse原始数据层存放从煤矿各业务系统汇集的原始数据。该层数据模型保持与源业务系统结构和内容上的一致性，记录数据变化，为上层数据计算提供充分的扩展性。
明细数据层存放经过标准化处理的结构、类型、命名统一的规范化数据。在进行标准化处理时需使用业务字典、配置说明及点表映射等信息对原始数据进行转换，数据质量方面需要解决数据内容中的异常值、缺失值、无效值等问题。
基础指标层是整个分层架构中最重要的一层，在明细数据层提供高质量标准数据的基础上，通过实现具体机理逻辑、统计逻辑及算法逻辑，构建基础指标体系。该层数据模型主要沉淀基础指标结果，保证指标口径的一致性。
服务数据层面向煤矿智能化分析应用提供定制化的数据模型，在基础指标层基础上计算衍生指标，实现跨主题指标关联拼接，提供多维度、多指标的综合型分析模型。
公共维度层主要由维度数据模型构成，为各个层级数据模型计算提供统一的维度信息，同时为煤矿智能化分析应用提供用于维度扩展的属性信息。
2.2 数据仓库建模过程
煤矿子系统众多，各子系统包含的数据具有很高的相似性，如各类设备的控制信号、运行状态及监控数据，不同区域环境感知数据，不同业务系统人工操作、手工填报数据等。
综采工作面作为煤矿生产的关键环节，生产过程复杂，设备数量庞大，动作繁多[16]，其数据具有煤矿生产数据的典型特点。限于篇幅，本文以综采工作面为例对智能化煤矿数据仓库建模方法进行论述，展示实际数据仓库建模过程。
2.2.1 业务数据分析
综采工作面是指综合机械化采煤工作面，其核心设备主要包括采煤机、液压支架、运输“三机”（刮板输送机、转载机、带式输送机）、泵站等，按照数据来源进行数据分类整理，结果见表1。
表 1 综采工作面核心数据分类Table 1. Classification of kernel data of fully mechanized working face数据来源 数据描述内容 采煤机 采煤机位置、机身俯仰角及倾斜角、左右牵引速度、左右滚筒高度、温度、电流等 刮板输送机 电流、电压、闭锁状态、转速、启停、故障信息等 转载机 电流、电压、闭锁状态、转矩、转速、启停、故障信息等 破碎机 电流、电压、闭锁状态、速度、启停、故障信息等 带式输送机 电流、电压、温度、转速等 液压支架 压力、行程、跟机动作、人工操作信息等 泵站 乳化液泵、喷雾泵的电流、电压、温度、转速等 按照数据来源进行组织会忽略同类数据间的关联性，造成数据和业务概念间的割裂，因此本文采用业务过程、业务事实、数据域的3级结构重新对数据进行组织划分。业务过程是指煤矿业务的基本活动事件；业务事实是指具体某一业务事件下的度量，是业务定义中不可拆分的指标，具有明确的业务含义；数据域是对同类型业务过程的抽象。以综采工作面开采过程为例，其数据组织如图4所示。
综采工作面生产流程包括破煤、装煤、运煤、支护、采空区处理、回采巷道运输等，将其中与生产相关的过程归属到生产域，在业务过程内对各自的业务事实（如破煤过程中的采煤机位置、方向、倾角、滚筒高度等）进行管理。按照业务过程划分数据能够指导数据模型的构建。
2.2.2 应用需求分析
通过实地调研国能宁夏煤业有限责任公司、国能神东煤炭集团有限责任公司等大型煤炭生产企业，对综采工作面典型的智能化应用分析需求进行了梳理，将需求划分为设备、生产、安全、自动化4个分析主题，如图5所示。
![]()
图 5 综采工作面智能化应用分析主题Figure 5. Intelligent application analysis subjects of fully mechanized working face设备主题主要包括功效分析、停机分析、状态分析、能耗分析；生产主题主要包括工作面推进分析、液压支架支护分析、割煤过程分析；安全主题主要包括液压支架压力分析、端头端尾推进分析、液压支架移架阶段分析；自动化主题主要包括循环割煤自动化分析、泵站自动化分析、跟机自动化分析。
2.2.3 分层架构设计
基于对业务数据与应用需求的分析，按照分层架构对综采工作面数据仓库进行设计，如图6所示。
![]()
图 6 综采工作面数据仓库分层架构Figure 6. Layered architecture of data warehouse of fully mechanized working face原始数据层按照数据采集单元划分为液压支架传感数据、采煤机机身传感数据、运输“三机”传感数据等。该层数据模型记录所有类型的历史采集数据，最大程度地保留数据原始特征。
明细数据层和基础指标层数据模型按照数据域进行组织，划分为生产域和设备域。生产域包括割煤、装煤、运维、支护等生产过程的明细事实及基础指标；设备域包括与设备运行状态和参数相关的基础指标。明细数据层数据模型按照基础事实信息构建，主要包括滚筒电流模型、牵引温度模型、胶带转速模型等。在此基础上，基础指标层按照指标计算逻辑构建设备电流指标模型、设备温度指标模型、采煤机循环割煤指标模型等。
服务数据层按分析主题进行组织，对主题下相关指标进行整合，构建主题分析模型，如设备分析主题下的功效分析模型、停机分析模型等，安全分析主题下的矿压分析模型、移架分析模型等。
公共维度层包括基础属性模型，如设备信息维度模型、液压支架属性维度模型，还包括基于机理模型阶段划分模型，如割煤阶段维度模型、液压支架动作阶段维度模型等。
2.3 数据模型构建方法
煤矿原始数据多为时序类型数据，包含名称、时间、数据值等信息（不同数据类型通过名称区分）。该类型数据缺少关联性，难以直接用于分析决策。将原始数据转换为数据仓库维度模型需要经过维度对齐、维度关联、维度化指标聚合等过程。通过多维度的联系将不同类型数据进行关联，解决数据间关联性的问题。
2.3.1 维度对齐
由于不同设备、监控系统采集数据时的频率、延时存在差异，所以原始数据无法在时间维度直接关联。经过对底层采集方式调研，目前测点采样多采用“惰性上报”方式，即当采样值变化超过特定范围才上报一次数据，因此采用右邻插值方法进行冗余数据填充，如图7所示。
测点1在时间轴上有2个采样值ut1和ut2，测点2在时间轴上有2个采样值vt3和vt4。为测点1补充t3时刻采样值u't3=ut2，为测点2补充t1时刻采样值v't1=vt3，按时间轴进行迭代，即可实现测点1与测点2的采样值对齐。
2.3.2 维度关联
在实际井下环境中，环境传感器或监控系统采样点存在丰富的维度信息，如所属区域、系统、设备、过程、环境等。但受限于采集设备及采样方式，采集上报的数据仅包含采样值，因此在建立数据模型时必须对维度信息进行关联扩展，如图8所示。
主要采用2种方法进行维度关联：① 配置型维度关联。矿井各系统存在大量相对静态的配置型维度信息，如矿井区域划分、设备属性、所属业务系统等。配置型维度模型数据量小、定制化强，可通过手工方式建立并维护测点与维度信息属性之间的映射关系，借助映射关系直接实现配置型维度信息的关联扩展。② 计算型维度关联。基于原始采样数据，经过不同计算型维度（如割煤阶段、液压支架移动阶段、环境安全等级等）的关联实现计算型维度模型构建。计算型维度数据变化频繁、数据量大，无法通过手工建立映射关系的方式与测点进行关联，因此采用拉链化方法，将原始维度模型时间点分布转换为时间区间分布，再通过计算采样时间的包含关系，实现计算型维度关联。
2.3.3 维度化指标聚合
通过维度扩展可将离散的测点时序数据模型转换为多维度的指标数据模型。但在某些综合分析场景中，需要将不同分析主题、数据模型指标进行关联分析。为了同时满足单主题分析与跨主题的综合分析需求，基于多个分析主题数据模型进行维度交叉关联，生成多维度多指标的多维数据立方体，满足不同维度切片下的分析需求。
2.4 数据仓库迁移
不同煤矿的井下开采情况、运行环境、设备型号等存在较大差异，在实际调研和部署过程中发现存在以下问题。
（1） 不同煤矿基于各自数据仓库计算出的数据模型指标不一致，导致无法跨矿井进行数据比较分析，且数据模型难以在不同煤矿复用。
（2） 算法训练需要大量样本数据，不同矿井由于数据不一致，导致无法使用同一算法。
（3） 数据仓库建设是一个持续迭代的过程，会不断沉淀业务指标计算逻辑及口径，不同煤矿之间的经验积累难以借鉴和利用。
为了解决上述问题，提出建设煤矿参数化数据仓库思想（图9），对数据仓库架构进行优化，以解决数据仓库迁移问题。
参数化数据仓库包括煤炭行业通用数据仓库和参数化ETL方法2个部分。煤炭行业通用数据仓库从行业角度进行抽象设计。虽然不同矿井地质条件、开采环境、规模存在较大差异，但是行业内开采方法、工艺，采用的设备、系统，开采过程都具有相似性，为建立煤炭行业通用数据仓库提供了基础；参数化ETL方法是指在构建数据处理逻辑时采用参数化方法，将不同矿井间的差异化因素抽象为矿井系统参数配置单独进行维护管理，可通过修改配置信息实现不同矿井的异构数据源统一接入。
3. 煤矿数据仓库应用
3.1 数据仓库平台构建
在实验室环境下搭建5台服务器集群（CPU32核，内存128 GB，数据盘4 TB），在集群上安装分布式文件存储系统（Hadoop 2.6.0−cdh5.13.0），安装分布式数据仓库系统Hive 1.3.0 (基于Hadoop的数据仓库工具[17])作为数据模型的承载系统，从而构建煤矿数据仓库平台，其核心架构如图10所示。首先从各类数据系统中接入数据到原始数据层；然后将Hive作为数据库进行数据存储，同时使用其ETL功能进行数据仓库各层次结构的抽取、转换、加载，在服务数据层之上接入应用层数据库，如MySQL等；最后可接入常见的数据可视化应用，如商业报表工具或智慧大屏幕。
煤矿数据仓库平台数据来源于山西天地王坡煤业有限公司（以下称王坡煤矿）综采工作面。数据通过液压支架电液控系统进行采集，数据采集时间为2019年12月至2020年5月，数据存储于MySQL数据库，从中抽取部分数据，见表2。
表 2 综采工作面采煤机位置数据Table 2. Location data of shearer in fully mechanized working face数据类别 标签 时间 数据值 数据状态 采煤机 位置架 2019−12−06T17:12:42.819 13 Good 采煤机 位置架 2019−12−06T17:13:20.439 14 Good 采煤机 位置架 2019−12−06T17:13:46.658 15 Good 采煤机 位置架 2019−12−06T17:14:07.437 16 Good 采煤机 位置架 2019−12−06T17:14:39.942 17 Good 原始数据每个数据类别下包含具体的测点信息，每个测点通过标签字段进行唯一标志，每个测点的采样值按时间序列组织，如数据类别、时间、标签、数据值、数据状态等。
3.2 实际应用
3.2.1 辅助机理模型分析
以采煤机采煤过程中液压支架压力变化分析需求的实际场景为例，采煤机在综采工作面每割一刀煤，液压支架会进行降柱、移架、升柱、推溜4个动作，以割煤周期对液压支架压力变化趋势进行分析。通过原始的采煤机位置序列数据无法直接获得割煤循环周期信息。由于采用两端斜切进刀割三角煤工艺，所以通过割煤机理模型算法与采煤机位置明细数据生成工作面割煤阶段维表，其数据结构见表3，其中方向1，2分别为上行、下行。
表 3 割煤阶段维表数据结构Table 3. Dimension table data structure of coal cutting stage割煤
刀号方向 开始
架号开始时间 结束
架号结束时间 110 1 6 2020−04−28T05:40:41 200 2020−04−28T16:06:08 111 2 200 2020−04−28T16:06:08 6 2020−04−28T19:32:38 112 1 6 2020−04−28T19:32:38 200 2020−04−28T22:29:13 113 2 200 2020−04−28T22:29:13 7 2020−04−29T02:02:37 通过将割煤阶段维表与液压支架压力明细数据进行关联，即可得到每个液压支架压力值对应的割煤阶段信息，再结合液压支架高度、刮板输送机行程明细数据，实现液压支架移架机理模型算法，生成液压支架循环动作阶段维表，表结构及样例数据见表4，其中动作阶段1，2，3分别为降柱、移架、升柱。
表 4 液压支架循环动作阶段维表数据结构Table 4. Dimension table data structure of cyclic hydraulic support action割煤刀号 架号 动作阶段 开始时间 结束时间 140 70 1 2020−05−05T01:08:18 2020−05−05T01:08:23 140 70 2 2020−05−05T01:08:23 2020−05−05T01:08:28 140 70 3 2020−05−05T01:08:23 2020−05−05T01:13:09 将带有割煤阶段信息的液压支架压力数据与液压支架循环动作阶段维度数据关联，可得出液压支架压力随割煤刀号的变化规律，如图11所示。
![]()
图 11 液压支架压力随割煤变化规律Figure 11. Changes law of hydraulic support pressure with coal cutting从图11可判断液压支架升降情况，以割第139刀煤为例，该过程中液压支架压力最大值点对应降柱开始时间点，压力最小值点对应降柱结束、升柱开始时间点，压力从最小值增大直至平稳的拐点对应升柱结束时间点。
从图11可看出每次液压支架动作过程中压力变化特点。利用不同维度数据之间的关联，可建立一种关于割煤刀号和液压支架压力变化的离散矿压预测模型。
3.2.2 煤矿可视化应用
设计的智能化煤矿数据仓库已成功应用于王坡煤矿管理驾驶舱，如图12所示。通过对数据仓库进行可视化分析，可清晰地得出煤矿生产、运营、安全监控等指标，实现煤矿大数据的互联互通和充分应用，实现指标分析及决策场景落地。面向角色的管理驾驶舱可展示煤矿领导及生产、机电、调度中心、安监、通风、信息中心等部门领导最关心的生产、经营、安全类综合性指标130个。
3.3 应用效果对比
将从业务系统中采集的未经处理数据标记为原始数据模型，与本文设计的智能化煤矿数据仓库进行定性和定量对比。从定性角度主要比较数据组织度、模型复用度和迭代难易度，见表5。可看出通过智能化煤矿数据仓库组织数据，能够全面提高数据使用效率。
表 5 原始数据模型与煤矿数据仓库的定性对比Table 5. Qualitative comparison between primary data model and coal mine data warehouse指标 原始数据模型 煤矿数据仓库 数据
组织度按照数据来源组织，与
业务过程缺乏关联性按照数据域、业务过程、业务事实进行
组织，便于从业务角度理解数据模型
复用度统计分析过程基于原始
数据，逻辑实现复杂，无
法重复使用提供多层级数据模型，统计分析过程基
于服务数据层查询，新增数据可不断沉
淀到基础指标层，实现模型复用迭代
难易度数据模型随业务系统变
更，按照业务分析需要
迭代根据需求类型支持不同层级迭代，数据
源变化可迭代明细数据层，指标变化可
迭代基础指标层从定量角度选取综采工作面典型的10个分析指标对数据查询响应时间进行对比，结果见表6。基于原始数据模型的查询直接在原始数据上进行，基于智能化煤矿数据仓库的查询选择在基础指标层进行（基础指标层数据模型实现了完整的指标体系，是数据仓库的核心）。
表 6 原始数据模型与煤矿数据仓库的定量对比Table 6. Quantitative comparison between primary data model and coal mine data warehouse数据计算指标 查询响应时间/min 原始数据模型 煤矿数据仓库 设备能耗（粒度：1 h，跨度：48 h） 5~10 ＜1 设备能耗（粒度：1 d，跨度：30 d） ＞10 1~3 设备运行时长（粒度：1 d，跨度30 d） 5~10 1~3 数据上传量（粒度：1 h，跨度：48 h） 5~10 ＜1 工作面开机率（粒度：1 d，跨度：30 d） 5~10 1~3 工作面割煤量（粒度：1 d，跨度：7 d） ＞10 1~3 工作面推进度（粒度：1 d，跨度：7 d） ＞10 1~3 矿压分布（粒度：1 s，跨度：1 d） ＞10 3~5 液压支架支护时长（粒度：架号+1 s，
跨度：48 h）＞10 1~3 采煤机循环时长（粒度：割煤刀号+1 s，
跨度：48 h）＞10 1~3 从表6可看出，本文数据仓库在多个指标查询过程中均优于原始数据模型，查询时间均缩减50%以上，原因在于基于原始数据模型的查询要实现数据清洗、预处理、关联、指标统计等逻辑，而数据仓库在基础指标层已完成基础指标预计算，只需进行轻度的聚合计算即可。
4. 结论
（1） 阐述了智能化煤矿建设过程中数据仓库模型设计方法，以综采工作面为例介绍了煤矿数据仓库建模过程。
（2） 针对煤矿数据仓库的可迁移性问题，提出了煤矿参数化数据仓库设计方法，可满足不同类型的煤矿数据仓库建设需求，降低重复建设成本。
（3） 利用数据仓库收集不同业务系统的数据并进行统一组织、划分、利用，解决了“数据孤岛”问题。在煤矿数据仓库建模过程中，通过不同维度信息的关联，将不同类型数据融合分析，解决了不同粒度的煤矿数据关联应用问题。在对数据进行提取、转换过程中采用统一标准，提高了煤矿数据质量。
（4） 对智能化煤矿数据仓库进行了现场应用，在对多个数据指标分析计算过程中均取得了明显效果，验证了该数据仓库的实用性。
-
![]()
图 3 智能化煤矿数据仓库分层架构
Figure 3. Layered architecture of intelligent coal mine data warehouse
![]()
图 5 综采工作面智能化应用分析主题
Figure 5. Intelligent application analysis subjects of fully mechanized working face
![]()
图 6 综采工作面数据仓库分层架构
Figure 6. Layered architecture of data warehouse of fully mechanized working face
![]()
图 11 液压支架压力随割煤变化规律
Figure 11. Changes law of hydraulic support pressure with coal cutting
表 1 综采工作面核心数据分类
Table 1 Classification of kernel data of fully mechanized working face
数据来源 数据描述内容 采煤机 采煤机位置、机身俯仰角及倾斜角、左右牵引速度、左右滚筒高度、温度、电流等 刮板输送机 电流、电压、闭锁状态、转速、启停、故障信息等 转载机 电流、电压、闭锁状态、转矩、转速、启停、故障信息等 破碎机 电流、电压、闭锁状态、速度、启停、故障信息等 带式输送机 电流、电压、温度、转速等 液压支架 压力、行程、跟机动作、人工操作信息等 泵站 乳化液泵、喷雾泵的电流、电压、温度、转速等 
下载: 导出CSV
表 2 综采工作面采煤机位置数据
Table 2 Location data of shearer in fully mechanized working face
数据类别 标签 时间 数据值 数据状态 采煤机 位置架 2019−12−06T17:12:42.819 13 Good 采煤机 位置架 2019−12−06T17:13:20.439 14 Good 采煤机 位置架 2019−12−06T17:13:46.658 15 Good 采煤机 位置架 2019−12−06T17:14:07.437 16 Good 采煤机 位置架 2019−12−06T17:14:39.942 17 Good
下载: 导出CSV
表 3 割煤阶段维表数据结构
Table 3 Dimension table data structure of coal cutting stage
割煤
刀号方向 开始
架号开始时间 结束
架号结束时间 110 1 6 2020−04−28T05:40:41 200 2020−04−28T16:06:08 111 2 200 2020−04−28T16:06:08 6 2020−04−28T19:32:38 112 1 6 2020−04−28T19:32:38 200 2020−04−28T22:29:13 113 2 200 2020−04−28T22:29:13 7 2020−04−29T02:02:37
下载: 导出CSV
表 4 液压支架循环动作阶段维表数据结构
Table 4 Dimension table data structure of cyclic hydraulic support action
割煤刀号 架号 动作阶段 开始时间 结束时间 140 70 1 2020−05−05T01:08:18 2020−05−05T01:08:23 140 70 2 2020−05−05T01:08:23 2020−05−05T01:08:28 140 70 3 2020−05−05T01:08:23 2020−05−05T01:13:09
下载: 导出CSV
表 5 原始数据模型与煤矿数据仓库的定性对比
Table 5 Qualitative comparison between primary data model and coal mine data warehouse
指标 原始数据模型 煤矿数据仓库 数据
组织度按照数据来源组织，与
业务过程缺乏关联性按照数据域、业务过程、业务事实进行
组织，便于从业务角度理解数据模型
复用度统计分析过程基于原始
数据，逻辑实现复杂，无
法重复使用提供多层级数据模型，统计分析过程基
于服务数据层查询，新增数据可不断沉
淀到基础指标层，实现模型复用迭代
难易度数据模型随业务系统变
更，按照业务分析需要
迭代根据需求类型支持不同层级迭代，数据
源变化可迭代明细数据层，指标变化可
迭代基础指标层
下载: 导出CSV
表 6 原始数据模型与煤矿数据仓库的定量对比
Table 6 Quantitative comparison between primary data model and coal mine data warehouse
数据计算指标 查询响应时间/min 原始数据模型 煤矿数据仓库 设备能耗（粒度：1 h，跨度：48 h） 5~10 ＜1 设备能耗（粒度：1 d，跨度：30 d） ＞10 1~3 设备运行时长（粒度：1 d，跨度30 d） 5~10 1~3 数据上传量（粒度：1 h，跨度：48 h） 5~10 ＜1 工作面开机率（粒度：1 d，跨度：30 d） 5~10 1~3 工作面割煤量（粒度：1 d，跨度：7 d） ＞10 1~3 工作面推进度（粒度：1 d，跨度：7 d） ＞10 1~3 矿压分布（粒度：1 s，跨度：1 d） ＞10 3~5 液压支架支护时长（粒度：架号+1 s，
跨度：48 h）＞10 1~3 采煤机循环时长（粒度：割煤刀号+1 s，
跨度：48 h）＞10 1~3
下载: 导出CSV
-
[1] 王国法,王虹,任怀伟,等. 智慧煤矿2025情景目标和发展路径[J]. 煤炭学报,2018,43(2):295-305. WANG Guofa,WANG Hong,REN Huaiwei,et al. 2025 scenarios and development path of intelligent coal mine[J]. Journal of China Coal Society,2018,43(2):295-305.
[2] 韩安. 基于Hadoop的煤矿数据中心架构设计[J]. 工矿自动化,2019,45(8):60-64. HAN An. Architecture design of coal mine data center based on Hadoop[J]. Industry and Mine Automation,2019,45(8):60-64.
[3] 毛善君,杨乃时,高彦清,等. 煤矿分布式协同“一张图”系统的设计和关键技术[J]. 煤炭学报,2018,43(1):280-286. MAO Shanjun,YANG Naishi,GAO Yanqing,et al. Design and key technology research of coal mine distributed cooperative "one map" system[J]. Journal of China Coal Society,2018,43(1):280-286.
[4] 王国法,刘峰,孟祥军,等. 煤矿智能化(初级阶段)研究与实践[J]. 煤炭科学技术,2019,47(8):1-36. WANG Guofa,LIU Feng,MENG Xiangjun,et al. Research and practice on intelligent coal mine construction (primary stage)[J]. Coal Science and Technology,2019,47(8):1-36.
[5] 高士岗,高登彦,欧阳一博,等. 煤矿智能一体化辅助生产系统及关键技术[J]. 煤炭科学技术,2020,48(7):150-160. GAO Shigang,GAO Dengyan,OUYANG Yibo,et al. Mine intelligent integrated auxiliary production system and key technologies[J]. Coal Science and Technology,2020,48(7):150-160.
[6] 何敏. 智能煤矿数据治理框架与发展路径[J]. 工矿自动化,2020,46(11):23-27. HE Min. Framework and development path of data governance in intelligent coal mine[J]. Industry and Mine Automation,2020,46(11):23-27.
[7] 李首滨. 煤炭工业互联网及其关键技术[J]. 煤炭科学技术,2020,48(7):98-108. LI Shoubin. Coal industry Internet and its key technologies[J]. Coal Science and Technology,2020,48(7):98-108.
[8] 杜毅博,赵国瑞,巩师鑫. 智能化煤矿大数据平台架构及数据处理关键技术研究[J]. 煤炭科学技术,2020,48(7):177-185. DU Yibo,ZHAO Guorui,GONG Shixin. Study on big data platform architecture of intelligent coal mine and key technologies of data processing[J]. Coal Science and Technology,2020,48(7):177-185.
[9] 吴群英,蒋林,王国法,等. 智慧矿山顶层架构设计及其关键技术[J]. 煤炭科学技术,2020,48(7):80-91. WU Qunying,JIANG Lin,WANG Guofa,et al. Top-level architecture design and key technologies of smart mine[J]. Coal Science and Technology,2020,48(7):80-91.
[10] BOJICIC I, MARJANOVIC Z, TURAJLIC N, et al. A comparative analysis of data warehouse data models[C]//The 6th IEEE International Conference on Computers Communications and Control, Oradea, 2016: 151-159.
[11] 曾志浩,姚贝,张琼林,等. 基于Hadoop平台的用户行为挖掘[J]. 计算技术与自动化,2015,34(2):100-103. DOI: 10.3969/j.issn.1003-6199.2015.02.024 ZENG Zhihao,YAO Bei,ZHANG Qionglin,et al. User behavior mining based on Hadoop platform[J]. Computing Technology and Automation,2015,34(2):100-103. DOI: 10.3969/j.issn.1003-6199.2015.02.024
[12] 温国锋,陈立文. 煤矿安全管理数据仓库的建立与应用研究[J]. 中国矿业,2009,18(1):95-97. DOI: 10.3969/j.issn.1004-4051.2009.01.027 WEN Guofeng,CHEN Liwen. On building and applacation of coal mine security management data warehouse[J]. China Mining Magazine,2009,18(1):95-97. DOI: 10.3969/j.issn.1004-4051.2009.01.027
[13] INMON W H, LINSTEDT D, ELLIOT S. Data architecture, a primer for the data scientist: big data, data warehouse and data vault[M]. Amsterdam: Morgan Kaufmann, 2015.
[14] 赵随海. 铁路列车调度指挥系统数据仓库体系结构的研究[J]. 铁道运输与经济,2018,40(12):55-59. ZHAO Suihai. A study on the architecture of data warehouse for the railway train dispatching command system[J]. Railway Transport and Economy,2018,40(12):55-59.
[15] STAVRAKAS Y,GERGATSOULIS M,DOULKERIDIS C,et al. Representingand querying histories of semistructured databases using multidimensional OEM[J]. Information Systems,2003,29(6):461-482.
[16] 马宏伟,吴少杰,曹现刚,等. 煤矿综采设备运行状态大数据清洗建模[J]. 工矿自动化,2018,44(11):80-83. MA Hongwei,WU Shaojie,CAO Xiangang,et al. Big data cleaning modeling of operation status of coal mine fully-mechanized coal mining equipment[J]. Industry and Mine Automation,2018,44(11):80-83.
[17] 高金标,何利力,邹云阳. 基于分布式存储系统的Hive与Hbase的研究[J]. 工业控制计算机,2015,28(12):44-45. DOI: 10.3969/j.issn.1001-182X.2015.12.021 GAO Jinbiao,HE Lili,ZOU Yunyang. Hive and Hbase based on research on hadoop distributed file system[J]. Industrial Control Computer,2015,28(12):44-45. DOI: 10.3969/j.issn.1001-182X.2015.12.021
-
期刊类型引用(16)
1. 耿恒高，彭苏萍，王占刚，许娜，许献磊，杜文凤. 煤矿地学大数据智能湖仓系统建设与应用. 矿业科学学报. 2025(01): 1-13+163 . 
百度学术
2. 谭章禄，王美君，叶紫涵. 智能化煤矿数据治理方法论体系与实施框架. 煤炭科学技术. 2025(01): 284-295 . 百度学术
3. 王国法，张金虎，任怀伟，杜毅博，张德生，闫汝瑜，于翔. 煤炭高效开采数智技术与成套装备研究及应用. 煤炭学报. 2025(01): 43-64 . 百度学术
4. 王美君，谭章禄，李慧园，吕晗冰. 智能化煤矿数据治理能力评估与提升策略研究. 矿业科学学报. 2024(01): 106-115 . 百度学术
5. 于涛. 智能化煤矿数据治理技术研究与应用. 中国煤炭. 2024(11): 96-101 . 百度学术
6. 常映辉. 面向矿井机械的铂热电阻可扩展型测试系统设计. 煤矿机械. 2023(05): 11-14 . 百度学术
7. 谭章禄，王美君，叶紫涵. 智能化煤矿数据治理体系与关键问题研究. 工矿自动化. 2023(05): 22-29 . 本站查看
8. 方乾，张晓霞，王霖，石磊，王雅琨. 智能化煤矿大数据治理关键技术研究、实践与应用. 工矿自动化. 2023(05): 37-45+73 . 本站查看
9. 金佳，马杰. 煤矿智能化系统总体设计研究. 内蒙古煤炭经济. 2023(07): 63-65 . 百度学术
10. 仇巍巍，葛振华，吴琪，吴初国，郭振华，贾飞阳. 矿产资源开发利用统计数据仓库关键技术研究. 矿业研究与开发. 2023(08): 222-230 . 百度学术
11. 杨震涛. 基于免疫遗传算法的智能柔性仓库货位自动化分配方法. 计算技术与自动化. 2023(03): 90-95 . 百度学术
12. 徐建阳，支崇铮，王挺，潘俊. 新型建筑体系中智能化立库的关键技术. 中国建筑金属结构. 2023(09): 62-64 . 百度学术
13. 王洪阳. 煤矿物资仓储管理存在的问题及优化措施分析. 内蒙古煤炭经济. 2023(18): 76-78 . 百度学术
14. 王亦青. 基于LIMS的矿用产品检验检测数字化质控平台探讨. 煤矿机电. 2023(04): 54-59 . 百度学术
15. 李刚，乔登攀，张枝伟，肖铸. 煤矿多源异构数据传输及管控方法研究. 煤炭技术. 2023(12): 257-260 . 百度学术
16. 杨征，杨小勇，王宇，龚韩君，祝捷，侯刚，杨斐文，方乾. 区域安全评估模型在煤矿安全管理中的应用研究. 工矿自动化. 2023(12): 94-101+129 . 本站查看
其他类型引用(6)
计量
- 文章访问数: 721
- HTML全文浏览量: 223
- PDF下载量: 137
- 被引次数: 22
