图1 传统企业数据中心和业务系统处理平台架构
顾闯1，2，3
(1.煤炭科学技术研究院有限公司 装备分院, 北京 100013; 2.煤炭资源高效开采与洁净利用国家
重点实验室， 北京 100013; 3.北京市煤矿安全工程技术研究中心， 北京 100013)
摘要：分析了煤炭企业信息化建设的现状，提出了云计算技术在煤炭企业的应用思路：利用云计算技术从建新、利旧2个层面建设企业云数据中心平台，通过建设物理资源、软件虚拟资源、资源服务调度机制整合新、旧信息资源，实现数据层面的共享与交互、资源层面的相互传递与支撑，充分发挥和挖掘了企业海量数据中的价值。
关键词：数字矿山； 信息化； 云计算技术； 虚拟资源； 矿山物联网
现阶段“十三五”科学布局，国家从宏观角度出发提出充分发挥互联网技术在生产要素配置中的优化和集成作用，提升实体经济的创新力和生产力。国内煤炭企业经过近十年的信息系统建设，信息化成果对企业的生产、运营、销售、决策的影响效果明显。但随着煤炭企业信息化的不断深入，数据量在不断增大，原有的分散数据处理模式已无法满足应用要求，信息分析得不到资源支撑，数据共享受限于传统架构，信息化的发展程度也不足以支撑矿山物联网体系进一步完善。因此，向云计算模式转变已是趋势，煤炭企业应抓住时机，从覆盖面更广、集成度更深、智能化更高、可视化更优等方面进一步打造智慧化的矿山物联网体系[1]，借助云计算技术升级打造新型的煤炭企业信息化架构平台，进一步提升企业竞争力，挖掘企业信息数据价值。
煤炭企业在管理、生产、经营等环节进行了信息化系统部署，如ERP系统、井下监测监控系统、生产环网系统等，企业信息化与生产自动化的深度融合实现了生产效率大幅度的提高。但随着企业信息化建设的不断深入，各类传感器的投入使用、在线检测实时性的提高、企业管理系统更加精细化等因素使得产生的信息数据呈指数级增长，传统企业数据中心和业务系统处理平台架构(图1)在应对海量复杂的信息数据，实现不同类型数据的关联、数据分析、挖掘需求等方面还存在先天的不足之处[2]。
图1 传统企业数据中心和业务系统处理平台架构
(1) 无法完成企业运营过程的数据决策分析。企业运营决策需要对全信息系统的数据进行全量多维度的分析，通过不断改进分析机制，实现分析结果的高可用性。但传统企业数据中心软件系统数据处理的维度固化，网络、计算、存储等资源动态调整能力有限，并且不支持业务系统数据结构的横向关联，所以，无法完成多维度的数据分析。
(2) 无法实现企业运营情况的实时展现。实时展现需要通过数据梳理整合建立数据仓库，并将仓库内数据套入成本核算或生产计划等数学模型内，最终实现多系统数据的业务逻辑整合，形成实时运营分析报告。但传统数据中心软件数据都分散在不同的业务数据库、统计报告、日志记录内，数据特征分析多采用分时分散进行的方式，导致运营分析需要以月、季度，甚至以年为单位，无法体现时效性。
(3) 无法提供海量数据处理的动态IT资源。传统数据中心隔离式存储无法实现容量的动态调整。集中式的数据库只适合定向存取类操作，不适合多数据表之间的分析提取；传统业务逻辑对非结构化数据提取逻辑也很简单，无法完成海量数据处理对线性扩展和并发使用的需求。
云计算技术针对业务需求提供的便捷、动态的IT资源(包括网络设备、服务器、存储、数据库应用等)获得方式，可以很好地解决传统架构在数据处理中存在的数据隔离和资源固化等问题。
利用云计算技术建设企业云数据中心平台，并把现有的信息化建设成果与云计算技术完美结合，充分发挥和挖掘企业海量数据中的价值。
建设云数据中心平台架构可以从建新、利旧2个平面进行考虑，将新、旧信息资源进行整合，实现数据层面的共享与交互，资源层面的互相传递与支撑[3]。建新平面是以云计算技术为核心，从硬件资源架构、数据分析技术等方面进行重点建设；利旧平面是以现有的煤炭企业信息系统平台为IT资源和数据来源，继续支撑企业日常管理经营数据的处理与分析。
2.1 云计算技术资源池改造
云计算技术资源管理就是通过改变传统的“硬件定义”资源向云架构的“软件定义”资源过度的过程。“硬件定义”资源即企业现有的物理设备，包括服务器、存储、数据中心交换机、防火墙等。“软件定义”资源是通过建设基于云计算技术的端到端资源池架构(图2)，即物理资源层、虚拟资源层、资源服务与调度层，并实现3层资源相互支撑关联的结果[4]。
(1) 物理资源层分布在煤炭企业总部或分机构的数据机房。煤炭企业局域网或城域网的建设已经实现了多地数据中心不低于万兆链路的互联互通，实现了基础资源的信息可达。
图2 基于云计算技术的端到端资源池架构
(2) 虚拟资源层在云计算技术架构中处于最为关键与核心的位置，是建新平面的内容。该层可实现各业务系统对物理资源层执行指令的截获和小聚大的虚化处理，将分散在一个或多个数据中心的物理资源虚拟化形成资源池。其中软件定义CPU计算对所有X86服务器架构指令进行截获，首先由虚拟化仿真操作进行基于等效需求操作的合并，通过对多台物理计算CPU的时间片调度和I/O多队列排序的处理，再返回给上层APP，实现模拟独立计算、缓存、I/O等。软件定义磁盘存储在识别传统存储架构的分布式Cache、快照、链接克隆、镜像、复制冗余等存储策略后，将多台存储设备整合成一个容量总和的共享存储资源池。软件定义网络策略通过梳理网络流量包头信息和策略封装内容，把现有的交换机、路由器、业务网关等设备的组网信息、参数进行虚拟设备实例化，最终构建独立于物理网络的可灵活配置叠加的逻辑网络。
(3) 资源服务与调度层主要体现的是管理平面的逻辑调度策略。本层通过各类业务已存在的数学模型或计算方法，使得虚拟资源池中的计算、存储、网络API调度机制面对不同业务需求，达到资源利用和分配更加专项化的效果。例如矿井综合自动化系统中井下的环境监测监控模型需要偏向于计算资源的利用，云计算技术资源池就会给同类业务层提供资源调配优先级最高的API。而对于工业电视监控或企业OA文档系统等业务，则提供偏向存储资源使用的高资源调度API。
2.2 基于云计算技术的数据分析处理
煤炭企业信息化应用云计算技术的本质就是把采集和汇总的海量数据通过计算、梳理后放入数据仓库，再通过对应的业务模型进行价值挖掘后提交给第3方调度、管理或监控平台，最终输出企业预期或需要使用的结果。所以，做好数据分析处理也是云计算技术发挥价值的必要条件。目前，煤炭企业信息化建设成果产生的数据大体可分为3类：结构化数据、非结构化数据和流数据。
结构化数据：如财务、计划统计、产运销等MIS管理类系统数据。结构化数据可以通过传统的Oracle、SQL转换为基于MPPDB技术的分布式并行数据库，利用云计算技术的多线程、多并发特性实现高速负载下的检索查询和数据管理。
非结构化数据：如文档管理系统等档案类电子存储数据。非结构化数据在分布式文件系统内利用Map-Reduce的编程模型，通过Map方法将一个搜索任务分解成为多个任务，再用Reduce方法将多任务处理结果汇总输出。
流数据：类似于井上、井下的视频监控系统产生的实时类数据。此类数据可以通过云计算技术的分布式事件流处理技术，对外提供规则引擎和查询引擎，实现对视频信息的规格化处理[5]。
基于云计算技术的端到端数据分析处理架构如图3所示。
图3 基于云计算技术的端到端数据分析处理架构
数字矿山系统[6-8]应用云计算技术进行架构改造(图4)，通过将数字矿山现有的各类数据源、业务系统需求、硬件物理设备等资源与虚拟化、数据存储、处理分析等云计算技术合理结合，并采用云计算技术解决海量数据计算资源的调度和数据处理等问题。改造后将企业现有的硬件资源最大化共享，为数字矿山系统的进一步扩展和完善提供了动态的资源保障。原有分散在数字矿山各个系统中的数据信息资源也通过云计算技术进行了汇总梳理整合，为下一步多维度的数学模型分析提供了数据支持。
图4 应用云计算技术的数字矿山系统架构
物联网智能感知层中的各类监测监控系统中的信息数据是计算数据的主要来源，相应的配套结构性数据则由ERP系统提供。
现有的物理资源层各类硬件设备应用了软件定义资源的技术改造后，形成了计算、存储、网络资源池，通过资源调度策略针对不同的业务系统和评估分析模型动态输出技术资源，为数据的分析处理提供支撑。
数据分析处理层通过分布式文件系统(HDFS)将获取到的结构化和非结构化数据文件分为一个或多个数据块，这些数据块对应在DataNode的数据集合内，DataNode提供对数据的命名和访问管理。HBase技术提供了面向计算的分布式存储系统，它用表的形式存储数据，表中的数据被划分为多个Region，与HDFS进行对接联动实现大数据的读、写访问，可以实现批量加载并为基础数据提供分析工具如Map-Reduce/MPP等。MR任务编排和统计分析Hive类软件进行与虚拟资源池的资源申请和分配，并依据已有的分析模型进行偏重分配和管理。最终计算结果输出给第3方的展示、预警、分析类平台，图形化后输出可视信息[9-10]。
将云计算技术应用在煤炭企业信息化建设中，首先，可以最大化地盘活企业空闲IT资源，虚拟化的资源池为信息系统提供灵活、可靠的基础支撑；其次，云计算的“一分多、多合一”数据分析处理方式为进一步深度挖掘企业数据价值提供了技术支撑。但在云计算技术架构改造实施过程中，企业还应该重点考虑虚拟化技术建设标准，以保障平台对多厂家产品的最大化支持，并契合企业自身情况特点，制定具有众多理论和企业实践经验验证的数据分析模型，再利用云计算技术对大数据进行挖掘和处理，为企业跨越发展提供决策支撑。
参考文献：
[1] 马化腾.互联网+:国家战略行动路线图[M].北京:中信出版集团,2015:18.
[2] 贺耀宜,武钰.数字化矿山建设中存在问题分析及对策[J].工矿自动化,2014,40(11):30-33.
[3] 丁恩杰,赵志凯.煤矿物联网研究现状及发展趋势[J].工矿自动化,2015,41(5):1-5.
[4] 张焰,李杨.用大数据武装”云”:基于云计算的大数据处理技术[J].中国新通信,2015,20(4):87-88.
[5] 王春雷.基于三维GIS展现的煤矿物联网异构数据集成与应用[D].北京:中国矿业大学(北京),2014.
[6] 孟磊,丁恩杰,吴立新.基于矿山物联网的矿井突水感知关键技术研究[J].煤炭学报,2013,38(8):1397-1403.
[7] 吴立新,汪云甲,丁恩杰,等.三论数字矿山——借力物联网保障矿山安全与智能采矿[J].煤炭学报,2012,37(3):357-365.
[8] 张申,刘鹏,张彭.感知矿山物联网云计算应用探索[J].煤炭科学技术,2012,40(9):72-75.
[9] 费仕忆.Hadoop大数据平台与传统数据仓库的协作研究[D].上海:东华大学,2014.
[10] 马小平,胡延军,缪燕子.物联网、大数据及云计算技术在煤矿安全生产中的应用研究[J].工矿自动化,2014,40(4):5-9.
实验研究
顾闯.云计算技术在煤炭企业信息化建设中的应用[J].工矿自动化，2016,42(1)：13-16.
GU Chuang1，2，3
(1.Branch of Equipment, China Coal Research Institute， Beijing 100013， China; 2.State Key
Laboratory of High Efficient Mining and Clean Utilization of Coal Resource，Beijing 100013，China；
3.Beijing Mine Safety Engineering Technology Research Center，Beijing 100013，China)
Abstract:The status of informationization construction of coal enterprises was analyzed, and the application idea of cloud computing technology in coal enterprises was put forward. The cloud data center platform was built by using cloud computing technology from two aspects of constructing new and using old, and new and old information resources were integrated through construction of physical resources, virtual software resources, resource service scheduling mechanism, so as to realize data sharing and interaction on data layer, transfer and support each other on resources layer, and it excavates the value of huge amounts of data of enterprises.
Key words:digital mine； informationization; cloud computing technology； virtual resources； mine Internet of Things
作者简介：顾闯(1981-)，男，辽宁阜新人，高级工程师，现主要从事煤炭企业信息化与信息安全技术方面的研究工作，E-mail:guc@owlsoft.com.cn。
基金项目：国家科技重大专项项目(2011ZX05065-006)。
收稿日期：2015-08-12；修回日期：2015-11-27；责任编辑：张强。
中图分类号：TD67
文献标志码：A 网络出版时间：2015-12-31 15:52
文章编号：1671-251X(2016)01-0013-04 DOI:10.13272/j.issn.1671-251x.2016.01.005