“矿山物联网顶层设计”专栏
卢新明1,2, 阚淑婷1, 张杏莉1
(1.山东科技大学 计算机科学与工程学院, 山东 青岛 266510; 2.山东蓝光软件有限公司, 山东 泰安 271000)
摘要:指出矿山物联网云计算与平台技术在矿山物联网系统中起核心支撑作用;介绍了矿山物联网云计算平台的技术目标和主要功能;论述了建设矿山物联网云计算平台的关键技术,包括以云交互数据管道为核心的平台架构、资源智能管控模型及负载均衡算法、任务调度及资源分配策略、矿山实时异构数据交换、控制命令快速编码及批量发送、数据快速提取及批量打包、面向矿山应用的推送等,给出了各技术的研究方法和技术路线,为搭建一个完整、先进、具有普适性的矿山物联网云计算平台奠定了技术基础。
关键词:矿山物联网; 感知矿山; 云计算; 云交互; 云平台; 平台架构; 资源管控; 异构数据交换
关于矿山物联网的技术内涵及其在感知矿山、精准开采、透明管控、设备管理、安全管理乃至智慧矿山等系统建设中的地位和作用在文献[1-10]中都有较详细的论述。文献[1]回顾了“十二五”期间矿山物联网建设情况,指出了加快矿山物联网建设的理由和“十三五”期间矿山物联网建设重点布局,提出了我国矿山物联网建设的总体目标;文献[2]给出了矿山物联网的总体架构、关键技术、顶层设计和建设路线;文献[3]全面论述了面向煤炭精准开采的物联网架构及关键技术,指出了基于透明地球的煤炭精准开采和基于物联网的智能感知是实现未来无人矿山的两大技术体系,为实现煤炭精准开采科学构想提出了明确技术路径;文献[4]讨论了矿山物联网的结构性平台与服务性平台,提出了矿山物联网平台性与服务性需求,描述了矿山物联网的平台性与服务性特征,给出了矿山物联网结构性平台的层次结构和云计算平台的服务内容和服务方式;文献[5]从感知矿山出发,给出了矿山物联网的愿景,即实现矿山物与物相连,消除监测盲区,运用云计算和大数据技术提取有用信息,真正实现本质安全矿山,并从技术和服务模式2个方面梳理了矿山物联网的发展趋势,对矿山物联网的协同工作模式和购买服务模式进行了展望;文献[6]从云计算的概念、服务模式及其优势出发,讨论了云服务的形式,结合几种矿山物联网中云计算的应用场景,讨论了感知矿山物联网中云计算的必要性与合理性;文献[7]将矿山物联网主要技术融合到智慧矿山的各个层面;文献[8-10]给出了矿山物联网的一些具体应用。
本文重点讨论矿山物联网中云计算与平台技术的地位和作用,论述矿山物联网云计算平台的技术目标、平台架构、关键技术、服务方式、服务内容、研究方法和技术路线,为搭建一个完整、先进、具有普适性的矿山物联网云计算平台奠定了技术基础。
伴随着计算机、物联网、大数据、云计算和人工智能等技术的进步,以及现代采矿技术的发展和安全、高效、低耗、绿色开采的需要,以智能开采、精准开采、透明开采为目标,以地理信息系统和矿山物联网技术为基础的安全监测监控和工业自动化系统应运而生,带动了我国矿山信息化建设如火如荼的发展。国家安全生产监督管理总局在2015年10月14日发布的《第三批安全科技“四个一批”项目》将智慧矿山软件系统等信息化系统列入了推广实施目录,在2016年7月1日出台了《安全生产信息化领域10项技术规范》,在2016年12月27日出台了《煤矿安全生产在线监测联网备查系统通用技术要求和数据采集标准(试行)》。科技部、国家安全生产监督管理总局在2017年4月12日发布了《安全生产先进适用技术与产品指导目录(第一批)》,其中列入了煤矿四维灾害模拟与预警系统等信息系统产品。国家标准化管理委员会在2017年10月14日发布了GB/T 34679—2017《智慧矿山信息系统通用技术规范》。无论是政策性或指导性文件,还是矿山企业的信息化系统,矿山物联网技术都是重要内容之一。但是综观企业或政府已建或在建的信息化系统,都只强调单一系统或集成(用连接方式集成)平台的功能,低水平重复建设较多,信息孤岛现象大量存在,无法满足矿山安全生产的实时感知、快速处理和综合决策需求,缺少微观和宏观各层面的互操作,很难发挥矿山物联网的优势和作用。究其原因,主要是缺少矿山物联网系统的统一管控平台和中枢,即矿山物联网云计算平台。
矿山物联网技术架构如图1所示。可见矿山物联网云计算与平台技术在矿山物联网系统中起核心支撑作用。
图1 矿山物联网技术架构
Fig.1 Technical architecture of mine Internet of things
矿山物联网云计算平台的主要技术目标是解决实时异构数据快速可靠交换、多源/多层次数据快速接入、分布式协同处理及服务等难题,提供数据快速处理与全息主动服务,实现矿山物联网从感知到应用的互联互通和信息智能交换。其主要功能包括:
(1) 通过矿山物联网融合通信系统和矿山物联网协议,快速接入各种专用计算节点(如以激光雷达、激光罗盘和激光扫描等自动测量数据为基础的空间定位和空间建模计算节点,以微震、地音为探测技术的震源定位和岩层运动反演节点,以电法、磁法为监测手段的富水区域和富水性动态建模节点,以高清摄像仪和摄影测量为信息源的图像处理和模式识别节点,以光纤多气体和温度连续测量为基础的火灾演化分析节点,以应力和钻屑监测为基础的地应力反演节点等)采集或预处理的数据,按照平台的资源调度策略和时效要求进行分布式存储,并自动建立元数据和抽取索引。
(2) 实时监测分布式存储器中数据(包括内外存储器的分布数据)的更新和变化情况,按照数据索引结构、挖掘算法和矿山智能信息模型管理系统中增强现实技术的建模和绘制需要,随时抽取、整理矿山空间数据和物性数据的演化过程,并及时推送到变化增量矿山智能信息模型管控节点,以便其他节点能够得到最新的矿山三维场景和模型数据。
(3) 按照矿山安全态势分析及预测预警系统的需要,以及各种灾害的发生机理和前兆信息特征,及时抽取和整理相关的实时数据和历史数据,并按照大数据分析的要求,分别推送到相应的灾害预警和防治决策工作站,以便及时生成预警信息、解警信息和灾害防治方案或救灾指挥方案。
(4) 对于重大关键设备(包括采煤机、液压支架、通风机、水泵、运输设备、提升机等),矿山物联网云计算平台能够按照全生命周期健康管理理念,不断抽取各台设备的运行状态和故障诊断信息(包括振动信息、轴温、油脂参数、电流、电压、功率等)实时数据和历史数据,及时为设备的远程诊断节点提供服务,以实现矿山重大设备无缺陷运行。
(5) 根据各种系统和设备的控制方式和命令格式,对各类设备(组)控制节点命令序列进行批量处理和打包,并按照命令编码规范,通过物联网推送到各现场智能控制单元或执行单元,以满足整个矿山远程调度和自动化精准采矿的需要。
矿山物联网云计算平台是整个矿山物联网应用的指挥中心和调度枢纽,矿山物联网云计算与平台技术的先进性和成熟度直接关系到矿山物联网的应用效果。
在整个矿山开采过程,无论是空间数据、环境数据、设施数据还是人员分布,都是随时间的变化而变化的。矿山物联网云计算平台面向的是一个海量、异构、多元、时变的物物相连、人人相连、物人相连的复杂网络,且数据流的每次接入、存储、抽取和推送都有时效性要求。要建立一个完全实用的矿山物联网云计算平台,必须解决以下关键技术问题。
(1) 以云交互数据管道为核心的矿山物联网云计算平台架构。该技术通过设计一个智能的云交互数据管道,实现以矿山物联网感知数据接入、存储、抽取、转发和推送为主线的快速通道,实现矿山物联网从感知到应用的互联互通和信息智能交换。
该技术的研究方法与技术路线:① 针对矿山企业的技术特征研究数据接入、存储、抽取、转发和推送的功能需求、数据流内容、时效性指标,并进行架构设计。② 建立分布式存储模型、数据接入端口、信息抽取算法、转发打包策略、推送服务机制。③ 选择开发速度快、适合团队开发、能跨平台部署、可借鉴开源资源的开发、测试平台。④ 设计智能管道及其端口的结构,进行软件组件分解及功能定义。⑤ 采用分组件开发、系统集成、跨平台部署、模拟与真实现场相结合的性能测试技术,保证软件的安全性、可靠性和可用性。
(2) 矿山物联网云计算平台的资源智能管控模型及负载均衡算法。该技术实现矿山物联网云计算平台存储资源、计算资源和执行资源的多层次、细粒度智能管控,以及各类资源的均衡利用,满足矿山物联网数据快速接入、存储、处理、交换的高效性。
该技术的研究方法与技术路线:① 分析存储资源、计算资源、执行资源的性能和特征,建立多层次细粒度资源组织模型。② 利用虚拟化和池化技术,将各种物理资源抽象形成可管理、可调度的逻辑资源,并汇聚成资源池,实现平台资源的统一管理和操作。③ 借鉴主流技术体系,采用层次化、模块化、分布式计算等技术,设计跨平台、易扩容、开放式的资源管控策略。④ 分析任务和资源特征,以负载均衡为主要目标,并综合考虑时间、成本、能耗等,建立资源调度数学模型,提出高效解决算法。⑤ 通过理论分析、仿真/模拟实验等方法实现上述算法,并在矿山物联网云计算平台中进行应用验证和分析。
(3) 用于流的树状层次分解模型的任务调度及资源分配策略。该技术通过建立基于树状模型的分级任务调度、数据存储策略和算法,实现存储资源、计算资源、执行资源的优化配置,满足矿山物联网异构、海量、实时感知数据的快速接入要求。
该技术的研究方法与技术路线:① 面向矿山物联网流数据输入端口,建立不同级别的任务节点、存储节点、计算节点的树状层次分解模型。② 建立基于树状层次分解模型的作业/进程/线程创建、终止、状态转换机制,以及基于优先级的优化调度策略。③ 建立基于树状层次分解模型的Cache/内存/外存/磁盘阵列/数据中心分级存储、替换策略。④ 创建基于分布式内存/共享内存的多线程/进程、多核/众核、多CPU/GPU、集群计算资源的树状层次优化调度策略。⑤ 通过理论分析、仿真/模拟实验等方法实现上述算法,并在矿山物联网云计算平台中进行应用验证和分析。
(4) 基于内存数据库和内存计算的矿山实时异构数据交换技术。该技术通过分布式内存计算实现矿山实时异构数据的快速交换,为设备协同管控提供高效的服务支撑。
该技术的研究方法与技术路线:① 在分布式缓存服务器中,基于Cache技术实现矿山实时数据存储,采用LRU(Least Recently Used,最近最少使用)算法及到期失效策略实现数据替换。② 通过在内存中维护一个统一的存储键/值对hash表,来存储各种异构数据;采用基于libevent的事件处理机制;制订基于文本行的简单通信协议,用于服务器-客户端通信。③ 在服务器中创建守护进程,用于监听来自客户端的请求。④ 基于通信协议实现客户端与守护进程的及时通信。
(5) 控制命令的快速编码及批量发送技术。该技术通过研发编码、打包、分发策略和算法,解决批量控制命令的快速编码及批量发送难题,为矿山多类/多台/多参数设备的实时协同控制提供保障。
该技术的研究方法与技术路线:① 基于矿山生产设备编码规范,建立控制命令的分级、分层、标志编码策略。② 利用分布式内存计算,实现多级、多组、多台分布式并行编码。③ 采用基于优先级的控制命令过滤、打包策略,实现控制命令的流式快速打包。④ 采用多通道逐级分流方式实现控制命令批量快速发送,满足生产系统各环节的系统控制和每台设备各种动作的实效性要求。
(6) 矿山物联网数据的快速提取、批量打包技术。该技术通过建立矿山物联网数据的快速提取、批量打包策略,利用分布式存储索引结构、分布式挖掘技术和层层汇集技术,解决矿山物联网综合应用数据服务的实时性问题。
该技术的研究方法与技术路线:① 分析矿山物联网各种深层应用所需要的数据内容、结构特征和质量要求。② 制定矿山物联网深层应用所需数据的检索策略、快速定位所需数据的抽取方法。③ 开发多源、异构、分布式数据抽取、数据汇聚和析构引擎。④ 基于树状层次模型,实现矿山物联网海量数据的分类快速提取。⑤ 利用分布式内存计算,采用多级流式打包技术,实现矿山物联网数据的快速批量打包。
(7) 面向矿山自动控制及智能决策等应用的推送技术。该技术建立按需即时推送和事件驱动的主动式激活机制及主动服务模式,以满足矿山安全态势分析和灾害预警、大型设备远程故障诊断和缺陷辨识、正常生产时期的智能调度和灾变时期的应急指挥等特定应用系统的信息需求。
该技术的研究方法与技术路线:① 通过研究现代通信技术和远程异构系统的互操作方法,建立按需推送和事件驱动的主动式激活机制。② 根据矿山物联网各应用系统的数据存储方式,利用信号量同步机制进行数据实时写入。③ 建立矿山物联网信号异常特征发现、捕获、处理、重建和即时推送策略。④ 通过仿真/模拟实验等方法实现上述算法,并在矿山物联网云计算平台中进行应用验证和分析。
按照矿山物联网云计算平台的技术目标,根据关键技术设定的研究方法与技术路线,只需遵循软件项目管理理论和过程要求,采用通用的标准、主流的技术和开放的接口,遵循国家和行业的相关标准,基于现有技术,确保矿山云分布式架构是面向监测与控制的矿山实时异构数据交换、矿山综合应用的数据处理与服务的,所采用的理论、方法、模型和算法是先进的、规范的、完整的和适用的,即可开发出满足矿山安全、高效、透明、精准和智能开采所需要的矿山物联网云计算平台。
参考文献(References):
[1] 施卫祖.加快矿山物联网建设[J].工矿自动化,2017,43(11):1-4.
SHI Weizu.Accelerating construction of mine Internet of things[J].Industry and Mine Automation,2017,43(11):1-4.
[2] 丁恩杰,施卫祖,张申,等.矿山物联网顶层设计[J].工矿自动化,2017,43(9):1-11.
DING Enjie,SHI Weizu,ZHANG Shen,et al.Top-down design of mine Internet of things[J].Industry and Mine Automation,2017,43(9):1-11.
[3] 袁亮.面向煤炭精准开采的物联网架构及关键技术[J].工矿自动化,2017,43(10):1-5.
YUAN Liang.Framework and key technology of Internet of things for precision coal mining[J].Industry and Mine Automation,2017,43(10):1-5.
[4] 张申,张滔.论矿山物联网的结构性平台与服务性平台[J].工矿自动化,2013,39(1):34-38.
ZHANG Shen,ZHANG Tao.Discussion of structured platform and service platform of mine Internet of things[J].Industry and Mine Automation,2013,39(1):34-38.
[5] 姚健铨,丁恩杰,张申,等.感知矿山物联网愿景与发展趋势[J].工矿自动化,2016,42(9):1-4.
YAO Jianquan,DING Enjie,ZHANG Shen,et al.Prospect of perception mine Internet of things and its development trend[J]. Industry and Mine Automation,2016,42(9):1-4.
[6] 张申,刘鹏,张彭.感知矿山物联网云计算应用探索[J].煤炭科学技术,2012,40(9):72-75.
ZHANG Shen,LIU Peng,ZHANG Peng.Applied discovery on cloud computation of sensory mine Internet of things[J]. Coal Science and Technology,2012,40(9):72-75.
[7] GB/T 34679—2017 智慧矿山信息系统通用技术规范[S].
[8] 陈铎,王刚.基于矿山物联网的设备动态管理系统[J].工矿自动化,2013,39(5):16-18.
CHEN Duo,WANG Gang.Dynamic management system of devices based on mine Internet of things[J]. Industry and Mine Automation,2013,39(5):16-18.
[9] 时于珏,刘混举.物联网技术在矿山设备状态监测中的应用探讨[J].煤矿机械,2013,34(7):239-241.
SHI Yujue,LIU Hunju.Discussion of Internet of things technology in mining equipment[J].Coal Mine Machinery,2013,34(7):239-241.
[10] 李世银,徐若锋,宋金玲,等.基于物联网的综采面智能化资源调度系统解决方案研究[J].煤炭经济研究,2014,34(7):5-7.
LI Shiyin,XU Ruofeng,SONG Jinling,et al.Study on solution plan of intelligent resource dispatching system applied to fully mechanized coal mining[J].Coal Economic Research,2014,34(7):5-7.
LU Xinming1,2, KAN Shuting1, ZHANG Xingli1
(1.College of Computer Science and Engineering, Shandong University of Science and Technology, Qingdao 266510, China; 2.Shandong Lionking Software Co., Ltd., Taian 271000, China)
Abstract:It was pointed out that cloud computation and platform technology was core of system of mine Internet of things. Technical objectives and main functions of the cloud computation platform of mine Internet of things were introduced. Key technologies of the cloud computation platform of mine Internet of things were expounded including platform architecture based on cloud interaction data pipeline, intelligent resource management and control model and load balancing algorithm, task scheduling and resource dispatching scheme, real-time and heterogeneous data exchange of mine, quick coding and sending in the batch of control command, quick data extraction and packing in the batch, and mine application oriented pushing. Research method and technical route of each technology were given. The paper lays a technical foundation for building a complete, advanced and universal cloud computation platform of mine Internet of things.
Key words:mine Internet of things; perception mine; cloud computation; cloud interaction; cloud platform; platform architecture; resource management and control; heterogeneous data exchange
收稿日期:2017-12-28;
修回日期:2017-01-04;
责任编辑:李明。
基金项目:国家重点研发计划资助项目(2017YFC0804406);山东省重点研发计划资助项目(2016ZDJS02A05)。
作者简介:卢新明(1961-),男,河南济源人,教授,博士研究生导师,博士,主要从事矿山信息化、矿山物联网技术的研究工作,E-mail:13853803297@139.com。
引用格式:卢新明,阚淑婷,张杏莉,等.矿山物联网云计算与平台技术[J].工矿自动化,2018,44(2):1-5.
LU Xinming,KAN Shuting,ZHANG Xingli.Cloud computation and platform technology for mine Internet of things[J].Industry and Mine Automation,2018,44(2):1-5.
文章编号:1671-251X(2018)02-0001-05
DOI:10.13272/j.issn.1671-251x.17308
中图分类号:TD67
文献标志码:A 网络出版时间:2018-01-11 17:35
网络出版地址:http://kns.cnki.net/kcms/detail/32.1627.TP.20180111.1707.002.html