图1 综采工作面虚拟现实监控系统网络结构
李昊1,2， 陈凯1， 张晞2， 钱建生3
(1.中国矿业大学(北京) 机电与信息工程学院， 北京 100083；
2.北京天地玛珂电液控制系统有限公司， 北京 100013；
3.中国矿业大学 信息与电气工程学院， 江苏 徐州 221008)
摘要：针对目前综采工作面自动化生产过程中视频监控图像效果差的问题，设计了综采工作面虚拟现实监控系统，详细介绍了系统功能设计、结构组成及系统实现的关键技术。该系统采用虚拟现实技术构建出了高仿真度的虚拟矿井作业场景，实现了综采工作面生产设备实时状态信息的采集、传输、显示、预警以及反向控制等功能，满足了综采工作面自动化生产监控的需求。
关键词：综采工作面； 三维虚拟现实； 生产监控； 自动化
网络出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160405.0857.004.html
在矿井生产系统中，综采工作面是现代化矿井最基本的生产单元，也是事故高发地和能见度低的地方。随着无人化工作面概念的提出，综采工作面各生产设备的自动化、智能化以及远程监控等课题，已成为综采自动化领域的研发重点[1]。
当前主流的综采工作面自动化生产远程监控系统都是采用设备自动生产、操作人员远程干预的模式,即采煤机工作在记忆截割模式，液压支架自动跟机，生产操作人员在工作面巷道监控中心通过计算机画面进行远程辅助调节[2]。由于井下环境复杂，设备的自动生产还不够智能，也不够稳定，所以操作人员远程干预是非常重要的。研究如何让远离生产作业面的操作人员更好地观察工作面的实时情况，对于综采工作面生产监控系统来说是很重要的课题。目前国内外普遍采用的方式是通过在工作面部署各类摄像仪(液压支架视频系统、采煤机机载视频系统)获取实时视频信息，同时，结合在生产作业设备上部署各类传感器采集诸如温度、电流、电压等状态信息，并通过通信单元传输到工作面巷道以及地面的数据监控中心计算机，以供远程生产操作人员进行分析决策。虽然数据信息与视频信息二者相辅相成取得了不错的应用效果，但还是存在一定的问题。在实际应用中，数据信息多是利用组态软件等以二维图形结合文字、数字的方式呈现出来；视频数据则是将摄像仪采集的图像直接显示在屏幕上。然而，视频信息受井下工作面环境恶劣、光线条件差、煤尘多、视觉死角、传输延迟大等不利因素影响，摄像仪不能很好地发挥其作用[3]，且二维的数据信息虽然受环境影响小，但呈现方式不够直观。
针对上述问题，笔者设计了综采工作面虚拟现实监控系统，利用虚拟现实技术，将综采工作面实时生产数据与各传感器采集的实时数据、GIS数据等结合起来，构建出综采工作面实时生产作业场景[3]。
1.1 系统功能设计
综采工作面虚拟现实监控系统采用虚拟现实技术构建出高仿真度的虚拟矿井作业场景，利用CAD结构图将采煤机、液压支架和刮板输送机等煤矿生产设备进行仿真建模，并根据三机配套图、巷道布置图等资料，按照实际位置摆放至虚拟场景中，然后通过软件系统的数据接口，将相关联的监测系统提供的设备实时数据读取出来，同步驱动虚拟设备执行同样的动作及位移，实现数据的三维可视化。
为满足操作人员的监控需求，综采工作面虚拟现实监控系统的主要功能设计如下。
(1) 综采工作面全设备实时监控功能。为使操作人员可以全方位监视综采工作面全设备的实时状态，系统应提供多种视角，比如自主控制视角，即操作人员可以通过鼠标和键盘，自主地移动镜头并浏览场景中的任一设备、任意位置；系统应具有自动控制的智能视角，即解放操作人员的双手，当设备状态发生变化时，镜头智能地自动定位至该设备前，使操作人员可以将更多的精力放在对现场情况的处理上，而不是操作软件。当然，该功能应针对不同角色的操作者(采煤机操作工或支架操作工)有不同的设定。此外，在关注某一设备时，应通过“实时信息框”的方式显示该设备的当前状态信息。
(2) 设备反向控制功能。即通过操作虚拟设备来控制实际设备，比如对虚拟采煤机进行降摇臂高度操作，实际采煤机的摇臂高度可以同步变化。当然，该功能的使用需要一些安全机制的保护和限制，避免误操作造成安全隐患。
(3) 预警及故障报警功能。提供碰撞预警及设备故障报警功能，如液压支架和采煤机的预碰撞检测功能，采煤机在采煤过程中，程序根据其前进方向和速度，实时计算出其下一刻的位置，同时判断其前进方向的支架护帮板有没有收回，并在虚拟场景中对可能发生的碰撞支架进行变色警示。另外，当采煤机或乳化液泵等设备发生故障时，系统会将该设备或该设备的某部件在虚拟场景中变色警示。
(4) 数据回放功能。数据保存在数据库中，系统应支持历史数据的读取和回放功能，为生产情况分析、事故追踪提供帮助。
1.2 系统结构设计
综采工作面虚拟现实监控系统主要由数据采集模块、数据传输及存储模块、数据显示模块组成，系统网络结构如图1所示。其中，三维虚拟现实主机和三维主机是用来显示虚拟工作面场景的，分别部署在井下工作面巷道和地面调度中心。
图1 综采工作面虚拟现实监控系统网络结构
(1) 数据采集模块。综采工作面的设备众多，如采煤机、液压支架、转载机、破碎机、刮板输送机等。通过在设备上部署各类传感器，可以获得设备的实时状态信息。以液压支架为例，通过立柱上的压力传感器可以获取立柱的实时压力，通过底部油缸里的行程传感器可以获取支架的推溜行程等。
(2) 数据传输及存储模块。采集到的各设备信息通过CAN总线以及工业以太网传输至数据处理计算机(图1中的井下服务器)。该计算机通过部署在其中的数据处理软件完成数据的解析、分发以及存储等功能。
(3) 数据显示模块。在三维主机中部署虚拟现实软件用以实现数据可视化。三维主机本身不负责数据的存储，甚至不会主动请求数据，它只是通过以太网与数据处理计算机建立并维持连接(TCP/IP协议)，同时订阅数据(当数据发生变化时，数据处理计算机会通知三维主机)，并且处理数据以及整个场景中各模型、镜头等内容的逻辑关系。
2.1 生产过程实时数据处理技术
出于对计算机性能以及数据安全的考虑，不能够只用1台计算机完成整个数据的处理工作,而需要根据系统功能要求，由几台计算机组成协同系统来完成数据处理工作，即1台数据计算机负责数据的收集、分发；1台服务器计算机负责数据的存储及上传；1台三维计算机用于运行三维虚拟现实监控软件；同时，另有3台计算机以二维画面方式显示数据以及工作面视频画面。整个软件系统采用C/S架构，即服务端/客户端模式，将服务端软件部署在数据处理计算机上，其他计算机上部署客户端软件。这样做不但可以降低对计算机性能的要求，同时还能在某台计算机出现故障时保证数据安全。
此外，服务端与客户端计算机通过以太网连接，客户端软件只负责保持与服务端的连接(TCP/IP协议)，同时在服务端“订阅”数据，即不主动请求数据，而是等待服务器推送变化的数据信息。当然，在启动时或者重启后，客户端会主动向服务器请求全部数据，而在此后，客户端仅处理自身的逻辑即可。
2.2 可视元素开发
可视元素集中在上位机软件中，是在微软.NET平台下使用C#语言进行开发的。三维虚拟现实场景使用引擎Unity3D开发，在运行时作为ActiveX控件集成在软件系统的客户端软件里。可视元素开发关键点在于仿真模型的制作以及逻辑程序的开发。
2.2.1 虚拟设备仿真模型制作
仿真模型的开发流程如图2所示。
(1) 仿真模型的构建：仿真模型必须按照实际设备的CAD尺寸图进行制作，虚拟模型的尺寸比例与实际一致，以保证设备模型之间交互时，达到与实际一致的虚拟现实效果。
图2 仿真模型开发流程
(2) 仿真模型的模块化制作：设备建模不能像普通的三维动画一样直接整体建模，而要根据设备的机械原理，将设备模型分解成部件子模型。以采煤机为例，由于采煤机的滚筒旋转、摇臂升降以及连接摇臂的油缸伸缩等动作要求，所以，采煤机的模型将分为机身、左右滚筒、左右摇臂、各部分油缸等子部件模型，以满足程序的计算和控制。在实际开发中，单是采煤机模型就需分别制作30个子模型，以保证部件动作的灵活、逼真。
2.2.2 程序组态化架构
对于仿真软件而言，虚拟场景是对真实环境的还原。所以，相比于底层的数据开发，界面开发最大的难度在于其复用性，即要模块化甚至组态化地开发以适应不同的工作面。不同的煤矿(工作面)由于地质条件、煤层结构不尽相同，工作面使用的设备也不同。基于这一点考虑，为了减少二次开发的工作量，提高程序的复用性，在软件的设计阶段，对软件架构进行了模块化设计，如图3所示，以设备为模块进行划分，每个设备都拥有独立于项目以外的专属脚本，以保证其独立性以及通用性；同时，在总控逻辑模块内处理各个设备之间的关系。这样，每个模块相对独立，针对不同的项目，根据需要对相应模块进行修改即可使用。
图3 设备模块化设计
2.3 LOD图形优化技术
为了使综采工作面三维虚拟现实软件能够流畅地在井下隔爆主机上运行，除了采用优化模型面数以及动态加载模型等常规方式外，还利用LOD(Levels of Detail)技术进行场景整体渲染优化，取得了不错的效果。
LOD是对模型建立一个模型金字塔，根据摄像机距离对象的远近，选择使用不同精度的模型。它的好处是可以在适当的时候大量减少需要绘制的顶点数目。计算机图形图像学领域里，LOD算法众多，如经典的多面体简化算法[4]以及顶点删除法[5]。本文所设计的LOD算法的核心部分是一种基于三角形折叠及顶点删除的模型简化算法，设计了自动调整LOD级别算法。根据视角远近将模型分为5个级别，分别为LOD1—LOD5，其中，LOD5几乎是一张贴图而已，面数已经非常少。而具体确定级别选择的变量是帧数，即帧数达到设定值时，调整对应的LOD级别。LOD算法流程如图4所示。
图4 LOD算法流程
支架模型LOD优化示意如图5所示。当在屏幕内只能看到1个或几个支架时，使用LOD1模型渲染，即图5(a)所示的支架模型，面数为132 561；当视角拉远至能够同时看到不多于50个架时，用LOD2—LOD4模型渲染，LOD4支架模型如图5(b)所示,有7 986个面；当视角再拉远至能够同时看到50个支架时(此时支架已经很小了)，使用LOD5，只是一张贴图而已。
综采工作面虚拟现实监控系统通过模块化的软硬件设计以及LOD等图像优化技术，将虚拟现实技术成功应用在综采工作面设备控制中，实现了综采工作面生产场景中采煤机、液压支架、刮板输送机等设备的实时状态信息的采集、传输、显示、预警以及反向控制等功能。目前，综采工作面虚拟现实监控系统已在神南红柳林矿、巴彦高勒矿、宁煤梅花井矿等多个矿井应用，实际应用效果表明，系统达到了预期的要求，特别是与传统的视频监视系统形成了互补的效果：视频清晰时使用传统视频系统；视频效果较差时，使用虚拟现实监控系统观察工作面情况。此外，支架护帮板防碰撞预警等功能是现有视频监视系统不具备的，使虚拟现实监控系统更加实用有效。
(a) LOD1支架模型
(b) LOD4支架模型
图5 支架模型LOD优化示意
参考文献：
[1] 王金华，黄曾华.中国煤矿智能开采科技创新与发展[J].煤炭科学技术,2014,42(9):1-6.
[2] 王国法.综采自动化智能化无人化成套技术与装备发展方向[J].煤炭科学与技术,2014,42(9):30-34.
[3] 牛剑锋.无人化工作面智能本安型摄像仪研究[J].煤炭科学技术,2015,43(1):77-80.
[4] 王金华，黄乐亭，李首滨，等.综采工作面智能化技术与装备的发展[J].煤炭学报,2014,39(8):1418-1423.
[5] SCHROEDER W,ZARGE J.Decimation of triangle meshes[C]// Proceedings of the ACM SIGGRAPH'92,Chicago,1992:65-70.
LI Hao1,2， CHEN Kai1， ZHANG Xi2， QIAN Jiansheng3
(1.School of Mechanical Electronic and Information Engineering, China University of Mining and
Technology (Beijing)， Beijing 100083，China; 2.Beijing Tiandi-Marco Electro-Hydraulic
Control System Company Ltd., Beijing 100013, China; 3.School of Information and
Electrical Engineering, China University of Mining and Technology，Xuzhou 221008，China)
Abstract:In view of problems of bad image effect of video monitoring and control in process of automation production on fully-mechanized coal mining face, a monitoring and control system based on virtual reality technology was designed, and function design, structure composition and key technologies of the system were introduced. The system uses virtual reality technology to build up a high-fidelity virtual mine operation scene, and realizes functions of collection, transmission, display, warning and reverse control of real-time state information of production equipment on fully-mechanized coal mining face. The system meets needs of automatic production and monitoring on fully-mechanized coal mining face.
Key words:fully-mechanized coal mining face; 3D virtual reality; production monitoring; automation
作者简介：李昊(1983-)，男，北京人，助理研究员，硕士，主要从事煤矿无人化开采及智能控制方面的研究工作，E-mail：lihao@tdmarco.com。
基金项目：国家高技术研究发展计划(863计划)资助项目(2013AA06A410)。
收稿日期：2015-12-24；修回日期：2016-02-05；责任编辑：张强。
中图分类号：TD672
文献标志码：A 网络出版时间：2016-04-05 08:57
文章编号：1671-251X(2016)04-0015-04
DOI:10.13272/j.issn.1671-251x.2016.04.004
李昊，陈凯，张晞，等.综采工作面虚拟现实监控系统设计[J].工矿自动化，2016,42(4)：15-18.