0 引言

煤矿井工开采设备的自动化、信息化和智能化发展趋势，使得生产现场需要配备大批具备专业维修知识与技能的维修人员对故障设备进行及时有效的维护。传统矿用设备维修对专业技术人员依赖性大，设备出现故障时多要联系生产厂商或第三方服务提供商。维修人员抵达现场后，根据维修技术手册和自身经验实施维修操作，面临复杂故障难以判断维修点时，还需要技术专家给予远程指导或抵达现场维修，故障知识和维修技能交互难，导致维修过程耗时、耗力。因此，改变现有设备维修模式、提高设备维修效率成为亟待解决的问题。

近年来，虚拟现实(Virtual Reality，VR)[1-3]、增强现实(Augmented Reality，AR)[4-6]、混合现实(Mixed Reality，MR)[7-8]技术迅速发展，国内外研究者将相关技术应用到计算机辅助维修、大型电力系统维修、船舶远程辅助维修等领域，降低了人员操作中的潜在错误，提高了维修作业效率。VR和AR技术实现平台一般为头戴式设备、手机等，虽然设备的移动性很好，但由于用户只能依赖交互手柄、触摸屏进行交互，视觉体验缺乏真实性。而MR技术可实现用户与现实世界的交互，在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，增强了用户体验的真实感。因此，本文结合现有的矿用设备维修辅助方法和流程，设计了基于MR的矿用设备维修指导系统。该系统借助虚拟交互实现维修知识传递和专家指导，采用MR设备HoloLens，在Unity3D虚拟现实平台上实现矿用设备原理虚拟仿真、基于二维码的设备管理、维修指导和远程专家协作，可有效解决维修人员技术储备不足、维修周期长及地域限制等问题，快速提高维修操作人员的技术能力和维修效率。

1 系统总体设计

1.1 系统工作原理

基于MR的矿用设备维修指导系统工作原理如图1所示。该系统采用MR设备HoloLens实时显示维修指导方案。HoloLens通过虚拟文字、虚拟设备模型、动画及语音提示等方式将维修指导信息直观地呈现给维修人员。维修人员采用视线跟踪、语音交互、手势识别等方式与HoloLens交互，操作便利。

图1 基于MR的矿用设备维修指导系统工作原理
Fig.1 Working principle of maintenance guidance system of mine-used equipments based on MR

采集矿用设备中的液压、电气、温度及振动等数据，通过数据处理筛选出故障信息。专家根据不同的故障信息整理出维修指导方案。将故障信息发送至MR设备HoloLens中进行故障识别，若为常见故障，则调用HoloLens内置的常见故障维修指导解决方案引导维修人员进行维修操作；若为复杂故障，系统不能及时给出解决方案，则启用远程专家在线指导，利用HoloLens内置摄像头将现场维修视频传输到远程专家客户端，维修人员通过视频会话方式与专家沟通。

采用数据库实时存储维修历史、设备参数、设备零件及维修技术方案等信息，维修人员通过HoloLens内置摄像头扫描当前设备上的二维码，即可对该设备维修信息进行查询。

1.2 系统架构

基于MR的矿用设备维修指导系统架构如图2所示，包括数据层、Unity3D开发层和HoloLens应用层。

图2 基于MR的矿用设备维修指导系统架构
Fig.2 Architecture of maintenance guidance system of mine-used equipments based on MR

数据层：将设备维修历史信息、设备参数信息、设备零件信息及维修技术方案存储到维修知识库，以便于在Unity3D中通过脚本实时调用。

Unity3D开发层：在Unity3D平台中通过相机设置、模型导入、图形用户界面(Graphical User Interface, GUI)设计和交互模式设计搭建虚拟场景，同时实现二维码扫描、设备维修指导流程和远程专家协作等关键技术。

HoloLens应用层：将系统应用程序发布至HoloLens中运行。

1.3 系统开发流程

基于MR的设备维修指导系统开发流程如图3所示。

图3 基于MR的矿用设备维修指导系统开发流程
Fig.3 Development process of maintenance guidance system of mine-used equipments based on MR

(1) 根据矿用设备维修技术手册及机械图纸等相关资料，整理矿用设备基本信息。

(2) 参考设备图纸，在3Ds Max中建立矿用设备三维模型，将模型导入Unity3D平台，完成运行场景的建立。同时将各设备零部件信息、维修流程动画录入数据库，方便后期调用。

(3) 在Unity3D平台下，设置相机模式，搭建系统GUI；编写C#控制脚本，完成视线跟踪触发、语音输入及手势识别三大交互功能，实现系统界面交互和三维场景交互；通过二维码扫描功能选择当前设备类型。

(4) 编写C#控制脚本，实现系统与数据库的通信。

(5) 通过Unity3D平台将系统发布到Universal Windows Platform平台，将生成的vs文件部署到HoloLens中运行。

2 系统关键技术实现

2.1 维修知识库建立

根据设备维修技术手册等相关资料整理矿用设备零件名称、各零部件故障特征、工作原理等信息，结合工人经验和维修手册给出维修指导方案，生成维修流程动画。将生成的维修指导方案存储到信息数据库，采用MySQL Server 5.5进行数据信息管理和开发，利用sqlAccess脚本实现数据库与Unity3D的通信，在Unity3D中通过C#控制脚本实现对矿用设备基本信息的调用。

2.2 MR场景搭建

建立矿用设备三维模型时，将.fbx模型文件导入Unity3D虚拟现实引擎中，设置HoloLens支持的Solid Color相机模式，完成三维场景构建。虚拟采煤机与现实场景的叠加效果如图4所示。在HoloLens中维修人员可对采煤机三维全息模型进行全方位三维视角观察和手势拆装等操作，进而熟悉采煤机的内部结构。

图4 虚拟采煤机与现实场景的叠加效果
Fig.4 Superimposed effect of virtual shearer and realistic scene

2.3 人机交互设计

Unity3D是一个让用户轻松创建三维实景仿真、建筑可视化、实时三维动画等类型互动内容的多平台综合型虚拟现实开发工具，是一个全面整合的专业虚拟现实引擎[10]。本文利用Unity3D引擎完成虚拟操作界面设计，通过编写C#脚本实现视线跟踪、手势识别、语音输入等人机交互功能。

UGUI允许用户快速、直观地创建GUI[11]。本系统采用GUI系统，通过Button控件编辑GUI按钮，并为其添加碰撞组件，当HoloLens内置摄像头上的红外传感装置发出的射线与碰撞体发生交汇时，触发GUI按钮。

人机交互功能包括视线跟踪、手势识别、语音交互，其具体实现如下。

(1) 视线跟踪。通过凝视光标来感知用户视线，实时监测用户头部位置和朝向。视线跟踪原理如图5所示，HoloLens中的红外摄像头实时向前方发射射线，当射线与全息物体Hologram发生碰撞时，蓝色光标出现，蓝色光标的位置即为视线投射位置。用户可以通过旋转头部来移动光标，从而感知当前视线的位置信息。在Visual Studio中，使用Main Camera表示用户头部位置和朝向，通过函数Camera.main.transform.position获取头部位置信息，通过函数Camera.main.transform.forward获取头部朝向信息，调用函数 Physics.RayCast 发出射线后得到RaycastHit结果，该结果包含碰撞点的3D位置参数和碰撞对象。

图5 视线跟踪原理
Fig.5 Principle of line-of-sight tracking

(2) 手势识别。手势包括点击手势和导航手势2种，点击手势用于触发GUI按钮[12]，导航手势用于触发各机械零部件的移动、旋转、缩放和拖拽。定义一个手势识别器来获取用户当前的手势姿态：GestureRecognizerrecognizer = new GestureReco-gnizer()，并通过函数recognizer.StartCapturing-Gestures ()开启手势捕捉功能。点击手势如图6所示，当HoloLens内置的摄像头检测到点击手势时，将表示视线跟踪的圆形光标改为手势图标，提示当前用户设备检测到手势，用户可以在手势光标出现时，采用点击手势触发GUI中的功能按钮。

图6 点击手势
Fig.6 Click gesture

(3) 语音交互。用户可以根据添加在场景中的音频提示完成维修操作流程，并通过语音输入关键字的方式完成交互功能。采用Audio Listener音频监听器监听场景中的声音，添加Audio Source组件，导入要播放的声音文件，采用C#脚本控制音频播放。

2.4 基于二维码的设备管理

矿用设备上有当前设备维修信息的二维码，维修人员抵达维修现场后，佩戴HoloLens并打开系统应用程序，点击“选择设备”按钮开启二维码识别功能，扫描设备上的二维码，实现目标设备选择。在Unity3D中编写C#脚本，通过QRcode源码实现二维码扫描识别处理，创建Canvas画布，画布中的RawImage和Text分别显示摄像头捕捉画面和二维码内部信息。 二维码扫描到的设备类型及型号如图7所示。

2.5 基于MR的维修指导流程实现

具体维修指导流程由一系列可外部触发的动画构成。借助Unity3D中的Mecanim动画系统将不同的.fbx文件上的动画应用到对象上。具体开发流程：① 导入维修工具及矿用设备三维模型;② 给模型添加Animator组件及Animator Controller，在Controller里添加动画剪辑;③ 动态编程实现维修场景调用，为对象添加C#脚本，在Start()函数中获取Animator组件，在Update()函数中调用play()函数来实现不同维修场景动画的触发。

图7 二维码扫描到的设备信息
Fig.7 Device information scanned by QR code

2.6 远程专家访问

HoloLens可通过内置摄像头采集当前检修场景。为了使用HoloLens摄像头，在Unity中启用WebCam，通过应用程序编程接口UnityEngine.VR.WSA.WebCam.Mode检查当前摄像头是否处于视频模式。在命名空间UnityEngine.VR.WSA.WebCam下，采用捕获视频的VideoCaptur类将视频转换为mp4格式，视频通过通信网络传输到维修中心服务器，远程专家可在终端设备观看现场维修视频。专家根据视频情况确定解决方案后，借助HoloLens建立视频会话，对现场维修人员进行指导，协助完成维修。

3 应用实例

以实验室现有5∶1采煤机模型为例分析系统应用效果。采煤机截割部传动系统齿轮磨损维修指导具体流程如下：

(1) 通过采集振动数据，得知采煤机截割部传动系统齿轮磨损。

(2) 基于MR进行人机交互，实施预定流程维修。针对齿轮磨损故障，将相关维修指导模型和指导流程下载到HoloLens中。维修人员根据HoloLens维修指导流程，根据语音和文字注释选用相应的维修工具，按照提示的步骤进行维修操作。维修过程中的部分场景如图8所示，其中图8(a)提示打开采煤机截割部端盖，图8(b)提示用扳手取下安装在滚筒轴端固定法兰上的六角螺栓，并拔出该轴端固定法兰, 图8(c)提示按照箭头所指方向抽出滚筒轴，图8(d)为拔出滚筒轴，图8(e)提示根据虚拟注释取出传动链，图8(f)提示更换磨损齿轮。

(3) 远程专家协作指导特殊情况的维修。预设维修中遇到齿轮难以拆卸的难题，采用HoloLens内置摄像机将维修视频发送给维修中心，远程专家根据视频情况确定解决方法，通过视频会话与现场维修人员进行沟通，指导现场维修人员进行维修操作。

(a) 打开采煤机截割部端盖

(b) 取下六角螺栓,拔出法兰

(c) 抽出滚筒轴提示

(d) 拔出滚筒轴

(e) 取出传动链

((f) 更换磨损齿轮

图8 采煤机齿轮磨损故障维修指导效果
Fig.8 Effect of shearer gear wear failure maintenance guidance

4 结语

借助HoloLens实现了基于MR的矿用设备维修指导系统。通过视线跟踪、语音交互、手势识别等方式实现了人、机、环境的有效融合；采用Unity3D画布组件设计了二维码扫描功能，实现了维修设备信息化管理；利用Mecanim动画系统开发了维修指导模块，确保维修流程规范化。该系统可有效提高维修操作人员的技术能力和维修效率，是一种全新的设备维修指导模式，可推广应用至专业维修人员难以及时到达的场合。但该系统在MR的三维模型虚实融合、空间一致性及模型渲染速度等方面尚不完善，后期主要针对以上几点进行深入研究。

参考文献( References)：

[1] 张红岩.基于虚拟现实技术的煤矿安全培训系统[J].工矿自动化,2014,40(2):88-92.

ZHANG Hongyan.Coal mine safety training system based on virtual reality technology[J].Industry and Mine Automation,2014,40(2):88-92.

[2] 田子建.虚拟现实教学手段在煤矿特种工培训中的应用[J].工矿自动化,2013,39(3):40-42.

TIAN Zijian.Application of virtual reality teaching means in special operators training of coal mines[J].Industry and Mine Automation,2013,39(3):40-42.

[3] 张旭辉,王妙云,张雨萌,等.数据驱动下的工业设备虚拟仿真与远程操控技术研究[J].重型机械,2018(5):14-17.

ZHANG Xuhui,WANG Miaoyun,ZHANG Yumeng,et al.Virtual simulation and remote control technology with data-driven for industrial equipment[J].Heavy Machinery,2018(5):14-17.

[4] NEUMA U,MAJORS A. Cognitive, performance, and systems issues for augmented reality applications in manufacturing and maintenance[C]//IEEE 1998 Virtual Reality Annual International Symposium, Atlanta,GA,1998.

[5] FIORENTINO M, UVA A E, GATTULLO M, et al. Augmented reality on large screen for interactive maintenance instructions[J].Computers in Industry, 2014,65(2):270-278.

[6] HAVARD V, BAUDRY D, LOUIS A,et al.Augmented reality maintenance demonstrator and associated modelling[C]//2015 IEEE Virtual Reality,Arles,France, 2015.

[7] 李喆,陈佳宁,张林鍹.核电站设备维修中混合现实技术的应用研究[J].计算机仿真,2018,35(5):340-345.

LI Zhe,CHEN Jianing,ZHANG Linxuan.Application of mixed reality technology in maintenance of nuclear power stations[J].Computer Simulation,2018,35(5):340-345.

[8] 杨晓,杨家轩,余枫,等.基于混合现实眼镜的船舶远程故障诊断及维修保养辅助系统和方法: CN106707810A[P].2017-05-24.

[9] 马思群,王开顺,李健,等.基于Unity3D的动车转向架虚拟拆装培训系统研究[J].铁路计算机应用,2017,26(8):33-37.

MA Siqun,WANG Kaishun,LI Jian,et al.Virtual disassembly and assembly training system of EMU bogie based on Unity3D[J].Railway Computer Application,2017,26(8):33-37.

[10] 帅朝林,陈雪梅,邱世广.虚拟现实技术在航空智能制造中的应用思考与展望[J].航空制造技术,2016(16):26-33.

SHUAI Chaolin,CHEN Xuemei,QIU Shiguang.Thinking and prospect of virtual reality application in aerospace intelligent manufacturing[J].Aeronautical Manufacturing Technology,2016(16):26-33.

[11] 杨壹斌,李敏,解鸿文.基于Unity3D的桌面式虚拟维修训练系统[J].计算机应用,2016,36(增刊2):125-128.

YANG Yibin,LI Min, XIE Hongwen.Desktop virtual maintenance training system based on Unity3D[J].Journal of Computer Applications,2016,36(S2):125-128.

[12] 曾华荣,黄良,陈沛龙.基于混合现实技术的电力协同仿真设计方法[J].中国农村水利水电,2016(1):158-160.