0 引言
随着矿山机械化、自动化水平的提高，矿山设备结构的复杂化、操作的精细化对操作人员的安全培训提出了更高的要求。近年来，虚拟现实技术在矿山设备实训工作中发挥了越来越重要的作用[1-5]，实现了视觉真实性，但互动操作真实性有待提高。
数据手套能够捕捉手部姿态，是提高虚拟现实技术操作真实性的重要手段。数据手套按工作原理主要分为图像式、机械式、光纤式和微惯性传感器式[6-7]。图像式对光照要求严苛，易产生遮挡；机械式质量大，操作不方便；光纤式不耐疲劳，寿命短；微惯性传感器式具有不受光照限制、轻便耐用、易更换等优点，但存在需要布置的传感器数量多的缺点[8]。目前主要通过优化数据处理算法的途径来减少传感器布置数量[9-10]，但导致数据手套的准确性不高。本文在分析矿山设备实训基本动作特征的基础上，开发了基于矿山设备实训手部运动模型的数据手套，可减少并优化微惯性传感器布置，直接求解手部运动姿态，提高数据手套的准确性。
1 手部运动特征及简化模型
1.1 手部结构
人类手部结构如图1所示。手部结构特征分析是构建手部运动模型、分析手部运动自由度的基础。根据人体解剖学[11-12]，手部由27块骨骼组成：连接前臂与手腕的8块腕骨；连接手指与手腕的5块掌骨；14块指骨(除拇指由近节指骨和远节指骨组成外，其余手指均由近节指骨、中节指骨和远节指骨组成，且3块指骨长度比例约为5∶3∶2)。各骨骼之间由19个关节组成：5个连接腕骨与掌骨的腕掌关节，5个连接掌骨与近节指骨的掌指关节(Metacarpophalangeal Point，MP)，除拇指外4个连接近节指骨与中节指骨的近指关节(Proximal Interphalangeal Point，PIP)，4个连接中节指骨与远节指骨的远指关节(Distal Interphalangeal Point，DIP)，1个拇指连接近节指骨与远节指骨的指关节(Interphalangeal Point，IP)。腕骨较小，同时5个腕掌关节协调运动，可视为1个连接前臂与手掌的手腕关节。
图1 人类手部结构
Fig.1 Human hand structure
1.2 手部运动力学模型
根据手部结构分析，手部运动力学模型可以用由“骨链”组成的树形连杆力学模型进行描述，其中除拇指外的4块掌骨相互活动范围很小,可近似为手掌刚体，指骨及前臂均可近似为杆件或连杆，如图2所示。
图2 手部运动力学模型
Fig.2 Hand motion mechanics model
手部的主要动作由前臂的自由运动、手掌的内向旋转、手指的内向弯曲和左右轻微摆动完成，手部共有27个自由度：① 前臂可自由运动，具有6个自由度。② 手掌刚体与前臂具有1个内向旋转自由度。③ 拇指手腕关节具有弯曲和外展2个自由度，MP和IP具有1个内向弯曲自由度。④ 除拇指外的每根手指具有4个自由度(MP具有弯曲和外展2个自由度，PIP和DIP具有1个内向弯曲自由度)。
1.3 矿山设备实训手部运动模型
手指运动具有高度的协调性，所有手指都是在2个关节确立的平面中运动，各手指之间存在强耦合关系：手掌带动手指运动的横向相关性；手指上级关节控制下级关节的纵向相关性。参照人体工程学资料[13]，手部各关节运动限制包括：① 中指MP外展角度较小，可认为中指MP不能进行外展运动。② 单个手指的3块指骨的运动处于同一个平面内。③ 各手指末端关节弯曲度是其前面关节弯曲度的2/3。④ 相邻四指之间的夹角不超过25°，大拇指与食指之间的夹角不超过90°。
矿山设备实训主要是对提升、运输、开采、掘进设备进行操作培训，需要操作的控件包括按钮、旋钮、手柄，对应的手部基本动作包括拇指摁、食指摁、拧、拉(推)，如图3所示。
(a) 拇指摁
(b) 食指摁
(c) 拧
(d) 拉(推)
图3 矿山设备实训基本动作
Fig.3 Basic movements of mine equipment training
拇指摁是拇指远节指骨按压按钮，其余四指弯曲至最大角度。食指摁是食指远节指骨按压按钮，拇指自然弯曲，其余三指最大角度弯曲。拧是拇指远节指骨与食指远节指骨或中节指骨夹住旋钮，其余三指基本弯曲至最大角度，手部发力转动旋钮。拉(推)根据个人习惯有2种动作手势：① 拇指和食指自然弯曲成环，其余三指跟随食指自然弯曲成半环，套住手柄杆部，发力拉或推动杆部。② 手掌自然握拳，手柄端部位于掌心，发力拉或推动杆部。2种动作手势基本相同。
4个基本动作主要由食指、拇指单独或共同完成，其余三指均处于自然弯曲状态或最大弯曲状态，其运动姿态不影响动作自然完成，可以仅考虑拇指和食指的运动，其余手指运动满足手部关节运动限制即可。拇指远节指骨长度可由近节指骨和掌骨长度按比例确定，IP弯曲程度可由MP确定；食指远节指骨长度可由中节指骨和近节指骨长度按比例确定，DIP弯曲程度可由相邻关节弯曲程度按比例确定。因此，简化手部运动力学模型时可不考虑远节指骨，仅考虑前臂，拇指掌骨、近节指骨，食指掌骨、近节指骨、中节指骨组成的六连杆。同时，前臂的6个自由度不影响手部4个基本动作，可以仅考虑拇指手腕关节弯曲和外展2个自由度、拇指MP 1个内向弯曲自由度、食指手腕关节1个内向旋转自由度、食指MP弯曲和外展2个自由度、食指PIP 1个内向弯曲自由度，共7个自由度。因此，手部运动力学模型可简化为二指六连杆七自由度矿山设备实训手部运动模型，如图4所示。
图4 矿山设备实训手部运动模型
Fig.4 Hand motion model for mine equipment training
2 指骨位置及姿态解算
指骨位置及姿态解算的目的是将微惯性传感器在载体坐标系下测量的数据转换至导航坐标系，获得指骨所在位置及方向。解算方法有方向余弦法、欧拉角法和四元数法[14]：方向余弦法需要求解9个微分方程，计算量大，不满足数据手套实时性要求；欧拉角法存在万向节死锁问题，有不能求解的奇点；四元数法计算量小、精度高、可避免奇异性。因此采用四元数法求解手部运动姿态。
2.1 瞬轴四元数求解
四元数的一般形式为
q=q0+q1i+q2j+q3k
(1)
式中：q0，q1，q2，q3均为实数；i，j，k为相互正交的单位向量。
四元数的三角函数形式为
(2)
式中：α为旋转角度；un为载体坐标系相对导航坐标系旋转的瞬轴。
四元数对时间求导可得
(3)
式中：
为导航坐标系下的旋转角速度向量；×为向量积。
根据共轭四元数的性质，则有
(4)
式中：
为载体坐标系下的旋转角速度向量；q*为q的共轭四元数。
将式(4)代入式(3)，可得
(5)
可表示为
(6)
式中ωx，ωy，ωz分别为载体坐标系下绕x，y，z轴的旋转角速度。
将式(6)代入式(5)，式(5)展开为矩阵形式：
(7)
式(7)可表示为
(8)
采用Runge-Kunta法求解式(8)，微分方程一阶Runge-Kunta解为[15]
(9)
式中：qr[t]为四元数q在t时刻的分量，r=0，1，2，3；Δt为采样时间间隔。
将式(8)代入式(9)，可得
(10)
根据式(10)可求得任意时刻的瞬轴四元数。
2.2 位置解算
由微惯性传感器获得的载体坐标系下的加速度矩阵为Ab，转换至导航坐标系下的加速度矩阵为An，转换关系为
(11)
式中
为转换矩阵。
(12)
2.3 姿态解算
载体绕3个坐标轴的旋转序列等同于绕单个坐标轴(瞬轴)的1次旋转，载体姿态通常用绕z轴旋转的航向角Ψ、绕y轴旋转的俯仰角θ和绕x轴旋转的横滚角φ表示。绕3个坐标轴旋转的次序不同，以姿态角表示的转换矩阵的形式不同。按照z轴→y轴→x轴旋转顺序求得的转换矩阵为[16]
(13)
由式(12)和式(13)可得
(14)
根据式(14)可求得任意时刻载体在导航坐标系的姿态。
3 数据手套实现
3.1 总体设计
数据手套总体设计原理如图5所示。将HTC光学定位系统的Tracker追踪器固定于数据手套腕部，配合Lighthouse基站及配套软件提供前臂在导航坐标系的绝对坐标，定位手部整体位置；基于矿山设备实训手部运动模型，在手套大拇指和食指上布置微惯性传感器以提供指骨载体坐标，数据经射频传输模块传输至计算机，通过指骨位置及姿态解算获得指骨在导航坐标系的位置及姿态；虚拟现实软件根据前臂绝对坐标、指骨导航坐标，通过建模实时重生成手部运动姿态，并在虚拟系统显示。
图5 数据手套总体设计原理
Fig.5 Overall design principle of data glove
3.2 硬件实现
采用九自由度微惯性传感器MPU9150，该传感器集成了三轴加速度计、三轴陀螺仪和三轴磁力计，封装尺寸为3 mm×3 mm×1 mm，不影响手指运动灵活性。根据矿山设备实训手部运动模型，在手套背部共布置5个微惯性传感器，如图6所示，其中拇指掌骨、近节指骨处各1个，食指掌骨、近节指骨、中节指骨处各1个。Tracker追踪器及射频传输模块位于数据手套腕部，与传感器采用线缆连接，线缆沿指骨布置。数据手套采用材质为弹性纤维的全指手套，伸缩性适中，适应手掌大小差异。
图6 数据手套硬件结构
Fig.6 Hardware structure of data glove
3.3 软件实现
软件主要包括姿态解算模块和虚拟现实模块两部分，采用Unity3D内置C#脚本语言进行编程。姿态解算模块基于指骨位置及姿态解算算法，将传感器数据转换为导航坐标系中的手部指骨位置和姿态数据，与Tracker追踪器定位数据共同作为虚拟现实模块的输入数据。鉴于个体差异，初次佩戴数据手套时虚拟现实模块会通过校准动作获得手部校准数据，以此确定手掌大小，构建三维手部模型，依据运动参数控制关节运动，实现实时手部姿态可视化展示。
4 测试分析
以综采工作面实操平台为数据手套准确性测试平台，该平台能够模拟操作采煤机和液压支架，实物面板控件包括按钮、旋钮、手柄等，控件最小直径为22 mm，可开展矿山设备实训操作中拇指摁、食指摁、拧、拉(推)4种基本动作测试。虚拟场景中构建与真实空间坐标重合的虚拟面板，被测人员在佩戴虚拟现实眼镜的条件下，依据虚拟面板控件位置和数据手套虚拟图像操作控件，测试场景如图7所示。
分3组测试不同动作条件下指尖与控件中心点偏差，由3个不同测试人员操作，每组测试4个动作，每个动作各30次，每次操作完成后手部离开操作面板20 cm以上再进行下一次操作，测试数据见表1。可看出4个动作最大误差为9 mm，小于控件最小直径，满足矿山设备实训操作需要；4个动作中拇指摁的误差较大，这是由于拇指的外展和内曲幅度均较大。
图7 测试场景
Fig.7 Test scenario
表1 数据手套准确性测试数据
Table 1 Accuracy test data of data glove
5 结论
(1) 矿山设备实训操作主要由拇指摁、食指摁、拧、拉(推)4个基本动作组成，因此手部运动力学模型可简化为二指六连杆七自由度矿山设备实训手部运动模型，以减少微惯性传感器的布置数量。
(2) 采用四元数法推导了指骨位置及姿态解算算法，用于求解手部运动姿态。
(3) 数据手套中Tracker追踪器提供前臂绝对坐标，微惯性传感器提供指骨载体坐标，指骨载体坐标经指骨位置及姿态解算算法转换为指骨导航坐标，通过射频传输模块将坐标数据传输至虚拟现实软件，实现手部运动姿态实时重生成。测试结果表明，4个基本动作最大误差为9 mm，小于控件最小直径，满足矿山设备实训操作需要。
参考文献（Ｒｅｆｅｒｅｎｃｅｓ）：
[1] 陈文博.悬臂式掘进机虚拟仿真平台设计及关键技术研究[D].焦作:河南理工大学,2015.
CHEN Wenbo.Design and key techniques of virtual reality simulation platform for boom-type roadheader[D].Jiaozuo:Henan Polytechnic University,2015.
[2] 王兵建,张盛,张亚伟,等.虚拟现实技术在煤矿安全培训中的应用[J].煤炭科学技术,2009,37(5):65-67.
WANG Bingjian,ZHANG Sheng,ZHANG Yawei,et al.Application of virtual reality technology in coal mine safety training[J].Coal Science and Technology,2009,37(5):65-67.
[3] 安葳鹏,孟卫娟,屈星龙.基于虚拟现实的煤矿大型设备培训系统研究[J].测控技术,2016,35(10):105-108.
AN Weipeng,MENG Weijuan,QU Xinglong.Research on large colliery equipment training system based on virtual reality[J].Measurement & Control Technology,2016,35(10):105-108.
[4] 王大虎,刘海洋,王敬冲.基于虚拟现实的采煤机培训系统开发[J].计算机仿真,2015,32(6):262-265.
WANG Dahu,LIU Haiyang,WANG Jingchong.Development of shearer training system based on virtual reality[J].Computer Simulation,2015,32(6):262-265.
[5] 张红岩.基于虚拟现实技术的煤矿安全培训系统[J].工矿自动化,2014,40(2):88-92.
ZHANG Hongyan.Coal mine safety training system based on virtual reality technology[J].Industry and Mine Automation,2014,40(2):88-92.
[6] 李洋洋.基于LM和遗传算法优化的RBF数据手套手势识别[D].哈尔滨:哈尔滨理工大学,2018.
LI Yangyang.Data glove gesture recognition with the RBF neural network modified by LM and genetic algorithm[D].Harbin: Harbin University of Science and Technology,2018.
[7] 顾伟宏,闵昆龙,张晓娜.新型数据手套及其手势识别研究[J].自动化仪表,2011,32(2):56-58.
GU Weihong,MIN Kunlong,ZHANG Xiaona.Research on the new data glove and its gesture recognition[J].Process Automation Instrumentation,2011,32(2):56-58.
[8] 张亚龙.光学定位在虚拟现实中的研究与应用[D].开封:河南大学,2017.
ZHANG Yalong.Research and application of optical positioning in virtual reality[J].Kaifeng: Henan University,2017.
[9] 李波,王增辉,曹福毅.基于5点数据手套的虚拟手精确控制方法[J].沈阳工程学院学报(自然科学版),2015,11(2):155-158.
LI Bo,WANG Zenghui,CAO Fuyi.Virtual hand accuracy control method based on data glove with five points[J].Journal of Shenyang Institute of Engineering(Natural Science),2015,11(2):155-158.
[10] 王伟栋,费洁,杨英东,等.基于MEMS的数据手套传感技术研究[J].电子设计工程,2014,22(21):182-185.
WANG Weidong,FEI Jie,YANG Yingdong,et al.Research of sensing technology of data glove based on MEMS sensor[J].Electronic Design Engineering,2014,22(21):182-185.
[11] 李剑锋,张兆晶,张雷雨,等.手部外骨骼运动相容性设计综述[J].上海交通大学学报,2018,52(6):729-742.
LI Jianfeng,ZHANG Zhaojing,ZHANG Leiyu,et al.Review of the kinematic compatibility design of hand exoskletons[J].Journal of Shanghai Jiao Tong University,2018,52(6):729-742.
[12] 柏树令.系统解剖学[M].北京:人民卫生出版社,2009.
BAI Shuling.Systematic anatomy[M].Beijing:People's Medical Publishing House,2009.
[13] 王爱民,戴金桥.一种新型的力反馈实现方法[J].东南大学学报(自然科学版),2007,37(3):414-419.
WANG Aimin,DAI Jinqiao.Novel technique for force feedback[J].Journal of Southeast University(Natural Science edition),2007,37(3):414-419.
[14] 吴聪,刘俊.四元数互补滤波的机械手手势姿态解算[J].上海电机学院学报,2018,21(3):13-17.
WU Cong,LIU Jun.Quaternion complementary filtered manipulation hand gesture solving[J].Journal of Shanghai Dianji University,2018,21(3):13-17.
[15] 吴强,熊志刚.基于龙格-库塔方法的一阶微分方程组的初值问题[J].数学理论与应用,2006,26(3):94-97.
WU Qiang,XIONG Zhigang.Numerical solution if systems of differential equation in fuzzy initial value condition based on the Runge-Kutta method[J].Mathematical Theory and Applications,2006,26(3):94-97.
[16] 杨志菊,袁刚,徐新林.飞行器姿态解算方法及仿真研究[J].辽宁工业大学学报(自然科学版),2010,30(5):306-309.
YANG Zhiju,YUAN Gang,XU Xinlin.Aircraft postures algorithm and their simulation study[J].Journal of Liaoning University of Technology(Natural Science Edition),2010,30(5):306-309.