手势交互是一个“古老”的课题,即便VR在今天也是旧调新弹,但前者的研究历史要更漫长。Thalmic Labs公司的创始人斯蒂芬表示:“我们相信这项技术能够扩展我们的能力,使我们利用自然的动作来直观地控制数字世界。”
Kinect类交互设备满足了运动轨迹的抓取和反馈,但这类设备是基于计算机图形学理论,即便VR为它们提供了更广阔的想象力,人体动作输出与效果反馈之间的巨大落差,只会让体验者更加难受!(在虚拟世界握住物体,手里不会有充盈感)
VR需要的是能反馈“力”的交互方式
OYMotion公司将目光瞄向生物电学对手势交互的优化能力。人体的动作由骨骼和肌肉配合产生,肌肉的两端肌腱附着在骨骼上,中间是肌肉纤维,神经系统发送到肌肉的控制信号最终的表现是一种电流,当肌肉纤维受到电流刺激时,产生收缩,通过肌腱带动骨骼,最终产生动作。起到关键作用的这种电流被称为肌电信号EMG。
EMG刺激肌腹肌肉纤维,带动肌腱牵动骨骼产生动作(示意图)
肌电信号和动作间有直接关系。手部动作的控制信号,在手臂位置可以通过生物传感器捕获。OYMotion基于这个原理,研发了gForce手势环,另外,OYMotion正和国内虚拟现实企业大朋VR联合攻关研发,将把这个肌电传感技术纳入到虚拟现实设备系统中。
gForce手势环
OYMotion CEO介绍,在gForce手势环的实施中,OYMotion将多个自主研发的肌电传感器做成环状小装置,佩戴在手臂上,以此截获手臂内多个肌肉群的肌电信号,经过一系列的信号处理,结合基于机器学习基础的模式识别算法,实现手势动作的区分,最终应用于VR/AR下的人机交互。手臂的姿态,例如是垂下或者是抬起,往左指或者是往右指,则通过九轴运动传感器加上姿态融合算法实现跟踪。
德国哈索普列特纳研究所HCI(Human-Computer Interaction 人机互动)实验室也开发了一款VR交互设备Impacto。玩家可以把它佩戴在手臂上体验VR拳击游戏,而且这个过程不会你因为屡屡战败而受到任何伤害。项目负责人Pedro Lopes提到,Impacto结合了触觉反馈(haptic feedback)和肌肉电刺激(EMS:Electrical Muscle Stimulation)精确模拟实际感觉。
相比起来,Impacto略显笨重,而且一时半会儿应该是拿不出量产计划,这一点不如OYMotion的手势环更有市场诱惑力。
在虚拟世界里实现“拳拳到肉”
VR追求的沉浸感除了手势识别,另一个比较重要的部分是“我们能不能在虚拟世界里自由位移”,在移动VR的大趋势下,这一点尤为重要。大朋VR研发负责人表示,gForce手势环解锁了用户在虚拟世界里的手部动作,它将和M-Polaris定位系统共同组成更加完备的VR硬件生态系统,体验者真正能在虚拟世界里,走动,跑跳,实现更多有触感的动作。
M-Polaris是大朋VR自研移动VR空间定位系统,采用主动光学定位技术,利用多目摄像头技术获取空间信息,配合主动发光的红外LED标记点,实现光线环境复杂情况下排除其他光线干扰的定位,动作捕捉精度非常高。gForce手势环目前已经有工程版本,据OYMotion负责人介绍,成熟量产的时间大概在今年Q4,大朋VR技术团队已经和OYMotion研发部门进行联合技术攻关,也许在虚拟世界里来一场拳击赛,只是时间问题了。
M-polaris移动VR空间定位系统
交互功能在VR的概念里占据很大的比例,与感官上的沉浸感同等重要。我们从来没有停止过对人类与智能终端交互行为的研究,无论是键鼠时代,还是触屏时代,手势交互是继鼠标、键盘和触屏之后新的人机交互方式。手势交流是与生俱来的本能,在学会语言和文字之前,人类已经能用肢体语言互相交流。
肢体动作能最直接的满足我们改变环境的想法,同样,它也能最直接的满足我们对虚拟世界的想象。在视觉上,可以通过光和美术技巧来体现“拳拳到肉”的感觉,但在VR概念里,追求高度沉浸,就必须是真正的“拳拳到肉”。