Tel:153 2100 2012

Email:ceo@lianyun.wang

Beijing Four Sentences of Heng Qu science and technology Co., Ltd.
北京横渠四句科技有限公司
拟转化成果 | 悬浮3D显示+手势交互=未来触手可及
来源:中国光学《液晶与显示》(ESCI、Scopus收录,中文核心期刊)2022 年第 5 期 | 作者:4SHQ | 发布时间: 723天前 | 1972 次浏览 | 分享到:

图片

图5:Leap Motion 以及参考坐标系
图源:Leap Motion 官网

  2. 准确手势交互的实现方法  

由于 Leap Motion 的参考坐标系和 3D 图像的参考坐标系原本不存在关联,因此悬浮于用户身体左侧的物体可能与位于用户身体右侧的手产生交互,这就自然而然带来违和感和交互的不便利性。

为解决此问题,研究人员通过标定以及矩阵变换的方法,将 Leap Motion 的坐标映射到 3D 图像的参考坐标系;相当于在 3D 图像所在的虚拟空间生成了一个虚拟手来控制 3D 图像的变化,而这一虚拟手由于现实中用户的手处在相同的空间位置,达到了虚拟和现实的统一。

  3. 多手对多物体的独立交互  
目前国内外进行了一些悬浮真 3D 显示手势交互技术研究,但多数仅考虑单个 3D 物体的交互或 3D 场景的整体交互,未考虑复杂 3D 场景中多个 3D 物体的独立交互。那么如何理解独立交互呢?想象一下我们日常生活中用到的个人电脑,我们新建两个窗口,只拖动位于上层的窗口,这一交互操作不会对位于下层的窗口产生影响,反之亦然,那么我们认为这两个窗口对象都是可以独立交互的。

图片

图片

图6:2D 显示鼠标交互

在 2D 显示下的鼠标交互,由于两窗口重叠的区域窗口会发生遮挡,我们能够交互到的只有上层的窗口;而且鼠标只能单点交互,不能同时拖动两个窗口,因此独立交互较容易实现。而在 3D 显示、手势交互的系统中,1 和 2 两个 3D 物体一旦发生重合,重合区域既属于物体 1 又属于物体 2。因此有时用户只需要对 1 进行交互的时候不小心穿过了 2,就会导致 2 也被交互了,我们称这种现象为交互串扰。当系统由单手交互扩展到多手交互,每只手都需要进行不同的交互,因此在 3D 物体互不干扰的前提下,还需要能实现不同物体同时响应对应手的交互。

为此研究人员提出一种交互通道机制。每个 3D 物体都有一个通道用于连接一只虚拟手。成功连接的 3D 物体与手建立其交互关系,它的交互通道就被这只手的数据占用了,那么其他手将无法占据这一交互通道,其他的 3D 物体将不会再容许这只手占用交互通道,使得成功连接的 3D 物体与手成为独立的交互组合,直到手主动放弃交互。

图片

图7:多物体交互的通道机制
图源:液晶与显示, 2022, 37(5): 657. Fig.5

利用交互通道机制,可以有效减少多手对多物体之间的交互串扰,实现独立交互;当然在特定的手势下也可以让 3D 场景全局或局部的几个物体按照同一交互方式进行交互。交互通道机制使交互的设计与实现更加灵活,更加有助于激发用户的创造性。