Tel:010-8443 9899

Email:ceo@lianyun.wang

Beijing Four Sentences of Heng Qu science and technology co., ltd.
北京横渠四句科技有限公司
拟转化成果 | 悬浮3D显示+手势交互=未来触手可及
来源:中国光学《液晶与显示》(ESCI、Scopus收录,中文核心期刊)2022 年第 5 期 | 作者:4SHQ | 发布时间: 153天前 | 357 次浏览 | 分享到:

在电影《钢铁侠 2》中有这样一幕:影片主角托尼·斯塔克在一张悬浮的 3D 地图上轻点手指,地图发生令人眼花缭乱的变化,他过世的父亲遗留给他的“信息”——一种新型人造元素的 3D 原子结构模型被提取出来。

图片

图1:《钢铁侠 2》电影片段

许许多多的科幻电影中的类似场景无不体现出人们对 3D 显示与交互无限的遐想。可喜的是,这样的遐想或许有望在不远的将来成为现实。

近日,北京航空航天大学 王琼华 教授团队开发出一套悬浮真 3D 显示实时交互系统,展现出了该种 3D 显示与交互系统的雏形。该系统能够动态地显示裸眼3D图像,在 3D 片源分辨率为 4K 下实现 30 帧/秒的实时准确的手势交互,并且支持通过预设的多种手势实现多手对多物体的独立交互
该成果以“基于 Leap Motion 手势识别的悬浮真 3D 显示实时交互系统”为题发表于《液晶与显示》(ESCI、Scopus收录,中文核心期刊)2022 年第 5 期。

  1. 悬浮真 3D 显示实时交互系统构成  

该系统主要分为显示模块和交互模块,并通过计算机进行衔接和数据处理。

图片

图2:系统结构
图源:液晶与显示, 2022, 37(5): 658. Fig. 6

显示模块基于集成成像 3D 显示,这一技术可追溯到 1908 年 Lippmann G. 提出的集成摄影术。集成成像 3D 显示利用光路可逆原理,使用透镜阵列将光线在特定的空间点先汇聚再发散,如同光本就是从汇聚点发出的一样,从而模拟真实物体表面发光或反射光的情况,因此被认为是一种裸眼真 3D 显示。

在此基础上研究人员应用了悬浮器件——二面角反射镜阵列。从一个点光源出发出的光经过每个二面角反射镜单元后,被反射 2 次汇聚成悬浮于空中的像。因此集成成像 3D 显示的 3D 图像将被投射出整个系统之外,带来更强的视觉冲击,也为更自由的交互提供便利。

图片

图3:悬浮真 3D 显示原理
图源:液晶与显示, 2022, 37(5): 655. Fig. 2

图片
图4:二面角反射镜单元
图源:液晶与显示, 2022, 37(5):655. Fig. 3

交互模块通过体感控制器 Leap Motion 采集手势数据。Leap Motion 是一款基于双目计算机视觉的体感控制器,它通过顶部的透明窗口拍摄图片,提取用户手的关节特征,进而反映整个手的手势和姿态。Leap Motion 采集到的数据将被送入计算机处理,把用户手势反映的信息转化为控制 3D 片源变化的指令,实现 3D 片源随着手势动态变化,也就能结合显示模块实现 3D 图像随着手势动态变化。