基于Leap Motion和无线HMD的虚拟化学系统

数媒竞赛获奖作品信息及简介
作品名称基于Leap Motion和无线HMD的虚拟化学系统
团队成员

多传感器融合技术是指对多种信息进行获取并对信息进行综合处理和优化的技术。多传感器融合技术根据信息的内在联系和规律,可以有效减少无用和错误的信息,得到有效和正确的部分。相较于单传感器,运用多传感器融合技术可以增强数据的精度和可信度,从而提高整个系统的健壮性和可靠性。

近年来,随着计算机硬件软件的提升,虚拟现实技术蓬勃发展。但仍旧缺少合适的输入设备。本选题将虚拟现实与Kinect和Leap motion这两种体感传感器相结合,提出一种基于多传感器的虚拟现实交互方式。与传统交互方式相比,这种交互技术能让人们摆脱复杂的输入设备,让身体与虚拟环境进行自然的互动。

本选题将这种多传感器融合的交互方式应用于虚拟的化学实验。化学这门学科不仅重视理论知识,更强调实际的动手实验能力。与传统的信息化教学方式相比,本选题提出的这种虚拟化学实验室方式拥有仿真性,安全性,经济性,可重复使用性等诸多优点,也更贴近化学实验对动手操作的要求。

本选题的基本内容是开发一个基于多传感器的虚拟化学实验室内。其中有以下创新模块:

1.虚拟现实模块:实现一个虚拟的化学实验环境。拟使用无线头戴式的虚拟现实终端GearVR,并在Unity3D引擎中制作虚拟场景。

2.动作识别模块:识别用户当前的身体动作,并将其动作实时反馈到虚拟实验场景中,与场景进行交互。拟使用体感摄像头Kinect。

3.手势识别模块:识别用户当前细微的手势动作,并将其动作实时反馈到虚拟实验场景中,与虚拟化学实验仪器进行交互。拟使用体感控制器Leap Motion。

4.无线通信模块:由于采用无线的虚拟现实头戴终端,故需要使用无线网络通信将传感器数据发送到终端。拟采用基于UDP协议的局域网通信方式。

5.化学实验模块:模拟真实的化学实验操作以及化学反应。该项目针对性强,范围广。减少对于人体和环境有危害的化学实验,使用者能亲自上手操作,了解反应过程。

6.  目前市场上没有商业化的类似虚拟化学项目,受众人群广泛。