-
题名支持多模态交互的桌面增强显示系统
- 1
-
-
作者
王子珩
姜忠鼎
-
机构
复旦大学软件学院
复旦大学上海市数据科学重点实验室
-
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第7期177-188,共12页
-
基金
教育部第二批“新工程”研究与实践项目(E-XTYR20200621)。
-
文摘
传统的显示设备在受限的物理空间内难以向用户呈现大量画面和复杂内容,而AR头戴式显示设备通过将三维的可视化内容悬浮显示在用户眼前,在不占用额外物理空间的条件下可增强真实世界的画面显示,呈现形式更为丰富的内容。设计AR虚拟空间与真实电脑画面虚实融合的桌面增强显示系统。通过基于二维码识别的空间定位技术将真实电脑画面映射至虚拟空间内,实现交互空间的统一,同时构建窗口布局计算模型使得系统可以根据用户自定义参数自动生成窗口并设置其布局。在此基础上,利用蓝牙通信、网络传输、操作系统底层映射和结合视线检测的语音识别等技术支持手势、键鼠和语音的多模态交互方式,设计鼠标移动策略以扩展鼠标在三维空间下的多种操作模式。实验结果表明,与隔空手势交互、鼠标交互等传统交互方式相比,该系统在处理常见电脑任务时平均耗时节省10%~30%,具有较高的交互效率,且在跨窗口连续移动和瞬间跳转时能够正确显示鼠标位置。
-
关键词
头戴式显示设备
增强显示
虚实融合
多模态交互
人机交互
-
Keywords
Head Mounted Display(HMD)device
enhanced display
integration of virtuality and reality
multi-modal interaction
human-computer interaction
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于HMD的某发射动力装置虚拟训练系统设计与实现
被引量：5
- 2
-
-
作者
王少蕾
周源
许建国
赖建伟
-
机构
海军工程大学兵器工程学院
-
出处
《海军工程大学学报》
CAS
北大核心
2020年第5期82-88,共7页
-
文摘
针对目前某型导弹发射动力装置技术保障教学和训练存在的不足,以及装备复杂造价昂贵、设备精密易耗与训练频次高、实战化训练要求高等矛盾突出的问题,开发了基于头戴式显示设备(HMD)的某型导弹发射动力装置虚拟训练系统。该系统基于Unity开发引擎,使用虚拟装配自适应精确碰撞检测技术和虚拟空间瞬移、大场景自主漫游等关键技术,采用分布式架构,实现单兵岗位自训、多人协同模拟训练,解决了多人模式协同训练的难题。此外,该系统具有模型场景可视化、人机交互性好、装配与维修真实感和操作沉浸感强等特点,具有一定的军事和经济效益,推广应用前景较广阔。
-
关键词
虚拟训练系统
发射动力装置
头戴式显示设备
-
Keywords
virtual training system
launching power device
head mounted display
-
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
-
