移动增强现实应用中,用户频繁地与环境中不同的智能物体交互完成任务,其完成效率和用户体验由所采用的定向交互技术决定.然而,从交互手段上来说,现阶段定向交互依赖于Wi-Fi、BLE等无线技术,其信号全向传播的特点使其不能利用用户的空间...移动增强现实应用中,用户频繁地与环境中不同的智能物体交互完成任务,其完成效率和用户体验由所采用的定向交互技术决定.然而,从交互手段上来说,现阶段定向交互依赖于Wi-Fi、BLE等无线技术,其信号全向传播的特点使其不能利用用户的空间环境(即位置和方向)来缩短互动时间,带来了不必要的时间成本;从交互界面上来说,现阶段基于视觉的界面存在可靠性低、扩展性低等问题,进一步限制了系统的通用性.本文介绍了RetroAR——基于可见光逆反射通信的定向交互系统.RetroAR利用了光的定向传播特性来保留用户的空间环境,并依靠逆反射通信实现用户与目标设备之间无连接的快速定向交互.系统实验表明,RetroAR最远可在4 m距离支持100°视角的交互,同时实现厘米级的六自由度(6-Degrees Of Freedom,6-DoF)三维跟踪.用户研究表明,与基于Wi-Fi的解决方案相比,RetroAR将非接触式控制的交互时间减少了2倍,并且具有更好的用户体验.RetroAR借助可见光逆反射通信来利用用户空间环境,保持交互过程中的直观性.用户可以“所指即所控”的方式与多个目标进行互动,实现类似自然交互的快速定向交互.展开更多
三维注册是实现增强现实(augmented reality,AR)的关键步骤。为了解决基于自然特征的三维注册算法在复杂场景下使用时易受环境影响,注册效果不准确、耗时长的问题,提出LW-LoFTR(lightweight-LoFTR)算法,对模型进行轻量化改进来满足AR低...三维注册是实现增强现实(augmented reality,AR)的关键步骤。为了解决基于自然特征的三维注册算法在复杂场景下使用时易受环境影响,注册效果不准确、耗时长的问题,提出LW-LoFTR(lightweight-LoFTR)算法,对模型进行轻量化改进来满足AR低延时需求。首先,利用深度可分离卷积减少模型的参数量与推理时间;其次,添加轻量级全局上下文模块来提高模型的特征交互能力,弥补模型轻量化后精度的损失;最后,利用LW-LoFTR算法得到的匹配关系进行位姿解算,完成三维注册优化改进,实现高性能AR效果。实验结果表明:提出的LW-LoFTR算法在MegaDepth数据集上的平均匹配精度达到94.59%,在统计误差阈值为5°、10°、20°时,相对位姿估计AUC(area under curve)达到48.85、65.56、78.72,模型参数量下降了43.97%,推理时间减少了48.92%,能够在视角变化、光照变化、遮挡的情况下实现稳定的三维注册效果。展开更多
文摘移动增强现实应用中,用户频繁地与环境中不同的智能物体交互完成任务,其完成效率和用户体验由所采用的定向交互技术决定.然而,从交互手段上来说,现阶段定向交互依赖于Wi-Fi、BLE等无线技术,其信号全向传播的特点使其不能利用用户的空间环境(即位置和方向)来缩短互动时间,带来了不必要的时间成本;从交互界面上来说,现阶段基于视觉的界面存在可靠性低、扩展性低等问题,进一步限制了系统的通用性.本文介绍了RetroAR——基于可见光逆反射通信的定向交互系统.RetroAR利用了光的定向传播特性来保留用户的空间环境,并依靠逆反射通信实现用户与目标设备之间无连接的快速定向交互.系统实验表明,RetroAR最远可在4 m距离支持100°视角的交互,同时实现厘米级的六自由度(6-Degrees Of Freedom,6-DoF)三维跟踪.用户研究表明,与基于Wi-Fi的解决方案相比,RetroAR将非接触式控制的交互时间减少了2倍,并且具有更好的用户体验.RetroAR借助可见光逆反射通信来利用用户空间环境,保持交互过程中的直观性.用户可以“所指即所控”的方式与多个目标进行互动,实现类似自然交互的快速定向交互.
文摘三维注册是实现增强现实(augmented reality,AR)的关键步骤。为了解决基于自然特征的三维注册算法在复杂场景下使用时易受环境影响,注册效果不准确、耗时长的问题,提出LW-LoFTR(lightweight-LoFTR)算法,对模型进行轻量化改进来满足AR低延时需求。首先,利用深度可分离卷积减少模型的参数量与推理时间;其次,添加轻量级全局上下文模块来提高模型的特征交互能力,弥补模型轻量化后精度的损失;最后,利用LW-LoFTR算法得到的匹配关系进行位姿解算,完成三维注册优化改进,实现高性能AR效果。实验结果表明:提出的LW-LoFTR算法在MegaDepth数据集上的平均匹配精度达到94.59%,在统计误差阈值为5°、10°、20°时,相对位姿估计AUC(area under curve)达到48.85、65.56、78.72,模型参数量下降了43.97%,推理时间减少了48.92%,能够在视角变化、光照变化、遮挡的情况下实现稳定的三维注册效果。
