基于文献计量的智能网联汽车多模态交互研究可视化与趋势分析

1

作者 刘卓 孙忠锐 乔元杰 《计算机集成制造系统》 北大核心 2025年第4期1137-1148,共12页

随着智能网联、人机交互和自动驾驶技术的不断演进,汽车智能化的发展正在重新定义驾驶体验,并重新塑造了未来出行方式。在此背景下,多模态交互已经成为智能汽车行业重要创新手段,该领域的研究也不断涌现新的课题和机遇。鉴于此,深入探... 随着智能网联、人机交互和自动驾驶技术的不断演进,汽车智能化的发展正在重新定义驾驶体验,并重新塑造了未来出行方式。在此背景下,多模态交互已经成为智能汽车行业重要创新手段,该领域的研究也不断涌现新的课题和机遇。鉴于此,深入探讨了该领域的研究现状,将Web of Science核心数据集的科学引文索引和Scopus数据库中汽车多模态交互的相关文献作为研究对象,利用CiteSpace文献计量工具对其进行图谱可视化分析,对该领域的发展历程和现状进行脉络梳理,探析研究热点及方向,并对未来研究趋势进行预测。 展开更多

关键词 智能网联汽车 多模态交互 文献计量 可视化分析

在线阅读 下载PDF 职称材料

装甲车辆多模态交互和环境负荷对乘员任务绩效的影响

2

作者 栾可迪 郭保桥 +4 位作者 魏中亮 谷源森 王岗亭 邓丽莎 陈鹏万 《兵工学报》 北大核心 2025年第4期342-356,共15页

随着信息技术的进步,装甲车辆的人机交互方式不断更新,为探究新型多模态交互下乘员的任务绩效,指导未来装甲车辆多模态操作、告警方式的设计,建立一套可集成多模态交互、可调节环境负荷大小的新型人机交互实验系统。基于该系统,招募20... 随着信息技术的进步,装甲车辆的人机交互方式不断更新,为探究新型多模态交互下乘员的任务绩效,指导未来装甲车辆多模态操作、告警方式的设计,建立一套可集成多模态交互、可调节环境负荷大小的新型人机交互实验系统。基于该系统,招募20名成年男性开展了操作(输入)方式、告警(输出)方式和环境负荷水平的三因素工效学实验。在虚拟实验平台中完成不同实验条件下的模拟击打目标实验,分析被试的任务绩效。实验结果表明:相对于在触屏输入或语音输入下,机械输入下乘员的反应时间最短,但乘员操作错误率最高;机械输入和触屏输入下乘员的任务完成时间远优于语音输入;相对于单模态视觉告警,叠加了触觉告警的视觉+触觉(Visual+Tactile,V+T)双模态告警会显著缩短乘员反应时间,而叠加了听觉告警的视觉+听觉(Visual+Auditory,V+A)告警则无明显差异;V+T或V+A双模态告警可以显著缩短乘员任务完成时间;对于环境负荷的影响,低环境负荷下乘员任务绩效明显高于高环境负荷;随着环境负荷的增加,V+T告警中叠加听觉告警会造成告警冗余;该研究可为装甲车辆舱室多模态人机交互设计提供实践依据。 展开更多

关键词 装甲车辆 乘员 多模态交互 环境负荷 任务绩效

在线阅读 下载PDF 职称材料

改进ViT的RGB-T多模态交互跟踪算法研究 被引量：1

3

作者 吴波 张荣芬 刘宇红 《计算机工程与应用》 北大核心 2025年第7期267-277,共11页

针对之前的RGB-T目标跟踪工作中,直接将可见光RGB和热红外TIR图像的特征连接在一起,或者从搜索图像中抽取候选框,对孤立的RGB和TIR候选框对进行融合,导致无法充分利用不同模态之间的互补信息,还引入了冗余背景噪声的问题,提出了一种基... 针对之前的RGB-T目标跟踪工作中,直接将可见光RGB和热红外TIR图像的特征连接在一起,或者从搜索图像中抽取候选框,对孤立的RGB和TIR候选框对进行融合,导致无法充分利用不同模态之间的互补信息,还引入了冗余背景噪声的问题,提出了一种基于改进ViT(vision Transformer)的多模态交互的RGB-T跟踪算法。使用高效多头自注意力(efficient multi-head self-attention,EMSA),加强各个注意力头部之间的信息交互;引入AdaptMLP模块,可以更灵活地处理数据,强化模型的非线性表达能力;设计了MHT(MLP-mixer hybrid Transformer)模块,在Transformer模块的注意力分支提取特征的同时,MLP-Mixer分支在空间和通道上对输入进行特征信息提取,将两个分支的特征进行融合;将MHT模块输出的特征信息馈送到TBSI(bridging search region interaction with template)层中,进行跨模态信息交互。在公开的大规模RGB-T数据集LasHeR测试集上进行测试,得到的精确度、归一化精度和成功率分别为66.9%、63.5%和53.5%,分别比基准算法提高了1.8、1.6和1.3个百分点。实验结果表明,所提算法能够提高跟踪器的性能。 展开更多

关键词 RGB-T跟踪 混合多层感知机 多模态交互 模板融合 高效多头自注意力

在线阅读 下载PDF 职称材料

多模态交互视角下科普APP的用户感知偏好研究及应用

4

作者 黄梦君 甄灵 +2 位作者 吴联凡 吴耀 张杨 《包装工程》 北大核心 2025年第12期484-494,共11页

目的以多模态交互为视角,深入探究科普APP的用户感知偏好要素及设计策略,从而增强用户体验与科普传播效果。方法首先通过焦点小组访谈全面梳理影响科普APP多模态感知偏好的10项要素及其水平,随后采用正交实验进一步构建27种界面组合方案... 目的以多模态交互为视角,深入探究科普APP的用户感知偏好要素及设计策略,从而增强用户体验与科普传播效果。方法首先通过焦点小组访谈全面梳理影响科普APP多模态感知偏好的10项要素及其水平,随后采用正交实验进一步构建27种界面组合方案,并通过用户评估量化多模态要素的重要性及效用值,最终提出科普APP的多模态设计策略和界面方案。结果在科普APP感知偏好中,视觉与触觉模态影响显著,而界面色调、视觉动效与反馈程度则为关键要素。依据结果设计生成了《天工开物》科普APP的界面方案,并验证了所提策略的有效性。结论研究揭示了科普APP的多模态感知偏好要素组合及设计策略,为科普APP的设计优化提供了理论依据和实践指导,同时也将促进公众科学素养的提升和科普事业的数字化发展。 展开更多

关键词 多模态交互 用户感知偏好 联合分析 界面设计 正交实验 科普传播 天工开物APP

在线阅读 下载PDF 职称材料

多模态交互包装设计评价体系构建与应用 被引量：1

5

作者 张永年 赵英杰 《包装工程》 CAS 北大核心 2024年第20期366-374,391,共10页

目的构建科学有效的多模态交互包装评价模型,挖掘其评价规律及趋势,并结合相应的评价方法和数据分析手段,更好地为包装设计提供科学依据和指导,从而提升用户的使用体验。方法采用问卷调查、层次分析法和模糊综合评价法从用户对包装产品... 目的构建科学有效的多模态交互包装评价模型,挖掘其评价规律及趋势,并结合相应的评价方法和数据分析手段,更好地为包装设计提供科学依据和指导,从而提升用户的使用体验。方法采用问卷调查、层次分析法和模糊综合评价法从用户对包装产品的感知、行为、情感三大特征出发,形成系统层级权重向量,确立隶属矩阵,逐步完善对包装设计的评价体系构建。结论通过该评价模型的分析与解读,针对技术需求与创新、用户需求与个性化设计及可持续发展理念等层面,分析不同用户群体对包装设计的评价差异,得到影响用户满意度的关键因素,为包装的多模态交互设计提供理论参考。 展开更多

关键词 多模态交互 包装满意度 层次分析 模糊综合评价

在线阅读 下载PDF 职称材料

面向视觉问答的上下文感知多模态交互网络 被引量：1

6

作者 颜洪 黄青松 刘利军 《中文信息学报》 CSCD 北大核心 2024年第7期106-114,共9页

近年来,视觉问答已经引起研究人员的广泛关注。现有的方法通过视觉与语言模态之间的密集交互以捕捉两种模态之间的高层语义信息,然而这些方法仅单独考虑单个词与视觉区域之间的关系,忽略了上下文信息来计算模态之间的依存关系。针对此问... 近年来,视觉问答已经引起研究人员的广泛关注。现有的方法通过视觉与语言模态之间的密集交互以捕捉两种模态之间的高层语义信息,然而这些方法仅单独考虑单个词与视觉区域之间的关系,忽略了上下文信息来计算模态之间的依存关系。针对此问题,该文提出了一种上下文感知的多模态交互网络,通过融合上下文信息增强模态内与模态间的信息交互,提高视觉问答的推理能力。该文在大规模基准数据集VQA v2.0上进行了一系列对比实验与消融实验,实验结果表明,该方法在视觉问答任务上能够取得比当前主流的方法更高的准确率。 展开更多

关键词 视觉问答 注意力机制 多模态交互网络

在线阅读 下载PDF 职称材料

多模态交互的老年高血压人群智能可穿戴研究 被引量：2

7

作者 赵诗凡 沈雷 《针织工业》 北大核心 2024年第4期65-70,共6页

为科学合理地提升老年高血压患者的生活质量,探究多模态信息交互下老年高血压人群智能可穿戴产品设计方法。通过调研建立老年高血压人群智能可穿戴产品功能需求层次分析模型,利用层次分析法得出各需求要素的权重值,获得老年高血压人群... 为科学合理地提升老年高血压患者的生活质量,探究多模态信息交互下老年高血压人群智能可穿戴产品设计方法。通过调研建立老年高血压人群智能可穿戴产品功能需求层次分析模型,利用层次分析法得出各需求要素的权重值,获得老年高血压人群的重点功能需求。结合老年高血压患者心理与行为特征及其需求分析数据,基于多模态信息交互理论,将重点需求转化为相应的设计功能并进行设计演绎,以期为老年高血压人群智能可穿戴产品的研究提供理论及实践参考。 展开更多

关键词 多模态信息交互 智能可穿戴 老年人 高血压 设计要素 层次分析法

在线阅读 下载PDF 职称材料

多模态交互中的目标选择技术 被引量：8

8

作者 周小舟 宗承龙 +3 位作者 郭一冰 贾乐松 杜晓茜 薛澄岐 《包装工程》 CAS 北大核心 2022年第4期36-44,共9页

目的伴随着各类传感器、计算机识别算法与计算机网络的发展,人机交互已不再拘泥于应用键盘、鼠标等传统输入模态,而是进一步拓展为应用人的多种行为模态。方法多模态交互可以捕获多个模态下人的显性行为信息,组合并分辨多个模态信息的... 目的伴随着各类传感器、计算机识别算法与计算机网络的发展,人机交互已不再拘泥于应用键盘、鼠标等传统输入模态,而是进一步拓展为应用人的多种行为模态。方法多模态交互可以捕获多个模态下人的显性行为信息,组合并分辨多个模态信息的不同形式,现已应用在虚拟现实、增强现实、混合现实、遥操作、普适交互等场景下,可以优化这些场景下的人机交互。在自然交互中,多点触摸、自然语音、手势体感、眼动追踪是常用的交互模态,展现出了较优的效果。而多模态交互技术按照选择、相继、并发和互补的方式组合两个及以上的输入模式,借助多种非侵入式的传感器,识别天然形成的人类语言和行为。该技术的核心是基于各种传感器所捕获的多模态信息来预测人的交互意图,提升机器对人的行为理解,这可以很好地应用到目标选择任务之中。结论在人机交互系统中,目标选择任务是一种基础任务,已经有菲兹定律模型、优化初始脉冲模型和层叠效应模型等行为模型在多个模态交互下对其进行了描述,这些理论都有助于开发多模态交互技术。综上所述,对多模态交互的目标选择技术研究可以有效地推动人机交互向自然交互迈进。 展开更多

关键词 多模态交互 目标选择技术 自然交互 交互意图

在线阅读 下载PDF 职称材料

基于多模态交互的送餐员头盔设计 被引量：4

9

作者 曾曦 崔雪萌 《机械设计》 CSCD 北大核心 2023年第8期157-163,共7页

通过探讨多模态交互方式与送餐员头盔结合的形式,提升送餐员骑行安全性和配送效率。运用层次任务分析法分析送餐员的配送任务流程后发现,送餐员各感官模态与动作通道间存在的不合理资源竞争是导致其骑行安全性和配送效率低的主要原因。... 通过探讨多模态交互方式与送餐员头盔结合的形式,提升送餐员骑行安全性和配送效率。运用层次任务分析法分析送餐员的配送任务流程后发现,送餐员各感官模态与动作通道间存在的不合理资源竞争是导致其骑行安全性和配送效率低的主要原因。构建了多模态交互模型并提出设计策略,通过设计实例验证了该方法的可行性。结果表明:将多模态交互方式与送餐员头盔结合并建立多模态平衡机制,可降低送餐员在骑行配送中的认知负荷,提高人机交互的准确性和效率,从而提升送餐员骑行安全性和配送效率。 展开更多

关键词 产品设计 头盔 层次任务分析法 多模态交互 信息交互

在线阅读 下载PDF 职称材料

面向混合学习的多模态交互分析机制及优化策略 被引量：39

10

作者 田阳 陈鹏 +1 位作者 黄荣怀 曾海军 《电化教育研究》 CSSCI 北大核心 2019年第9期67-74,共8页

“互联网+教育”促进了混合学习的实践应用。混合学习融合了物理空间、社交空间、资源空间等,这使得学习交互的内在机理成为学术界重点关注的议题之一,研究团队尝试从混合学习的多模态分析视角揭示混合学习交互内在机理。通过对混合学... “互联网+教育”促进了混合学习的实践应用。混合学习融合了物理空间、社交空间、资源空间等,这使得学习交互的内在机理成为学术界重点关注的议题之一,研究团队尝试从混合学习的多模态分析视角揭示混合学习交互内在机理。通过对混合学习的多模态交互特征分析,归纳出其特征为跨空间交互、同步与异步交互并存、多情境转换、具身情感性、可表征等。结合混合学习运行规律,发现混合学习的多模态交互过程中可表征多模态和抽取多模态信息,并总结出多模态交互分析的主要流程为数据采集、加工与筛选、数据分析、数据表征可视化、反馈调节等。多模态交互信息经过可视化表征,将分析得到的结果经过仪表盘反馈给教师、学生,帮助教师和学生及时调整教与学的方法,并促进混合学习多模态交互策略的优化。 展开更多

关键词 多模态 混合学习 多模态交互分析 学习分析 优化策略

在线阅读 下载PDF 职称材料

支持多模态交互的桌面增强显示系统

11

作者 王子珩 姜忠鼎 《计算机工程》 CAS CSCD 北大核心 2022年第7期177-188,共12页

传统的显示设备在受限的物理空间内难以向用户呈现大量画面和复杂内容,而AR头戴式显示设备通过将三维的可视化内容悬浮显示在用户眼前,在不占用额外物理空间的条件下可增强真实世界的画面显示,呈现形式更为丰富的内容。设计AR虚拟空间... 传统的显示设备在受限的物理空间内难以向用户呈现大量画面和复杂内容,而AR头戴式显示设备通过将三维的可视化内容悬浮显示在用户眼前,在不占用额外物理空间的条件下可增强真实世界的画面显示,呈现形式更为丰富的内容。设计AR虚拟空间与真实电脑画面虚实融合的桌面增强显示系统。通过基于二维码识别的空间定位技术将真实电脑画面映射至虚拟空间内,实现交互空间的统一,同时构建窗口布局计算模型使得系统可以根据用户自定义参数自动生成窗口并设置其布局。在此基础上,利用蓝牙通信、网络传输、操作系统底层映射和结合视线检测的语音识别等技术支持手势、键鼠和语音的多模态交互方式,设计鼠标移动策略以扩展鼠标在三维空间下的多种操作模式。实验结果表明,与隔空手势交互、鼠标交互等传统交互方式相比,该系统在处理常见电脑任务时平均耗时节省10%~30%,具有较高的交互效率,且在跨窗口连续移动和瞬间跳转时能够正确显示鼠标位置。 展开更多

关键词 头戴式显示设备 增强显示 虚实融合 多模态交互 人机交互

在线阅读 下载PDF 职称材料

基于辅助喂食全过程意图识别的多模态安全交互方法研究

12

作者 吕相谊 赵东辉 +2 位作者 丁嘉辉 杨俊友 王硕玉 《仪器仪表学报》 北大核心 2025年第1期351-362,共12页

为提高无法自主进食的弱机能人群面对被喂食过程中的安全性与灵活性,提出一种面向辅助喂食行为的多模态安全人机交互框架及其全过程意图识别算法。首先,结合用户特征及安全性与灵活性需求,提出一种结合视、触、力、位与语言融合的多模... 为提高无法自主进食的弱机能人群面对被喂食过程中的安全性与灵活性,提出一种面向辅助喂食行为的多模态安全人机交互框架及其全过程意图识别算法。首先,结合用户特征及安全性与灵活性需求,提出一种结合视、触、力、位与语言融合的多模态人机交互框架并构建辅助喂食系统。其次,针对进食全过程包括对进食意图、菜品选择意图、动态喂食点估计与递送位姿计算、咀嚼意图等,提出一种基于视觉为主导的喂食意图全过程识别方法。选取有效刻画进食过程面部动态变化的特征点并设计融合口部纵横比与下颌纵横比识别算法,通过视线矢量分析用户菜品选择意图并基于面部实时位姿设计动态喂食点,从而形成全过程动态意图准确识别。同时,在辅助喂食虚拟映射系统中,结合大语言模型对交互全过程中的模糊意图、临时变更意图进行提问,形成反馈机制进而提升交互安全性。最终通过仿真与综合性实验验证提出的方法,通过多模态交互框架可以有效提升辅助喂食过程的灵活性,同时结合大语言模型形成模糊意图与变更意图有效反馈,最终提升交互过程的安全性,该方法为弱机能人群的日常生活辅助喂食行为提供了新型护理方法。 展开更多

关键词 辅助喂食 全过程意图识别 多模态交互框架 安全性与灵活性

在线阅读 下载PDF 职称材料

基于媒介化转译的仇英上林苑多模态交互设计

13

作者 张晓熙 左配齐 《包装工程》 2025年第18期460-469,共10页

目的以数字化技术与多模态交互为手段,解构明代著名画家仇英《上林图》,探索文化遗产保护与创新传承路径。方法基于“媒介化转译”理论,通过辨析和总结仇英《上林图》与司马相如《上林赋》中信息,结合多模态交互技术将文化资源优势转化... 目的以数字化技术与多模态交互为手段,解构明代著名画家仇英《上林图》,探索文化遗产保护与创新传承路径。方法基于“媒介化转译”理论,通过辨析和总结仇英《上林图》与司马相如《上林赋》中信息,结合多模态交互技术将文化资源优势转化为当代发展动能,通过图文解析、媒介化转译及多模态交互,构建了以上林苑文化为核心的数字导览设计系统、多模态沉浸式设计与文创产品。结果再现了图中建章宫“一池三山”场景的数字与实物产品模型,创建了涵盖七大叙事节点的导览系统,以及跨模态协同的交互框架,使千年生态智慧凝于掌上方寸之间,实现了优秀文化遗产的可视化呈现、可交互感知。结论形成了“图文解构-媒介转译-模态交互-场景应用”的设计方法,建立了多模态技术驱动的研究路径,为数字化时代文化遗产的创新传承提供了理论支持与实践参考,以推动优秀文化遗产向现代交互体验创新转化。 展开更多

关键词 仇英上林苑 多模态交互设计 媒介化转译 遗产数字化 文创产品

在线阅读 下载PDF 职称材料

多模态方面级情感分析的多视图交互学习网络 被引量：1

14

作者 王旭阳 庞文倩 赵丽婕 《计算机工程与应用》 CSCD 北大核心 2024年第7期92-100,共9页

以往的多模态方面级情感分析方法只利用预训练模型的一般文本和图片表示,对方面和观点词相关性的识别不敏感,且不能动态获取图片信息对单词表示的贡献,因而不能充分识别多模态与方面之间的相关性。针对上述问题,提出一种多视图交互学习... 以往的多模态方面级情感分析方法只利用预训练模型的一般文本和图片表示,对方面和观点词相关性的识别不敏感,且不能动态获取图片信息对单词表示的贡献,因而不能充分识别多模态与方面之间的相关性。针对上述问题,提出一种多视图交互学习网络模型。将句子从上下文和句法两个视图上分别提取特征,以便在多模态交互时充分利用到文本的全局特征;对文本、图片和方面之间的关系进行建模,使模型实现多模态交互;同时融合不同模态的交互表示,动态获取视觉信息对文本中每个单词的贡献程度,充分提取模态与方面之间的相关性。最后通过全连接层和Softmax层获取情感分类结果。在两个数据集上进行实验,实验结果表明该模型能够有效增强多模态方面级情感分类的效果。 展开更多

关键词 多模态方面级情感分析 预训练模型 多视图学习 多模态交互 动态融合

在线阅读 下载PDF 职称材料

面向焦虑症群体的智能化多模态冥想产品设计研究

15

作者 陆广谱 冯旭东 +1 位作者 陈蕴典 谢婉欣 《包装工程》 北大核心 2025年第6期543-553,共11页

目的设计一款针对焦虑症群体的智能化多模态身心调节冥想设备,通过集成可穿戴式软硬件,融合多感官交互技术及智能化数字方法,旨在帮助用户快速且高效地进入冥想状态,有效缓解焦虑情绪。方法通过综合分析焦虑症的治疗方法及市场上现有的... 目的设计一款针对焦虑症群体的智能化多模态身心调节冥想设备,通过集成可穿戴式软硬件,融合多感官交互技术及智能化数字方法,旨在帮助用户快速且高效地进入冥想状态,有效缓解焦虑情绪。方法通过综合分析焦虑症的治疗方法及市场上现有的冥想产品,明确设计需求并针对外观设计、材料选择、智能化多模态交互等关键问题提出创新方案。设计中融入了环形灯光提示、智能震动反馈、个性化声音引导及芬芳香薰疗法等元素,同时遵循人体工程学原理,提升设备的穿戴舒适性和操作便利性。结果研究开发的智能化多模态冥想设备,可凭借多感官交互的数字化技术,提升用户冥想体验,逐步验证其在焦虑症辅助治疗中的潜在价值与效用。结论智能化多模态交互技术在冥想产品中的深度应用,不仅为焦虑症群体提供了一种创新的身心调节方式,而且为冥想设备设计研发开辟了全新路径,展现出了广阔的市场应用前景和深远的社会关怀意义。未来,将继续致力于优化产品的穿戴舒适性与易用性,增强用户体验并积极探索其在更广泛心理健康领域的应用潜力,为焦虑症患者的治疗提供更多元化、更智能化的选择与支持。 展开更多

关键词 焦虑症群体 正念冥想 冥想产品 多模态交互 用户体验

在线阅读 下载PDF 职称材料

基于知识增强的跨模态融合网络的多模态对话情绪识别模型 被引量：1

16

作者 干欣怡 黄贤英 +1 位作者 邹世豪 沈旭东 《计算机应用研究》 北大核心 2025年第4期1065-1072,共8页

针对未充分利用模态表征能力的差异和说话者情绪线索的问题,提出了一种基于知识增强的跨模态融合网络模型。该模型设计了外部知识增强的跨模态模块,将较弱模态特征与多层次文本和外部知识逐层融合嵌入到多头注意力层中,充分挖掘较弱模... 针对未充分利用模态表征能力的差异和说话者情绪线索的问题,提出了一种基于知识增强的跨模态融合网络模型。该模型设计了外部知识增强的跨模态模块,将较弱模态特征与多层次文本和外部知识逐层融合嵌入到多头注意力层中,充分挖掘较弱模态中的有效信息,实现模态间的特征互补和一致性。此外,模型还设计了基于有向图的情绪线索增强模块,利用基于说话者不同情绪线索的外部知识来增强融合特征,并构建上下文信息有向图,深入挖掘并利用说话者的情绪线索。实验结果表明,该模型在两个基准数据集中有效利用了模态表征能力的差异和说话者情绪线索,情绪识别效果显著优于现有方法,验证了模型的可行性与有效性。 展开更多

关键词 对话情绪识别 外部知识 数据增强 TRANSFORMER 多模态交互

在线阅读 下载PDF 职称材料

有/无人机协同操作界面的最佳交互方式评估

17

作者 张欣悦 吴晓莉 +2 位作者 王名珺 晏彪 武愈涵 《系统工程与电子技术》 北大核心 2025年第8期2600-2611,共12页

评估有/无人机协同操作界面按键交互与多模态交互对任务效能和认知负荷的影响,同时为各窗口间操作行为匹配最佳交互方式。实验测定被试使用按键交互和多模态交互(触控手势、语音指令、触控手势语音结合)分别完成三类窗口间操作行为任务... 评估有/无人机协同操作界面按键交互与多模态交互对任务效能和认知负荷的影响,同时为各窗口间操作行为匹配最佳交互方式。实验测定被试使用按键交互和多模态交互(触控手势、语音指令、触控手势语音结合)分别完成三类窗口间操作行为任务的行为指标、眼动指标及主观评价。结果表明,多模态交互的各项数据显著优于按键交互。在不同窗口间操作行为中,切换窗口使用触控手势语音结合交互最优,移动窗口和关闭窗口行为使用触控手势交互最优。实验结果验证多模态交互的优势,同时为其他复杂信息系统界面的窗口交互设计提供参考。 展开更多

关键词 有/无人机 协同操作界面 多模态交互 按键交互 窗口间操作

在线阅读 下载PDF 职称材料

作战筹划系统多模态人机交互技术应用进展 被引量：2

18

作者 颜羽鹏 姜可 +3 位作者 程健鹏 李冠呈 石鹏飞 刘颖 《机械设计》 CSCD 北大核心 2024年第7期175-181,共7页

为应对作战筹划系统人机交互技术中的诸多挑战,梳理和分析了多模态人机交互技术的研究现状;从作战筹划系统概念和人机交互技术需求出发,结合多模态交互技术特点,对系统的实现方式及关键技术进行分析和归纳。提出当前面临的主要挑战为作... 为应对作战筹划系统人机交互技术中的诸多挑战,梳理和分析了多模态人机交互技术的研究现状;从作战筹划系统概念和人机交互技术需求出发,结合多模态交互技术特点,对系统的实现方式及关键技术进行分析和归纳。提出当前面临的主要挑战为作战筹划系统中多模态交互指令融合及人机混合决策不足等问题,且复杂多变的战场环境增加了指挥人员分析局势并做出准确决策的难度。对作战筹划系统多模态人机交互技术应用研究进展进行分析,为未来作战筹划系统和多模态人机交互技术的发展和研究提供参考。 展开更多

关键词 作战筹划 多模态人机交互技术 交互指令融合 决策优化 认知增强

在线阅读 下载PDF 职称材料

智能座舱人机交互设计关键技术研究进展 被引量：3

19

作者 王伟伟 顾炎辉 +2 位作者 余隋怀 温志强 朋启钊 《机械设计》 CSCD 北大核心 2024年第8期30-36,共7页

为揭示人机交互(Human-Computer Interaction,HCI)设计技术在智能座舱环境下实现人与车辆、人与环境交互的过程与作用,提出智能座舱人机交互模型,并综述了以创新设计为驱动的智能座舱交互设计关键技术,为重新定义车载信息交互系统和驾... 为揭示人机交互(Human-Computer Interaction,HCI)设计技术在智能座舱环境下实现人与车辆、人与环境交互的过程与作用,提出智能座舱人机交互模型,并综述了以创新设计为驱动的智能座舱交互设计关键技术,为重新定义车载信息交互系统和驾驶监控系统提供了提供了技术支撑。从感知层、信息交互层及认知与决策层3个方面研究座舱人机交互模型,分别针对多模态信息输入与输出,梳理了图像识别、可穿戴、声场感知识别、信息可视化、混合现实及人机对话等交互技术及其主要应用成果。探讨了智能座舱人机交互设计的测评方法,为提升座舱人机交互体验提供理论参考。 展开更多

关键词 智能座舱 人机交互 多模态交互 交互测评

在线阅读 下载PDF 职称材料

智能交通场景下的交互导识设计原则

20

作者 吴琼 于钊 +1 位作者 于汉杰 郭心怡 《包装工程》 CAS 北大核心 2024年第14期17-25,共9页

目的探索智能交通场景下交互导识设计的原则,研究如何灵活应用多模态技术和交互设计方法,提升导识系统的效率和适应性,进而改善用户的出行体验。方法通过文献综述和案例分析,详细梳理和总结了交互导识设计在实际应用中的主要发展趋势、... 目的探索智能交通场景下交互导识设计的原则,研究如何灵活应用多模态技术和交互设计方法,提升导识系统的效率和适应性,进而改善用户的出行体验。方法通过文献综述和案例分析,详细梳理和总结了交互导识设计在实际应用中的主要发展趋势、存在问题及设计师面临的挑战。结果研究显示,目前的交互导识出现了多通道应用、多终端融合,以及多样化的模式,这些变化使导识设计超越了传统静态和分散的形式,呈现出由多种维度支持的复合形态,进而要求设计师重新审视这一复杂的设计对象,调整设计原则以适应新的需求。结论提出了适用于智能交通环境下的交互导识设计原则和设计建议,包括建立更系统化的导识信息、打造一致性的用户体验和提供丰富的信息形态。 展开更多

关键词 交互导识设计 智能交通 多模态交互 用户体验

在线阅读 下载PDF 职称材料