期刊文献+
共找到72篇文章
< 1 2 4 >
每页显示 20 50 100
多模态信息抽取研究综述 被引量:3
1
作者 王永胜 李培峰 +1 位作者 王中卿 朱巧明 《软件学报》 北大核心 2025年第4期1665-1691,共27页
多模态信息抽取任务是指从非结构化或半结构化的多模态数据(包含文本和图像等)中提取结构化知识.其研究内容主要包含多模态命名实体识别、多模态实体关系抽取和多模态事件抽取.首先对多模态信息抽取任务进行分析,然后对多模态命名实体... 多模态信息抽取任务是指从非结构化或半结构化的多模态数据(包含文本和图像等)中提取结构化知识.其研究内容主要包含多模态命名实体识别、多模态实体关系抽取和多模态事件抽取.首先对多模态信息抽取任务进行分析,然后对多模态命名实体识别、多模态实体关系抽取和多模态事件抽取这3个子任务的共同部分,即多模态表示和融合模块进行归纳和总结.随后梳理上述3个子任务的常用数据集和主流研究方法.最后总结多模态信息抽取的研究趋势并分析该研究存在的问题和挑战,为后续相关研究提供参考. 展开更多
关键词 多模态信息抽取 多模态命名实体识别 多模态实体关系抽取
在线阅读 下载PDF
基于多模态信息融合的麦田杂草检测与管理系统设计与开发
2
作者 徐可 谢奇 +3 位作者 宋明翰 曹卫星 朱艳 倪军 《农业工程学报》 北大核心 2025年第8期175-182,共8页
为了实现麦田杂草的精确管理,需要精准检测杂草并生成空间分布信息和管理处方。该文设计与开发了一种基于多模态融合的麦田杂草检测系统,通过多模态信息融合方法实现多种类杂草特别是与小麦外形相似的禾本科杂草的准确检测,构建杂草指... 为了实现麦田杂草的精确管理,需要精准检测杂草并生成空间分布信息和管理处方。该文设计与开发了一种基于多模态融合的麦田杂草检测系统,通过多模态信息融合方法实现多种类杂草特别是与小麦外形相似的禾本科杂草的准确检测,构建杂草指数同时生成不同种类的杂草分布,可视化田间杂草的发生情况,以植保机械的施药面积和作业次数为限定条件,建立了面向除草机具的包含施药面积和施药量的杂草管理处方图。田间测试结果显示,基于多模态信息融合的麦田杂草检测模型能够有效提升杂草的检测精度,相较于单一模态的RGB图像,禾本科杂草检测精度提升了13.1%。软件的性能和功能测试结果显示,系统能够在多平台上稳定运行,实时、准确地实现不同种类的杂草检测,并生成决策信息。该文提出的基于多模态信息融合的麦田杂草检测系统能够为精确除草系统提供技术支撑。 展开更多
关键词 小麦 杂草检测 多模态信息融合 杂草管理系统
在线阅读 下载PDF
融合多模态信息与激光雷达的短时路况预测研究
3
作者 焦萍萍 周显春 高华玲 《激光杂志》 北大核心 2025年第5期228-232,共5页
由于受外界环境因素影响,车辆的行驶速度是变化的,因此,不能使用固定短时刻路段上车辆的平均速度进行路况预测,考虑到该问题,提出一种融合多模态信息与激光雷达的短时路况预测方法。根据提取到的激光雷达点云特征,获取二维空间与三维空... 由于受外界环境因素影响,车辆的行驶速度是变化的,因此,不能使用固定短时刻路段上车辆的平均速度进行路况预测,考虑到该问题,提出一种融合多模态信息与激光雷达的短时路况预测方法。根据提取到的激光雷达点云特征,获取二维空间与三维空间对应的图像特征组块。然后将二维空间与三维空间对应的图像特征组块进行拼接融合,将完成多模态信息融合后的特征图输入到三维空间中,当三维和二维区域获取的检测结果均为同一目标,获取多模态融合信息下的目标检测结果。充分考虑车辆行驶速度的变化特点,引入后验概率,将目标检测结果代入至最大后验概率中,并将先验分布以及条件概率进行综合,提取最大联合概率的估计量即为最终预测值。实验结果表明,所提出的方法预测效果良好,其预测结果的均方根误差较小,预测精度较高。 展开更多
关键词 多模态信息融合 激光雷达 路况预测 多目标检测
在线阅读 下载PDF
基于多模态信息融合的皮蛋溏心沙心分类方法
4
作者 汤文权 王巧华 +2 位作者 张浩 杨烝 范维 《农业机械学报》 北大核心 2025年第1期92-101,共10页
溏心皮蛋与沙心皮蛋有着各自的口感和味道,均有各自受众,目前只能根据腌制时间来判断是溏心皮蛋还是沙心皮蛋,而这种方法不仅需要丰富的经验且误判比例较高。为了解决这一问题,本文设计了皮蛋红外图像和可见/近红外光谱采集装置,以及配... 溏心皮蛋与沙心皮蛋有着各自的口感和味道,均有各自受众,目前只能根据腌制时间来判断是溏心皮蛋还是沙心皮蛋,而这种方法不仅需要丰富的经验且误判比例较高。为了解决这一问题,本文设计了皮蛋红外图像和可见/近红外光谱采集装置,以及配套的溏心皮蛋和沙心皮蛋的分类模型。根据采集到的红外图像数据,在ResNet18网络添加MLCA(Mixed local channel attention)模块,得到的改进模型ResNet_MLCA实现了溏心皮蛋和沙心皮蛋的分类,准确率为95.0%。根据采集到的可见/近红外光谱数据,基于一维卷积设计了一维残差模块用于可见/近红外光谱数据的特征提取和分类,其对溏心皮蛋和沙心皮蛋分类准确率也达到95.0%。为了进一步提高模型检测准确率,将ResNet_MLCA模型所提取的红外图像特征和1D_ResNet所提取的可见/近红外光谱特征进行融合,得到的融合模型ResNet_OP对溏心皮蛋和沙心皮蛋分类准确率达到98.3%。研究成果提供了一种更低计算成本、更高准确率的溏心皮蛋和沙心皮蛋分类模型,对于指导皮蛋生产和提升皮蛋品质具有重要意义。 展开更多
关键词 皮蛋 多模态信息融合 ResNet 红外图像 可见/近红外光谱 溏心沙心
在线阅读 下载PDF
多模态信息交互的零样本分类及其在火星探测场景的应用
5
作者 檀晓萌 席博博 +1 位作者 薛长斌 李云松 《通信学报》 北大核心 2025年第5期103-114,共12页
为应对传统基于图像的火星场景分类算法面对火星复杂未知环境、未见类别频发的情况时表现不佳的问题,研究了多模态信息交互的零样本分类算法,并探索了该算法向深空探测领域的迁移及优化。研究内容主要分为数据集构建和算法研究2个方面... 为应对传统基于图像的火星场景分类算法面对火星复杂未知环境、未见类别频发的情况时表现不佳的问题,研究了多模态信息交互的零样本分类算法,并探索了该算法向深空探测领域的迁移及优化。研究内容主要分为数据集构建和算法研究2个方面。在数据集构建方面,整合并重构了火星探测零样本分类数据集。在算法研究方面,提出了一种基于多模态特征交互的零样本场景分类算法,然后结合知识蒸馏技术,对其进行了模型压缩优化,使其可在保证零样本分类性能的同时,大幅降低模型的参数量和计算复杂度。为验证算法的有效性,进行了大量对比实验和可视化分析,结果证明了所提算法的可行性和有效性。 展开更多
关键词 火星图像分类 多模态信息 零样本分类 知识蒸馏
在线阅读 下载PDF
基于多模态信息融合的中文拼写纠错算法
6
作者 张庆 杨凡 方宇涵 《计算机应用》 北大核心 2025年第5期1528-1534,共7页
中文拼写纠错(CSC)的目标是检测和修正用户输入中文文本中的字或词级别的错误,这些错误通常是由于汉字之间的语义、字音或字形相似而导致的误用。然而,现有模型通常忽略了局部信息,无法充分捕捉不同汉字之间的字音和字形相似性,也无法... 中文拼写纠错(CSC)的目标是检测和修正用户输入中文文本中的字或词级别的错误,这些错误通常是由于汉字之间的语义、字音或字形相似而导致的误用。然而,现有模型通常忽略了局部信息,无法充分捕捉不同汉字之间的字音和字形相似性,也无法有效地将这些信息与语义信息结合起来。为了解决这些问题,提出一种基于多模态信息融合的CSC算法PWSpell。该算法利用卷积注意力机制关注局部语义信息,利用拼音编码捕捉汉字之间的字音相似关系,并首次将五笔编码引入CSC领域,用于捕捉汉字之间的字形相似关系。此外,将这2种相似关系与经过BERT(Bidirectional Encoder Representation from Transformers)处理的语义信息进行选择性融合。实验结果表明,PWSpell在SIGHAN 2015测试集的检测级指标上准确率、精确率、F1值以及校正级指标精确率、F1值上均有提升,其中校正级的精确率至少提升了1个百分点;消融实验结果也验证了算法中各个模块的设计都能有效提升模型的性能。 展开更多
关键词 中文自然语言处理 中文拼写纠错 BERT 多模态信息融合 局部信息
在线阅读 下载PDF
基于多模态信息融合的矿井辅助运输机器人自主导航方法
7
作者 栾婧 单敬福 魏力 《金属矿山》 北大核心 2025年第4期211-218,共8页
随着矿山智能化建设的不断推进,机器人技术与无人驾驶技术成为智慧矿山系统发展的热点问题。辅助运输机器人作为煤矿井下运输环节的重要组成部分,其自主导航性能受到井下巷道复杂环境特征的严重影响。针对辅助运输机器人的复杂工况,提... 随着矿山智能化建设的不断推进,机器人技术与无人驾驶技术成为智慧矿山系统发展的热点问题。辅助运输机器人作为煤矿井下运输环节的重要组成部分,其自主导航性能受到井下巷道复杂环境特征的严重影响。针对辅助运输机器人的复杂工况,提出一种基于多模态信息融合的自主导航方法。集成激光雷达、RGB-D深度相机、IMU等多类型传感器,融合点云数据、图像数据、位姿数据等多模态信息,基于Rtabmap算法实现高精度定位与建图,为机器人提供更全面、更准确的环境感知数据。构建高精度、高真实性地图,提高井下巷道环境中的定位准确性。基于指数加权改进A^(*)算法以提高路径搜索效率,与传统算法相比搜索时间缩短约50%。并通过引入二阶贝塞尔曲线平滑路径,有效提高机器人的行驶效率。试验结果表明,辅助运输机器人的运输效率提升24.91%,且安全性能更佳。研究结果为煤矿井下机器人自主导航技术开发及应用提供了理论参考。 展开更多
关键词 辅助运输机器人 多模态信息融合 定位与建图 路径规划
在线阅读 下载PDF
融合视觉线索的多模态信息界面复杂度优化研究
8
作者 张晶 施行健 +1 位作者 钱龙泷 储晴 《包装工程》 北大核心 2025年第4期36-48,95,共14页
目的针对多模态信息界面中的信息承载量与用户认知容量冲突造成的复杂度问题,引入认知层面的视觉线索设计,探究视觉线索的融入对多模态信息界面复杂度的优化作用。方法采用眼动追踪技术,收集了35名被试在不同视觉线索形式与高、中、低... 目的针对多模态信息界面中的信息承载量与用户认知容量冲突造成的复杂度问题,引入认知层面的视觉线索设计,探究视觉线索的融入对多模态信息界面复杂度的优化作用。方法采用眼动追踪技术,收集了35名被试在不同视觉线索形式与高、中、低三种界面复杂度编码形式下的眼动数据和行为数据,提取兴趣区域内的总访问持续时间、眼跳次数、凝视次数等眼动指标并进行综合分析。结果多模态信息界面中的视觉线索和界面复杂度均对被试的行为反应指标和眼动指标有显著性影响,且动态线索和面形线索的视觉搜索绩效更优。结论视觉线索的融入可以在同等复杂度水平上有效引导被试的视觉动线,辅助被试快速有效地找到目标信息,不仅可以提升多模态信息界面的认知绩效,还有助于降低高复杂度界面中的认知难度。本研究结果可用于指导多模态信息界面的设计研发,为多模态信息界面复杂度的优化提供依据。 展开更多
关键词 多模态信息 界面复杂度 视觉线索 眼动实验 界面优化
在线阅读 下载PDF
基于多模态信息的交互景观设计研究 被引量:3
9
作者 张轶 韩宇翃 《包装工程》 CAS 北大核心 2024年第S01期393-399,共7页
目的从多模态信息交互的角度优化现有的交互景观设计流程,提高用户体验和交互效果,并探讨交互景观的未来发展趋势。方法基于现有的交互景观研究现状与相关案例,以多模态交互理论与技术为支撑,归纳人机交互在景观设计中的角色。通过梳理... 目的从多模态信息交互的角度优化现有的交互景观设计流程,提高用户体验和交互效果,并探讨交互景观的未来发展趋势。方法基于现有的交互景观研究现状与相关案例,以多模态交互理论与技术为支撑,归纳人机交互在景观设计中的角色。通过梳理设计原则,以多模态交互景观系统中的交互场景、多模态信息、用户需求与意图三要素为导向,以多模态信息采集、处理与决策、终端反馈三个模块构建出多模态交互景观设计策略,并对其中多模态信息的关系进行梳理。结论通过对多模态信息的处理与运用,能够实现交互景观在不同情境和用户状态下的设计框架优化,多模态信息融合为提高景观的信息表达效率以及感知体验提供了多样化的思路,能够带来更丰富、自然的交互体验。最后探讨了交互景观在交互界面与设备多样化、趋向实体与虚拟相结合的交互模式以及交互景观与城市系统化的结合趋势。 展开更多
关键词 景观设计 多模态信息 交互设计 信息交互
在线阅读 下载PDF
多模态信息融合舰船目标识别研究进展 被引量:3
10
作者 吴文静 王中训 +1 位作者 但波 邢子杰 《探测与控制学报》 CSCD 北大核心 2024年第2期1-12,共12页
舰船目标识别的信息源主要来自现代高分辨率成像雷达形成的舰船目标信息,包括高分辨距离像、船舶自动识别系统信息以及合成孔径雷达成像。在对海探测环境相对复杂的情况下,基于单模态信息对海上舰船目标识别的能力有限,而利用多模态信... 舰船目标识别的信息源主要来自现代高分辨率成像雷达形成的舰船目标信息,包括高分辨距离像、船舶自动识别系统信息以及合成孔径雷达成像。在对海探测环境相对复杂的情况下,基于单模态信息对海上舰船目标识别的能力有限,而利用多模态信息融合将更有益于实现对海上目标高效的侦察监视和识别。首先,对单模态舰船目标识别方法进行梳理和总结,分析目前不同舰船目标识别方法存在的优势和不足;然后对多模态信息融合舰船目标识别常用数据集进行介绍,并对新方法、新模型进行了深入分析;最后对舰船目标识别未来发展趋势进行展望,为后续基于多模态信息融合的舰船目标识别方法研究提供参考。 展开更多
关键词 高分辨距离像 船舶自动识别系统 合成孔径雷达 多模态信息融合 舰船目标识别
在线阅读 下载PDF
基于多模态信息融合的变压器在线故障诊断方法 被引量:7
11
作者 邢致恺 何怡刚 姚其新 《电子测量与仪器学报》 CSCD 北大核心 2024年第9期95-103,共9页
针对变压器的多模态数据中存在差异性和样本缺失的问题,提出了一种基于振动信号和红外图像数据的多模态信息融合方法,分析多模态数据对电力变压器故障状态进行有效、快速的评估。首先,该方法采用双向门控神经网络对振动信号的文本信息... 针对变压器的多模态数据中存在差异性和样本缺失的问题,提出了一种基于振动信号和红外图像数据的多模态信息融合方法,分析多模态数据对电力变压器故障状态进行有效、快速的评估。首先,该方法采用双向门控神经网络对振动信号的文本信息、振动信号的频域图和变压器的红外图像分别进行特征提取,并获得不同模态的重要特征向量。然后,使用交叉注意力机制建立不同模态之间的联系并进行特征向量融合。最后,通过卷积层和全链接层输出电力变压器的故障状态。实验数据采集于10 kV变压器,含振动信号和变压器的红外图像。实验结果表明,提出的多模态信息融合方法在4种评价指标上优于对比方法,其故障诊断准确率为96%。在不同的电压和电流等级下多模态信息融合方法能获得较为可靠的诊断结果且准确率高,可为变压器多模态数据的故障检测提供方法。 展开更多
关键词 故障诊断 电力变压器 多模态信息融合 深度学习神经网络
在线阅读 下载PDF
基于水下无线传感器阵列网络多模态信息融合的目标定位 被引量:11
12
作者 金磊磊 梁红 马艳 《西北工业大学学报》 EI CAS CSCD 北大核心 2017年第6期1020-1025,共6页
为了进一步提高海洋环境下无线传感器阵列网络(UWSAN)对被动目标三维定位的可靠性和定位精度,在推导多节点网络基于到达时间差(TDOA)定位和基于波达方向(DOA)定位的基础上,应用最小二乘原理,提出适用于UWSAN的TDOA-DOA多模态信息融合定... 为了进一步提高海洋环境下无线传感器阵列网络(UWSAN)对被动目标三维定位的可靠性和定位精度,在推导多节点网络基于到达时间差(TDOA)定位和基于波达方向(DOA)定位的基础上,应用最小二乘原理,提出适用于UWSAN的TDOA-DOA多模态信息融合定位算法。通过计算机仿真将该信息融合算法与TDOA方法和DOA方法进行比较,结果表明,相对于单模态信息的定位算法,多模态信息融合算法的定位误差更小,性能更加稳定和可靠,具有实际的应用价值。 展开更多
关键词 传感器阵列网络 到达时间差 波达方向 多节点 三维定位 最小二乘 多模态信息融合 鲁棒控制 目标跟踪
在线阅读 下载PDF
一种多模态信息融合的视频检索模型 被引量:7
13
作者 张静 俞辉 《计算机应用》 CSCD 北大核心 2008年第1期199-201,213,共4页
针对包含复杂语义信息的视频检索的需要,提出了一种基于关系代数的多模态信息融合视频检索模型,该模型充分利用视频包含的文本、图像、高层语义概念等多模态特征,构造了对应于多个视频特征的查询模块,并创新地使用关系代数表达式对查询... 针对包含复杂语义信息的视频检索的需要,提出了一种基于关系代数的多模态信息融合视频检索模型,该模型充分利用视频包含的文本、图像、高层语义概念等多模态特征,构造了对应于多个视频特征的查询模块,并创新地使用关系代数表达式对查询得到的多模态信息进行融合。实验表明,该模型能够充分发挥多模型视频检索及基于关系代数表达式的融合策略在复杂语义视频检索中的优势,得到较好的查询结果。 展开更多
关键词 TRECVID 视频检索 多模态信息融合 关系代数表达式
在线阅读 下载PDF
基于多模态信息的地面钻孔作业肌肉疲劳分析 被引量:2
14
作者 易灿南 郑艳芳 +3 位作者 李开伟 胡鸿 刘美英 何佳媛 《安全与环境学报》 CAS CSCD 北大核心 2023年第6期1952-1960,共9页
为了解地面钻孔作业肌肉疲劳发展特征,避免疲劳累积,降低工作相关肌肉骨骼疾患(WMSDs)风险,设计并组织地面钻孔试验,通过采集作业过程中作业人员多模态肌肉疲劳信息研究其风险。招募8名大学男生进行试验,测量地面及20 cm高以及20 s和40 ... 为了解地面钻孔作业肌肉疲劳发展特征,避免疲劳累积,降低工作相关肌肉骨骼疾患(WMSDs)风险,设计并组织地面钻孔试验,通过采集作业过程中作业人员多模态肌肉疲劳信息研究其风险。招募8名大学男生进行试验,测量地面及20 cm高以及20 s和40 s钻孔任务下多模态肌肉疲劳数据:任务操作量、主观评分、生理参数和姿势;然后运用统计学方法分析地面类型及任务时长对作业过程肌肉疲劳的影响,进行回归分析以分析各肌群肌肉疲劳发展,利用姿势分析方法分析姿势风险。结果表明:钻孔作业肌肉疲劳明显;作业前后握力下降显著;主观用力评分(RPE)、主观痛感评分(RPA)和主观振动不适评分(RPV)均随时间显著上升;腰背RPE评分最高;20 cm高作业肌肉疲劳风险较高,具有较高姿势风险评分;身体右侧肌肉疲劳风险较高;20 s任务肌肉疲劳风险较高于40 s任务。 展开更多
关键词 安全人体学 钻孔作业 肌肉疲劳 多模态信息 工作相关肌肉骨骼疾患(WMSDs)
在线阅读 下载PDF
一种基于多模态信息融合的火车司机疲劳驾驶检测方法 被引量:5
15
作者 李小平 白超 《铁道学报》 EI CAS CSCD 北大核心 2022年第6期56-65,共10页
单一语音或视频特征的火车司机疲劳驾驶检测存在语音噪声干扰大、数据维数高、样本数据非平稳泛化误差以及视频采集角度、光线变化、脸部遮挡等导致疲劳检测误判率较高等问题。针对上述问题,提出一种基于多模态信息融合的火车司机疲劳... 单一语音或视频特征的火车司机疲劳驾驶检测存在语音噪声干扰大、数据维数高、样本数据非平稳泛化误差以及视频采集角度、光线变化、脸部遮挡等导致疲劳检测误判率较高等问题。针对上述问题,提出一种基于多模态信息融合的火车司机疲劳驾驶检测方法,通过机车视频监控系统与呼叫应答装置采集司机视频与语音信号,采用串行结构的stacking集成学习模型实现视频模态与语音模态之间的互补与融合,通过多折交叉验证提高非线性表达能力,降低泛化误差,利用随机子空间算法降低语音特征参数维度,以长短期记忆网络作为初级学习器,以梯度提升决策树作为次级学习器,最终实现司机疲劳状态的精准检测。实验结果表明,该方法疲劳检测正确率达到97.0%,相比采用单一语音特征和视频图像特征的检测方法,正确率分别提高了7.4%和1.17%。 展开更多
关键词 多模态信息融合 疲劳驾驶检测 stacking集成学习 梯度提升决策树
在线阅读 下载PDF
面向群智共创的用户多模态信息设计 被引量:7
16
作者 张祖耀 王碧凌 摇若楷 《包装工程》 CAS 北大核心 2021年第24期29-35,共7页
目的通过群智共创理论视角,探索用户多模态信息设计应用与虚拟网络下多角色共创设计方法,提出面向群智共创的用户多模态信息设计模型,优化文创产品设计中用户设计参与度与用户满意度。方法从群智共创理念出发,根据用户参与设计的行为,... 目的通过群智共创理论视角,探索用户多模态信息设计应用与虚拟网络下多角色共创设计方法,提出面向群智共创的用户多模态信息设计模型,优化文创产品设计中用户设计参与度与用户满意度。方法从群智共创理念出发,根据用户参与设计的行为,提出从“显性—隐性”“感性—理性”两个维度来划分用户多模态信息,并构建相应的用户多模态信息结构以及设计应用方法。同时以“听见敦煌”声纹识别藻井文创定制APP设计为实践对象,对面向群智共创的用户多模态信息设计方法进行验证。结果群智共创场景下,在声纹识别藻井文创设计中的用户多模态信息设计方案可以提高用户参与度与消费体验满意度,形成用户设计优化链路,为提升设计质量提供支持。结论面向群智共创的用户多模态信息设计,可以通过分析挖掘用户信息,并将其特征融入设计,提升设计效率,推进群智共创。 展开更多
关键词 群智共创 用户多模态信息 声纹识别 敦煌藻井
在线阅读 下载PDF
基于大数据环境的多模态信息隐藏新体系 被引量:10
17
作者 黄殿中 张静飞 +2 位作者 张茹 李鹏超 郭云彪 《电子学报》 EI CAS CSCD 北大核心 2017年第2期477-484,共8页
信息隐藏研究经过数十年的发展,在隐写术和隐写检测方面都积累了大量成果,但是信息隐藏的应用目前仍局限于实验室研究,聚焦于发现与抗发现的对抗,距实际应用仍有一定的距离.论文在对当前信息隐藏研究深入分析的基础上,借鉴密码学思想,... 信息隐藏研究经过数十年的发展,在隐写术和隐写检测方面都积累了大量成果,但是信息隐藏的应用目前仍局限于实验室研究,聚焦于发现与抗发现的对抗,距实际应用仍有一定的距离.论文在对当前信息隐藏研究深入分析的基础上,借鉴密码学思想,提出建立适应于当前大数据环境,算法可变、修改模式可控的抗取证信息隐藏系统;通过全面整合信息隐藏算法和嵌入修改模式,构建多模态信息隐藏技术空间,实现用户通过输入密钥参与信息隐藏处理控制的全新研究思路和应用方式.论文通过理论分析和实验初步验证该系统的有效性和安全性. 展开更多
关键词 信息隐藏 隐写 抗取证信息隐藏 多模态信息隐藏
在线阅读 下载PDF
面向突发事件应急管理的社交媒体多模态信息分析研究 被引量:23
18
作者 徐元 毛进 李纲 《情报学报》 CSSCI CSCD 北大核心 2021年第11期1150-1163,共14页
当前,社交媒体已经成为突发事件态势感知的一种重要信息来源,其中包含文本、图像、视频等多模态信息,可广泛应用于突发事件的应急管理。近年来,作为一项具有挑战性的任务,面向突发事件的社交媒体多模态信息分析已受到学术界和工业界的... 当前,社交媒体已经成为突发事件态势感知的一种重要信息来源,其中包含文本、图像、视频等多模态信息,可广泛应用于突发事件的应急管理。近年来,作为一项具有挑战性的任务,面向突发事件的社交媒体多模态信息分析已受到学术界和工业界的广泛关注。本文围绕突发事件中的社交媒体多模态信息分析研究展开综述,从内容、时空和传播三个维度解析社交媒体多模态信息的多维特征,并从信息获取、信息整合和信息挖掘三个方面归纳多模态信息分析的关键方法和技术。最后,本文在综述的基础上,结合“情境-应对”模式下的突发事件应急管理目标,构建社交媒体多模态信息分析框架,并从信息获取、描述、分析和可视化等方面展望未来的研究方向,为面向突发事件应急管理的社交媒体多模态信息分析研究和实践提供指引,以期通过方法创新提升突发事件的应急管理能力。 展开更多
关键词 突发事件 应急信息管理 社交媒体 多模态信息分析 语义分析
在线阅读 下载PDF
基于多模态信息融合的新闻图像人脸标注 被引量:2
19
作者 征察 吉立新 +1 位作者 李邵梅 高超 《计算机应用》 CSCD 北大核心 2017年第10期3006-3011,3038,共7页
针对传统新闻图像中人脸标注方法主要依赖人脸相似度信息,分辨噪声和非噪声人脸能力以及非噪声人脸标注能力较差的问题,提出一种基于多模态信息融合的新闻图像人脸标注方法。首先根据人脸和姓名的共现关系,利用改进的K近邻算法,获得基... 针对传统新闻图像中人脸标注方法主要依赖人脸相似度信息,分辨噪声和非噪声人脸能力以及非噪声人脸标注能力较差的问题,提出一种基于多模态信息融合的新闻图像人脸标注方法。首先根据人脸和姓名的共现关系,利用改进的K近邻算法,获得基于人脸相似度信息的人脸姓名匹配度;然后,分别从图像中提取人脸大小和位置的信息对人脸重要程度进行表征,从文本中提取姓名位置信息对姓名重要程度进行表征;最后,使用反向传播神经网络来融合上述信息完成人脸标签的推理,并提出一个标签修正策略来进一步改善标注结果。在Label Yahoo!News数据集上的测试效果表明,所提方法的标注准确率、精度和召回率分别达到了77.11%、73.58%和78.75%,与仅基于人脸相似度的算法相比,具有较好的分辨噪声和非噪声人脸能力以及非噪声人脸标注能力。 展开更多
关键词 新闻图像 人脸标注 K近邻算法 多模态信息 反向传播神经网络
在线阅读 下载PDF
基于多模态信息融合的心理负荷评估 被引量:3
20
作者 郝腾腾 郑欣 +2 位作者 王慧宇 许开立 朱奕嬴 《中国安全生产科学技术》 CAS CSCD 北大核心 2022年第12期12-18,共7页
为了相对稳定地识别人员是否处于心理负荷状态,设计并实施含能材料起爆作业心理负荷诱导试验。首先对心理负荷诱导情况进行判断,然后分别采集27名被试在静息状态和实施含能材料撞击起爆作业状态下的眼动、心率变异性(HRV)和脑电信号(EE... 为了相对稳定地识别人员是否处于心理负荷状态,设计并实施含能材料起爆作业心理负荷诱导试验。首先对心理负荷诱导情况进行判断,然后分别采集27名被试在静息状态和实施含能材料撞击起爆作业状态下的眼动、心率变异性(HRV)和脑电信号(EEG),通过正态性检验和假设检验获得心理负荷表征指标并进行统计功效分析,依据表征指标,采用支持向量机(SVM)和随机森林(RF)算法建立多模态信息融合的心理负荷评估模型,最后采用被试工作特征曲线(ROC曲线)分析各模态组合和分类器的心理负荷识别性能。研究结果表明:双模态(眼动+EEG)下SVM算法和3模态下RF算法评估性能和稳健性较高,多模态信息组合具有优异的识别效果。 展开更多
关键词 心理负荷 眼动 心率变异性(HRV) 脑电信号(EEG) 多模态信息融合 支持向量机(SVM) 随机森林(RF)
在线阅读 下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部