-
题名基于多模态表示学习的情感分析框架
被引量：5
- 1
-
-
作者
胡新荣
陈志恒
刘军平
彭涛
叶鹏
朱强
-
机构
纺织服装智能化湖北省工程研究中心
湖北省服装信息化工程技术研究中心
武汉纺织大学计算机与人工智能学院
-
出处
《计算机科学》
CSCD
北大核心
2022年第S02期631-636,共6页
-
基金
国家自然科学基金(61103085)
湖北省高等学校优秀中青年科技创新团队计划项目(T201807)
+1 种基金
湖北省高校知识产权推进工程项目(GXYS2018009)
湖北省教育厅科学研究计划重点项目(D20191708)
-
文摘
在多模态表示对整体损失的学习过程中,重构损失对模型的依赖性相对较小,导致隐含表示无法有效捕捉它们各自模态的细节。文中提出了一个基于多模态表示学习的多子空间情感分析框架。首先将每个模态投射到模态不变和模态特定两种不同的话语表示中,在模态不变表示中构建主共享子空间以及帮助该子空间减少模态差距的辅助共享子空间,在模态特定表示中构建私有子空间以捕获每个模态独有的特征,将所有子空间中的隐藏向量作为解码函数的输入并重构模态向量,以实现对重构损失的优化。然后,在融合阶段对每个模态表示执行基于Transformer的自注意力,使每个表示能从对整体情感取向具有协同作用的其他跨模态表示中获取潜在信息。最后,通过串联生成联合向量并利用全连接层生成任务预测。在两个公开数据集MOSI和MOSEI上的实验结果表明,该框架在大多数评价指标上都优于基线模型。
-
关键词
多模态表示
情感分析
TRANSFORMER
自注意力
跨模态
-
Keywords
Multimodal representation
Sentiment analysis
Transformer
Self-attention
Cross-modality
-
分类号
TN912.3
[电子电信—通信与信息系统]
TP391.41
[自动化与计算机技术—计算机应用技术]
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名深度多模态表示学习的研究综述
被引量：6
- 2
-
-
作者
潘梦竹
李千目
邱天
-
机构
南京理工大学计算机科学与工程学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2023年第2期48-64,共17页
-
文摘
尽管深度学习因为强大的非线性表示能力已广泛应用于许多领域,多源异构模态数据间结构和语义上的鸿沟严重阻碍了后续深度学习模型的应用。虽然已经有许多学者提出了大量的表示学习方法以探索不同模态间的相关性和互补性,并提高深度学习预测和泛化性能。然而,多模态表示学习研究还处于初级阶段,依然存在许多科学问题尚需解决。迄今为止,多模态表示学习仍缺乏统一的认知,多模态表示学习研究的体系结构和评价指标尚不完全明确。根据不同模态的特征结构、语义信息和表示能力,从表示融合和表示对齐两个角度研究和分析了深度多模态表示学习的进展,并对现有研究工作进行了系统的总结和科学的分类。同时,解析了代表性框架和模型的基本结构、应用场景和关键问题,分析了深度多模态表示学习的理论基础和最新发展,并且指出了多模态表示学习研究当前面临的挑战和今后的发展趋势,以进一步推动深度多模态表示学习的发展和应用。
-
关键词
多模态表示
深度学习
多模态融合
多模态对齐
-
Keywords
multimodal representation
deep learning
multimodal fusion
multimodal alignment
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于语义关系的多Agent多模态表示规划
- 3
-
-
作者
郭元博
吴青粟
-
机构
中国科技大学计算机系
北方交通大学通信控制系
-
出处
《计算机工程》
CAS
CSCD
北大核心
1999年第10期12-13,16,共3页
-
文摘
介绍了一个用于多模态表示规划的多Ａｇｅｎｔ系统。为了显示被表示对象之间的语义关系，表示规划需满足一定的约束。阐述了多Ａｇｅｎｔ合作进行规划的机制，重点论述了约束的传播以及动态修改。
-
关键词
多模态表示
多AGENT系统
语义关系
人工智能
-
Keywords
Multimodal presentation
Multiagent system
Hirarchical blackboard structure
Space constraint
Modality constraint
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于样本内外协同表示和自适应融合的多模态学习方法
被引量：1
- 4
-
-
作者
黄学坚
马廷淮
王根生
-
机构
江西财经大学虚拟现实(VR)现代产业学院
南京信息工程大学计算机学院
江西财经大学信息管理学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2024年第5期1310-1324,共15页
-
基金
国家自然科学基金项目(62372243,72061015,62102187)。
-
文摘
多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,该多模态学习方法在多个评价指标上优于基线方法.
-
关键词
多模态表示
多模态融合
多模态学习
协同表示
自适应融合
-
Keywords
multimodal representation
multimodal fusion
multimodal learning
collaborative representation
adaptive fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名网络异常检测中的流量表示研究
被引量：1
- 5
-
-
作者
孙剑文
张斌
常禾雨
-
机构
信息工程大学密码工程学院
-
出处
《通信学报》
北大核心
2025年第1期192-209,共18页
-
基金
国家自然科学基金资助项目(No.62276091)。
-
文摘
针对网络异常检测中流量表示存在的信息丢失问题,从数据采集粒度入手分析不同流量表示的特征信息维度对异常检测性能的影响。首先,介绍了恶意异常检测中流量表示粒度间的协同与耦合关系,以及异常检测中的流量表示、特征学习和检测三环节间的耦合关系。然后,系统审视流量表示在网络异常检测中的发展轨迹,深入分析了流量表示形式、流量特征学习与流量表示在异常检测中的应用3个方面的国内外研究现状。最后,围绕流量表示在网络异常检测应用中协同耦合的发展趋势对未来研究进行展望。
-
关键词
异常检测
网络流量
流量表示形式
特征类型
多模态流量表示
-
Keywords
anomaly detection
network traffic
traffic representation form
feature type
multimodal traffic representation
-
分类号
TP393.08
[自动化与计算机技术—计算机应用技术]
-
-
题名图文语义增强的多模态命名实体识别方法
被引量：1
- 6
-
-
作者
徐玺
王海荣
王彤
马赫
-
机构
北方民族大学计算机科学与工程学院
北方民族大学图像图形智能处理国家民委重点实验室
-
出处
《计算机应用研究》
CSCD
北大核心
2024年第6期1679-1685,共7页
-
基金
宁夏自然科学基金资助项目(2023AAC03316)
北方民族大学中央高校基本科研业务费专项资金资助项目(2022PT_S04)。
-
文摘
为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题,提出了一种图文语义增强的多模态命名实体识别方法。其中,利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签,以全面描述图文数据的语义信息;采用Transformer和跨模态注意力机制,挖掘图文特征间的互补语义关系,以引导特征融合,从而生成语义补全的文本表征和语义增强的多模态表征;整合边界检测、实体类别检测和命名实体识别任务,构建了多任务标签解码器,该解码器能对输入特征进行细粒度语义解码,以提高预测特征的语义准确性;使用这个解码器对文本表征和多模态表征进行联合解码,以获得全局最优的预测标签。在Twitter-2015和Twitter-2017基准数据集的大量实验结果显示,该方法在平均F 1值上分别提升了1.00%和1.41%,表明该模型具有较强的命名实体识别能力。
-
关键词
多模态命名实体识别
多模态表示
多模态融合
多任务学习
命名实体识别
-
Keywords
multimodal named entity recognition
multimodal representation
multimodal fusion
multi-task learning
named entity recognition
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名多模态深度学习综述
被引量：47
- 7
-
-
作者
刘建伟
丁熙浩
罗雄麟
-
机构
中国石油大学(北京)自动化系
-
出处
《计算机应用研究》
CSCD
北大核心
2020年第6期1601-1614,共14页
-
文摘
在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。
-
关键词
多模态
深度学习
多神经网络
多模态表示
多模态传译
多模态融合
多模态对齐
-
Keywords
multimodal
deep learning
neural network
multimodal representation
multimodal interpretation
multimodal fusion
multimodal alignment
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于自编码器与多模态数据融合的视频推荐方法
被引量：4
- 8
-
-
作者
顾秋阳
琚春华
吴功兴
-
机构
浙江工业大学管理学院
浙江工商大学
-
出处
《电信科学》
2021年第2期82-98,共17页
-
基金
国家自然科学基金资助项目(No.71571162)
浙江省社会科学规划重点课题项目(No.20NDJC10Z)
+1 种基金
国家社会科学基金应急管理体系建设研究专项(No.20VYJ073)
浙江省哲学社会科学重大课题项目(No.20YSXK02ZD)。
-
文摘
现今常用的线性结构视频推荐方法存在推荐结果非个性化、精度低等问题,故开发高精度的个性化视频推荐方法迫在眉睫。提出了一种基于自编码器与多模态数据融合的视频推荐方法,对文本和视觉两种数据模态进行视频推荐。具体来说,所提方法首先使用词袋和TF-IDF方法描述文本数据,然后将所得特征与从视觉数据中提取的深层卷积描述符进行融合,使每个视频文档都获得一个多模态描述符,并利用自编码器构造低维稀疏表示。本文使用3个真实数据集对所提模型进行了实验,结果表明,与单模态推荐方法相比,所提方法推荐性能明显提升,且所提视频推荐方法的性能优于基准方法。
-
关键词
自编码器
多模态表示
数据融合
视频推荐
-
Keywords
autoencoder
multi-modal representation
data fusion
video recommendation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
