期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
多负例对比机制下的跨模态表示学习
被引量：
1
1
作者
丁凯旋
陈雁翔
+2 位作者
赵鹏铖
朱玉鹏
盛振涛
《计算机工程与应用》
CSCD
北大核心
2022年第19期184-192,共9页
为了有效地获取到更有区别性的跨模态表示,提出了一种基于多负例对比机制的跨模态表示学习方法--监督对比的跨模态表示学习(supervised contrastive cross-modal representation learning,SCCMRL),并将其应用于视觉模态和听觉模态上。SC...
为了有效地获取到更有区别性的跨模态表示,提出了一种基于多负例对比机制的跨模态表示学习方法--监督对比的跨模态表示学习(supervised contrastive cross-modal representation learning,SCCMRL),并将其应用于视觉模态和听觉模态上。SCCMRL分别通过视觉编码器和音频编码器提取得到视听觉特征,利用监督对比损失让样本数据与其多个负例进行对比,使得相同类别的视听觉特征距离更近,不同类别的视听觉特征距离更远。此外,该方法还引入了中心损失和标签损失来进一步保证跨模态表示间的模态一致性和语义区分性。为了验证SCCMRL方法的有效性,基于SCCMRL方法构建了相应的跨模态检索系统,并结合Sub_URMP和XmediaNet数据集进行了跨模态检索实验。实验结果表明,SCCMRL方法相较于当前常用的跨模态检索方法取得了更高的mAP值,同时验证了多负例对比机制下的跨模态表示学习具有可行性。
展开更多
关键词
跨模态表示学习
多
模态
特征融合
多负例对比机制
监督对比损失
跨
模态
检索
在线阅读
下载PDF
职称材料
基于多模态融合技术的用户画像方法
被引量：
14
2
作者
张壮
冯小年
钱铁云
《北京大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2020年第1期105-111,共7页
针对当前用户画像工作中各模态信息不能被充分利用的问题,提出一种跨模态学习思想,设计一种基于多模态融合的用户画像模型。首先利用Stacking集成方法,融合多种跨模态学习联合表示网络,对相应的模型组合进行学习,然后引入注意力机制,使...
针对当前用户画像工作中各模态信息不能被充分利用的问题,提出一种跨模态学习思想,设计一种基于多模态融合的用户画像模型。首先利用Stacking集成方法,融合多种跨模态学习联合表示网络,对相应的模型组合进行学习,然后引入注意力机制,使得模型能够学习不同模态的表示对预测结果的贡献差异性。改进后的模型具有精心设计的网络结构和目标函数,能够生成一个由特征级融合和决策级融合组成的联合特征表示,从而可以合并不同模态的相关特征。在真实数据集上的实验结果表明,所提模型优于当前最好的基线方法。
展开更多
关键词
用户画像
模型组合
STACKING
跨
模态
学习
联合
表示
多层多级模型融合
在线阅读
下载PDF
职称材料
题名
多负例对比机制下的跨模态表示学习
被引量：
1
1
作者
丁凯旋
陈雁翔
赵鹏铖
朱玉鹏
盛振涛
机构
合肥工业大学计算机与信息学院
出处
《计算机工程与应用》
CSCD
北大核心
2022年第19期184-192,共9页
基金
国家自然科学基金(61972127,61672201)。
文摘
为了有效地获取到更有区别性的跨模态表示,提出了一种基于多负例对比机制的跨模态表示学习方法--监督对比的跨模态表示学习(supervised contrastive cross-modal representation learning,SCCMRL),并将其应用于视觉模态和听觉模态上。SCCMRL分别通过视觉编码器和音频编码器提取得到视听觉特征,利用监督对比损失让样本数据与其多个负例进行对比,使得相同类别的视听觉特征距离更近,不同类别的视听觉特征距离更远。此外,该方法还引入了中心损失和标签损失来进一步保证跨模态表示间的模态一致性和语义区分性。为了验证SCCMRL方法的有效性,基于SCCMRL方法构建了相应的跨模态检索系统,并结合Sub_URMP和XmediaNet数据集进行了跨模态检索实验。实验结果表明,SCCMRL方法相较于当前常用的跨模态检索方法取得了更高的mAP值,同时验证了多负例对比机制下的跨模态表示学习具有可行性。
关键词
跨模态表示学习
多
模态
特征融合
多负例对比机制
监督对比损失
跨
模态
检索
Keywords
cross-modal representation learning
multimodal feature fusion
multi-negatives contrastive mechanism
supervised contrastive loss
cross-modal retrieval
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
基于多模态融合技术的用户画像方法
被引量：
14
2
作者
张壮
冯小年
钱铁云
机构
武汉大学计算机学院
中国电力财务有限公司
出处
《北京大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2020年第1期105-111,共7页
基金
国家自然科学基金(61572376)资助
文摘
针对当前用户画像工作中各模态信息不能被充分利用的问题,提出一种跨模态学习思想,设计一种基于多模态融合的用户画像模型。首先利用Stacking集成方法,融合多种跨模态学习联合表示网络,对相应的模型组合进行学习,然后引入注意力机制,使得模型能够学习不同模态的表示对预测结果的贡献差异性。改进后的模型具有精心设计的网络结构和目标函数,能够生成一个由特征级融合和决策级融合组成的联合特征表示,从而可以合并不同模态的相关特征。在真实数据集上的实验结果表明,所提模型优于当前最好的基线方法。
关键词
用户画像
模型组合
STACKING
跨
模态
学习
联合
表示
多层多级模型融合
Keywords
user profiling
model combination
stacking
cross-modal learning joint representation
multi-layer and multi-level model fusion
分类号
TP391.1 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
多负例对比机制下的跨模态表示学习
丁凯旋
陈雁翔
赵鹏铖
朱玉鹏
盛振涛
《计算机工程与应用》
CSCD
北大核心
2022
1
在线阅读
下载PDF
职称材料
2
基于多模态融合技术的用户画像方法
张壮
冯小年
钱铁云
《北京大学学报（自然科学版）》
EI
CAS
CSCD
北大核心
2020
14
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
