期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于增强异构图融合的多模态医学实体识别研究
被引量：
1
1
作者
韩普
李雄
《现代情报》
北大核心
2025年第6期34-45,共12页
[目的/意义]为充分挖掘医学图像与文本间语义关联信息,本文利用增强异构图融合方法提升图像特征表示并进行模态信息交互实现特征融合,进而提升多模态医学实体识别效果。[方法/过程]首先利用RoBERTa和ResNet分别提取医学文本与图像特征,...
[目的/意义]为充分挖掘医学图像与文本间语义关联信息,本文利用增强异构图融合方法提升图像特征表示并进行模态信息交互实现特征融合,进而提升多模态医学实体识别效果。[方法/过程]首先利用RoBERTa和ResNet分别提取医学文本与图像特征,接着通过视觉增强模块捕获图像关键信息并过滤无关噪声,然后构建基于图像与文本节点和对应边的异构图以获取模态间细粒度语义关联,并通过自注意力机制、跨模态门控机制和位置前馈网络实现医学多模态特征融合,最后在中文多模态医学数据集上验证实体识别效果。[结果/结论]所构建的RMGFM模型在中文多模态医学数据集上F1值达到88.99%,相比UMT、AGBAN和UMGF等多模态基线模型的F1值分别提高了5.52%、5.28%和5.08%。实验表明Ro-UMGF*+Manifold(RMGFM)模型能有效挖掘医学图像和文本间语义关联信息,在中文多模态医学实体识别任务中表现优异。
展开更多
关键词
异构图融合
视觉增强
多模态命名实体识别
语义
融合
医疗健康
在线阅读
下载PDF
职称材料
题名
基于增强异构图融合的多模态医学实体识别研究
被引量：
1
1
作者
韩普
李雄
机构
南京邮电大学管理学院
江苏省数据工程与知识服务重点实验室
出处
《现代情报》
北大核心
2025年第6期34-45,共12页
基金
国家社会科学基金项目“面向多模态医疗健康数据的知识组织模式研究”(项目编号:22BTQ096)
江苏省研究生科研创新计划基金项目“面向医疗健康数据的多模态信息抽取研究”(项目编号:KYCX24_1094)。
文摘
[目的/意义]为充分挖掘医学图像与文本间语义关联信息,本文利用增强异构图融合方法提升图像特征表示并进行模态信息交互实现特征融合,进而提升多模态医学实体识别效果。[方法/过程]首先利用RoBERTa和ResNet分别提取医学文本与图像特征,接着通过视觉增强模块捕获图像关键信息并过滤无关噪声,然后构建基于图像与文本节点和对应边的异构图以获取模态间细粒度语义关联,并通过自注意力机制、跨模态门控机制和位置前馈网络实现医学多模态特征融合,最后在中文多模态医学数据集上验证实体识别效果。[结果/结论]所构建的RMGFM模型在中文多模态医学数据集上F1值达到88.99%,相比UMT、AGBAN和UMGF等多模态基线模型的F1值分别提高了5.52%、5.28%和5.08%。实验表明Ro-UMGF*+Manifold(RMGFM)模型能有效挖掘医学图像和文本间语义关联信息,在中文多模态医学实体识别任务中表现优异。
关键词
异构图融合
视觉增强
多模态命名实体识别
语义
融合
医疗健康
Keywords
heterogeneous graph fusion
visual augmentation
multimodal named entity recognition
semantic fusion
medical and health
分类号
G203 [文化科学—传播学]
TP391.1 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于增强异构图融合的多模态医学实体识别研究
韩普
李雄
《现代情报》
北大核心
2025
1
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
