医学领域多模态知识图谱融合技术发展现状研究

1

作者 时振普 吕潇 +2 位作者 董彦如 刘静 王晓燕 《计算机科学与探索》 北大核心 2025年第7期1729-1746,共18页

多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模,展现出强大的数据处理能力,为人工智能领域提供更丰富、深入的理解,也因此备受医学领域瞩目,其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好... 多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模,展现出强大的数据处理能力,为人工智能领域提供更丰富、深入的理解,也因此备受医学领域瞩目,其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好地厘清多模态知识图谱在医学领域的研究现状,阐述多模态知识图谱基本知识及医学领域多模态知识图谱构建难点与相关数据集;从传统方法及深度学习方法两个角度分析多模态知识图谱融合涉及的多模态实体对齐与多模态实体链接等关键技术,重点分析文本、图像、音频三个模态的特征提取及融合方法,总结各多模态融合方法优缺点并阐述多模态大语言模型在多模态融合中的应用;详细梳理多模态知识图谱在医学视觉问答、药物研发、影像辅助诊断等领域的研究进展。在此基础上,分析归纳医学领域多模态知识图谱在多模态融合与数据集方面的局限性及面临的挑战,并对未来研究方向进行展望。 展开更多

关键词 多模态知识图谱 知识图谱融合 多模态大语言模型 智能医疗

在线阅读 下载PDF 职称材料

基于多模态知识图谱的河姆渡文化资源库系统设计与实现 被引量：1

2

作者 宋振英 卢焕达 +3 位作者 李天杰 王华健 杨焕勇 于欣 《现代电子技术》 北大核心 2025年第2期143-147,共5页

以河姆渡遗址群考古报告为数据源,通过信息提取、实体链接等方法构建多模态知识图谱,并设计信息系统,实现了河姆渡文化遗产资源的数据管理和检索。参考学术论文及考古研究,设计一种河姆渡文化知识图谱的本体知识体系,并提出一种从考古... 以河姆渡遗址群考古报告为数据源,通过信息提取、实体链接等方法构建多模态知识图谱,并设计信息系统,实现了河姆渡文化遗产资源的数据管理和检索。参考学术论文及考古研究,设计一种河姆渡文化知识图谱的本体知识体系,并提出一种从考古报告中提取图像与知识图谱实体进行对齐的算法,实现了多模态文化资源与实体节点的精准匹配。在此基础上,开发了一个河姆渡文化资源库管理系统。该系统具有多模态检索、图谱化展示等功能,并为用户提供了交互式、可视化的数据浏览和分析工具,有助于用户更深入地理解和利用河姆渡文化遗产资源;也可为研究人员、文化机构和公众提供便捷的工具,以更好地探索和理解河姆渡文化,为文化遗产的管理、研究和教育提供了一种新的手段。 展开更多

关键词 多模态知识图谱 河姆渡文化 资源管理 本体知识 实体链接 数据融合

在线阅读 下载PDF 职称材料

基于大语言模型的施工安全多模态知识图谱的构建与应用

3

作者 董磊 吴福居 +1 位作者 史健勇 潘龙飞 《计算机工程与应用》 北大核心 2025年第9期325-333,共9页

现有施工安全管理方法难以有效整合文本与图片多模态信息,针对施工现场安全事故的领域内知识表达和推理能力有限,并且处理和应用数据需要广泛的领域知识和专业背景。针对这一问题,提出一种基于多模态大语言模型的多模态知识图谱构建方... 现有施工安全管理方法难以有效整合文本与图片多模态信息,针对施工现场安全事故的领域内知识表达和推理能力有限,并且处理和应用数据需要广泛的领域知识和专业背景。针对这一问题,提出一种基于多模态大语言模型的多模态知识图谱构建方法。基于施工安全管理的基本理论和实践经验,构建施工安全知识本体,在此基础上运用多模态大模型构建出多模态知识图谱,解决文本与图片多模态整合以及领域内知识表达和推理能力有限的问题。构建出的知识图谱不仅整合了文本中的事故安全知识,还包含了现场图片信息,提升了知识的全面性和实用性。通过计算准确率、召回率、F1值三个指标对抽取结果进行评价,均得到了很高的分数,验证了大模型对于图片抽取的合理性和准确性。在实际应用中,该方法有助于安全管理人员及时的发现施工现场的安全事故,为管理决策和智能推理提供了重要支持。 展开更多

关键词 多模态知识图谱 大语言模型 安全管理 知识抽取 本体构建

在线阅读 下载PDF 职称材料

一种多模态知识图谱实体对齐方法 被引量：1

4

作者 刘炜 徐辉 李卫民 《应用科学学报》 CAS CSCD 北大核心 2024年第6期1040-1051,共12页

多模态知识图谱的融合需要解决知识融合过程中的实体对齐问题。在多模态知识图谱中,多模态属性可以提供关键对齐信息来提升实体对齐的能力。本文提出一种基于多模态属性嵌入和图注意力网络的多模态知识图谱实体对齐方法。首先,根据多模... 多模态知识图谱的融合需要解决知识融合过程中的实体对齐问题。在多模态知识图谱中,多模态属性可以提供关键对齐信息来提升实体对齐的能力。本文提出一种基于多模态属性嵌入和图注意力网络的多模态知识图谱实体对齐方法。首先,根据多模态知识图谱中图像、文本和图谱结构信息,将多模态知识图谱划分成子图;其次,利用图注意力网络提取文本和图结构信息,利用视觉几何组(visual geometry group, VGG)网络提取图像特征信息;然后,将文本、图像和图结构特征生成嵌入表示到向量空间;最后,综合子图的多模态特征和图结构特征用于对齐。实验结果表明,在对齐任务中该模型相比于4种基线模型性能有明显提升(Hits@1、Hits@10和MRR提升了10.64%、5.60%和0.227)。 展开更多

关键词 多模态知识图谱 实体对齐 多模态属性嵌入 图注意力网络

在线阅读 下载PDF 职称材料

多模态知识图谱表示学习综述 被引量：15

5

作者 王春雷 王肖 刘凯 《计算机应用》 CSCD 北大核心 2024年第1期1-15,共15页

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多... 在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。 展开更多

关键词 多模态知识图谱 表示学习 多模态融合 知识图谱补全 多模态生成

在线阅读 下载PDF 职称材料

多模态知识图谱融合技术研究综述 被引量：17

6

作者 陈囿任 李勇 +1 位作者 温明 孙驰 《计算机工程与应用》 CSCD 北大核心 2024年第13期36-50,共15页

多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有... 多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力。为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向。 展开更多

关键词 多模态知识图谱 语言模型 融合技术 预训练技术

在线阅读 下载PDF 职称材料

面向多模态知识图谱的实体对齐方法研究 被引量：1

7

作者 张艺玮 周乾 +1 位作者 陈伟 赵雷 《小型微型计算机系统》 CSCD 北大核心 2024年第5期1257-1263,共7页

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能... 实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型. 展开更多

关键词 多模态 实体对齐 多模态知识图谱嵌入 多模态融合

在线阅读 下载PDF 职称材料

社交网络舆情多模态知识图谱构建框架研究 被引量：16

8

作者 何巍 《情报杂志》 CSSCI 北大核心 2024年第1期160-166,共7页

[研究目的]信息技术的发展丰富了社交媒体用户的沟通交流方式,研究社交网络舆情多模态知识图谱的构建对网络舆情治理具有重要的现实意义。[研究方法]基于多模态数据的语义互补,讨论了实体属性关联、图像(视频)文字描述、图像(视频)属性... [研究目的]信息技术的发展丰富了社交媒体用户的沟通交流方式,研究社交网络舆情多模态知识图谱的构建对网络舆情治理具有重要的现实意义。[研究方法]基于多模态数据的语义互补,讨论了实体属性关联、图像(视频)文字描述、图像(视频)属性、图像(视频)关联等多种异构数据融合方式。在此基础上,提出社交网络舆情多模态知识图谱的构建框架,并分析了在多模态语义理解、多模态实体对齐、多模态知识表示等方面存在的问题与挑战。[研究结论]提出基于多模态知识融合的社交网络舆情多模态知识图谱构建框架,为交互方式日趋丰富的社交网络舆情治理提供有益参考。 展开更多

关键词 社交媒体 多模态 多模态知识图谱 多模态数据 网络舆情 舆情治理 情感分析

在线阅读 下载PDF 职称材料

多模态知识图谱构建技术及其在军事领域的应用综述 被引量：6

9

作者 姚奕 陈朝阳 +3 位作者 杜晓明 姚天磊 李青尚 孙鸣蔚 《计算机工程与应用》 CSCD 北大核心 2024年第22期18-37,共20页

随着数据资源类型的丰富与大模型技术的发展,能够处理多源异构数据的多模态知识图谱(multimodal knowledge graph,MMKG)以出色的数据处理与管理能力而被广泛关注。结合领域需求与特性,对多模态知识图谱构建技术及其在军事领域的应用展... 随着数据资源类型的丰富与大模型技术的发展,能够处理多源异构数据的多模态知识图谱(multimodal knowledge graph,MMKG)以出色的数据处理与管理能力而被广泛关注。结合领域需求与特性,对多模态知识图谱构建技术及其在军事领域的应用展开总体概述。基于传统文本知识图谱的相关概念,对多模态知识图谱的基本概念、研究现状进行梳理,分析总结了多模态信息抽取、多模态实体链接、多模态表示学习三个多模态知识图谱构建的关键技术,以及大模型技术在多模态知识图谱构建过程中的应用,探讨了多模态知识图谱在军事领域中的应用场景。最后结合大模型热点和军事需求,对多模态知识图谱构建技术的发展前景及军事应用进行总结与展望。 展开更多

关键词 多模态知识图谱 构建技术 大语言模型

在线阅读 下载PDF 职称材料

基于多模态知识图谱的南海疆维权证据链系统构建 被引量：22

10

作者 司徒凌云 石进 +1 位作者 杨海平 沈固朝 《情报杂志》 CSSCI 北大核心 2021年第12期23-29,44,共8页

[研究目的]大国博弈背景下,南海疆维权关乎国家安全、区域和平与亚太经济发展。南海疆维权证据链系统的构建,可以为南海疆维权的实际工作提供重要的数据与工具支撑。[研究方法]首先,总结了南海疆维权证据链的国内外研究现状,指出了证据... [研究目的]大国博弈背景下,南海疆维权关乎国家安全、区域和平与亚太经济发展。南海疆维权证据链系统的构建,可以为南海疆维权的实际工作提供重要的数据与工具支撑。[研究方法]首先,总结了南海疆维权证据链的国内外研究现状,指出了证据链构建面临的挑战;然后,在定义南海疆维权证据链相关概念的基础上,设计了南海疆维权证据链系统的总体架构与核心功能;接着,提出了基于多模态知识图谱的南海疆维权证据链系统构建技术体系;最后,从南海疆主权维护、数据挖掘与知识发现以及数字人文叙事三个方面论述了基于多模态知识图谱的南海疆维权证据链系统的应用价值。[研究结论]基于多模态知识图谱的南海疆维权证据链系统的架构、功能与技术体系设计,为南海疆维权证据链系统的构建奠定了基础。进一步,需要以应用需求为导向、多学科融合为途径、人工与计算协同为方法,迭代式、增量式地推进南海疆维权证据链系统的实现与优化。 展开更多

关键词 南海疆维权 证据 证据链 证据链系统 多模态知识图谱 数据挖掘 知识发现 数字人文叙事

在线阅读 下载PDF 职称材料

基于农业时空多模态知识图谱的水稻精准施肥决策方法 被引量：27

11

作者 许多 鲁旺平 +4 位作者 许瑞清 张红雨 江洋 游良志 冯在文 《华中农业大学学报》 CAS CSCD 北大核心 2023年第3期281-292,共12页

为构建基于农业时空大数据的管理系统,实现田间养分精细化管理,提出了一种面向精准施肥的农业时空多模态知识图谱的构建及其控制与决策方法。通过基于深度学习的子图匹配方法,将地块待查询图和农业时空多模态知识图谱中的节点和关系嵌... 为构建基于农业时空大数据的管理系统,实现田间养分精细化管理,提出了一种面向精准施肥的农业时空多模态知识图谱的构建及其控制与决策方法。通过基于深度学习的子图匹配方法,将地块待查询图和农业时空多模态知识图谱中的节点和关系嵌入表示;利用向量相似度计算获取候选子图,并从存储历史数据信息的子图中获取适合查询地块的施肥模型数据。结果显示,基于实例化后的待施肥地块查询图,在农业时空多模态知识图谱中可获取与给定地块查询图同构的子图,并从存储历史决策信息的子图中,获得适合当前地块的农业施肥模型。结果表明,基于农业时空多模态知识图谱的农业模型自动化选择结果可为精准施肥任务提供新思路和决策支撑。 展开更多

关键词 时空 多模态知识图谱 智慧农业 精准施肥 水稻 农业大数据 知识共享

在线阅读 下载PDF 职称材料

结合多模态知识图谱与大语言模型的风机装配工艺问答系统 被引量：19

12

作者 胡志强 潘鑫瑜 +2 位作者 文思捷 李心雨 鲍劲松 《机械设计》 CSCD 北大核心 2023年第S02期20-26,共7页

风力发电机是风能发电的基础,但其装配工艺信息通常分散于以三维模型、自然文本和图像等多模态信息构成的工艺文件中,导致历史工艺难以高效复用,装配工艺设计效率低下。针对这一问题,文中通过构建多模态知识图谱的方式整合风力发电机历... 风力发电机是风能发电的基础,但其装配工艺信息通常分散于以三维模型、自然文本和图像等多模态信息构成的工艺文件中,导致历史工艺难以高效复用,装配工艺设计效率低下。针对这一问题,文中通过构建多模态知识图谱的方式整合风力发电机历史装配工艺信息,并且为了能对工艺信息进行有效利用,提出了结合多模态知识图谱与大语言模型的风力发电机装配工艺问答系统,利用大语言模型进行自然语言问题的粗粒度解析,再结合模式层关系细粒度解析问题,最后获得答案。在风力发电机装配工艺数据集上与其他最新KBQA方法和最新大语言模型对比取得优异结果,并在装配工艺可视化问答系统上进行验证,研究结果表明:风机装配工艺设计效率有显著提升。 展开更多

关键词 多模态知识图谱 风力发电机 装配工艺知识 大语言模型 知识问答

在线阅读 下载PDF 职称材料

基于“图像-文本”间关联增强的多模态猪病知识图谱融合方法

13

作者 蒋婷婷 徐澳 +3 位作者 吴飞飞 杨帅 何进 辜丽川 《农业机械学报》 北大核心 2025年第1期56-64,共9页

传统的猪病防治主要依赖于人工经验,很可能因为人工疏忽存在疾病漏诊。为此,构建一个多模态猪病知识图谱,帮助管理者更好地理解猪只间的关联关系,为后续有效识别潜在的疾病传播路径和异常情况提供良好的数据基础。首先,从不同来源获取... 传统的猪病防治主要依赖于人工经验,很可能因为人工疏忽存在疾病漏诊。为此,构建一个多模态猪病知识图谱,帮助管理者更好地理解猪只间的关联关系,为后续有效识别潜在的疾病传播路径和异常情况提供良好的数据基础。首先,从不同来源获取猪病数据,经过知识抽取以及图像匹配后初步构建两个多模态猪病知识图谱;其次,提出基于“图像-文本”间关联增强的多模态融合方法,利用多头注意力机制学习图像与文本之间的语义关联,通过减少猪病视觉模态模糊问题带来的负面作用,以增强猪病实体的向量表征;最后,基于对实体向量表征相似度的计算,融合两个多模态数据集中的猪病实体,以形成一个知识完备性更高的猪病知识图谱。实验表明,本文提出的多模态融合方法在猪病实体对齐任务上取得了优异的性能,相较于现有方法,对齐准确性(Hits@1)提升0.033,在通用数据集DBP_(ZH-EN)、DBP_(FR-EN)、DBP_(JA-EN)上进行实验验证,对齐准确性分别提升0.152、0.236、0.180,证明了该方法在多模态知识图谱融合方面的有效性。 展开更多

关键词 猪病 多模态知识图谱 多模态融合 实体对齐

在线阅读 下载PDF 职称材料

一种基于路径选择的多模态领域知识问答方法

14

作者 王向 李艳超 张晓明 《计算机应用与软件》 北大核心 2025年第4期189-200,244,共13页

基于知识图谱的问答领域中存在着自然语言与结构化知识的差异性挑战,因此,提出一种利用谓词选择路径的方法PMKBQA。构建多模态领域知识图谱和问题集;从问题中识别的主题实体出发,计算其边与问题谓词的相似度,以逐跳的方式生成答案路径,... 基于知识图谱的问答领域中存在着自然语言与结构化知识的差异性挑战,因此,提出一种利用谓词选择路径的方法PMKBQA。构建多模态领域知识图谱和问题集;从问题中识别的主题实体出发,计算其边与问题谓词的相似度,以逐跳的方式生成答案路径,直到找到问题答案,并依据答案路径获取问题答案的相关图像;在领域问题集上做用户满意度评估实验,结果表明该方法可以给用户提供满意的图像,同时在QALD数据集上进行问答效果的对比实验,结果表明该方法比基线方法在F1指标上有所提升。 展开更多

关键词 多模态知识图谱 问答 多模态问题集 路径选择

在线阅读 下载PDF 职称材料

多模态特征增强的双层融合知识推理方法 被引量：1

15

作者 荆博祥 王海荣 +1 位作者 王彤 杨振业 《计算机科学与探索》 北大核心 2025年第2期406-416,共11页

现有的多模态知识推理方法大多采用拼接或注意力的方式,将预训练模型提取到的多模态特征直接进行融合,往往忽略了不同模态之间的异构性和交互的复杂性。为此,提出了一种多模态特征增强的双层融合知识推理方法。结构信息嵌入模块采用自... 现有的多模态知识推理方法大多采用拼接或注意力的方式,将预训练模型提取到的多模态特征直接进行融合,往往忽略了不同模态之间的异构性和交互的复杂性。为此,提出了一种多模态特征增强的双层融合知识推理方法。结构信息嵌入模块采用自适应图注意力机制筛选并聚合关键的邻居信息,用来增强实体和关系嵌入的语义表达;多模态嵌入信息模块使用不同的注意力机制关注不同模态数据的独有特征,以及多模态数据间的共性特征,利用共性特征的互补信息进行模态交互,以减少模态间异构性差异;多模态特征融合模块采用将低秩多模态特征融合和决策融合相结合的双层融合策略,实现了多模态数据在模态间和模态内的动态复杂交互,并综合考虑每种模态在推理中的贡献度,得到更全面的预测结果。为了验证方法的有效性,分别在FB15K-237、DB15K和YAGO15K数据集上进行了实验。结果表明:该方法相比多模态推理方法,在FB15K-237数据集上MRR和Hits@1分别平均提升3.6%和2.2%;相比单模态推理方法,MRR和Hits@1分别平均提升13.7%和14.6%。 展开更多

关键词 多模态知识图谱 链接预测 知识推理 多模态特征融合

在线阅读 下载PDF 职称材料

基于多源异构数据的风机多模态装配工艺知识图谱建模 被引量：3

16

作者 胡志强 刘鸣飞 +2 位作者 李琦 李心雨 鲍劲松 《上海交通大学学报》 EI CAS CSCD 北大核心 2024年第8期1249-1263,共15页

风力发电机装配工艺信息通常分散于以三维模型、自然文本、图像等多模态信息构成的工艺文件中,导致数据维护和工艺知识获取成本高、效率低.针对这一问题,提出一种基于多源异构数据的风力发电机多模态装配工艺知识图谱建模方法.首先,分... 风力发电机装配工艺信息通常分散于以三维模型、自然文本、图像等多模态信息构成的工艺文件中,导致数据维护和工艺知识获取成本高、效率低.针对这一问题,提出一种基于多源异构数据的风力发电机多模态装配工艺知识图谱建模方法.首先,分析工艺特点给出风力发电机多模态知识工艺图谱(MPKG-WT)中各类概念,完成图谱本体构建;其次,基于多源异构数据及各模态特点,利用数据分析、知识抽取和语义相似度计算等技术实现图谱的自动实例化;最后,以某风力发电机企业装配工艺数据为例,实现MPKG-WT构建,并开发辅助装配工艺设计系统进行验证.研究结果表明,MPKG-WT较单模态图谱蕴含更丰富的知识,且不同模态数据之间能够互补,显著提升装配工艺设计效率. 展开更多

关键词 多模态知识图谱 风力发电机 装配工艺知识 知识建模 工艺复用

在线阅读 下载PDF 职称材料

多模态健身运动知识图谱构建 被引量：1

17

作者 余卓成 刘心怡 +5 位作者 李素建 赵冰婵 罗文 杨彤晨 丁立祥 宋继鹏 《首都体育学院学报》 CSSCI 北大核心 2024年第5期481-489,共9页

构建健身运动知识图谱可以为人们科学运动提供直观便捷的指导,对推动健身研究领域的发展和促进人们身体健康具有重要意义。而如何全面获取科学健身运动的多模态知识,并进行系统的关联和集成以及形成多模态知识图谱,目前相关研究较少,且... 构建健身运动知识图谱可以为人们科学运动提供直观便捷的指导,对推动健身研究领域的发展和促进人们身体健康具有重要意义。而如何全面获取科学健身运动的多模态知识,并进行系统的关联和集成以及形成多模态知识图谱,目前相关研究较少,且面临着诸多挑战。针对上述问题,利用自然语言处理、深度学习技术、视觉识别技术等,以人机结合的方式探索构建多模态科学健身运动知识图谱。具体步骤包括:1)数据选择和处理,确保知识图谱的基础数据可靠且全面;2)设计多模态知识体系,以整合文字、图像等多种信息形式;3)运用关键技术获取知识,特别是将运动视频转换为细粒度运动文本进行描述;4)构建可视化平台,使知识图谱更加直观和易于使用。通过系统地关联和集成多模态的健身知识,构建了一个包含丰富信息的健身运动知识图谱。该图谱系统不仅能够有效地将运动视频转换为详细的文本描述,还能可视化地直观展示图片、视频等信息,为用户提供易于理解和使用的科学运动指导。多模态科学健身运动知识图谱的构建,为其在健身方面的应用提供了重要参考。这表明,多模态知识的获取和集成是实现科学健身指导的重要途径,能够有效推动健身研究领域的发展以及促进人们的身体健康。 展开更多

关键词 多模态知识图谱 知识获取 科学运动

在线阅读 下载PDF 职称材料

知识图谱驱动下粮食生产大数据应用现状与展望

18

作者 杨晨雪 李娴 周清波 《智慧农业(中英文)》 2025年第2期26-40,共15页

[目的/意义]中国粮食生产全过程全要素大数据分散无序且结构复杂,服务粮食生产决策核心算法缺乏整合利用,导致数据的潜力未能得到充分发挥。知识图谱技术可整合多源异构粮食生产数据,提升数据关联性与语义挖掘效率,实现知识结构化表达... [目的/意义]中国粮食生产全过程全要素大数据分散无序且结构复杂,服务粮食生产决策核心算法缺乏整合利用,导致数据的潜力未能得到充分发挥。知识图谱技术可整合多源异构粮食生产数据,提升数据关联性与语义挖掘效率,实现知识结构化表达与智能推理,并为粮食生产的可持续发展提供智能分析与信息支持。[进展]本文综合分析了粮食生产大数据复杂“结构-关系-语义”的知识表示与关联解析方法,梳理总结了一套基于数据驱动与知识引导的知识图谱构建与知识推理框架,综合分析了粮食生产本体构建、多模态命名实体识别、多模态实体链接、时序推理等关键技术,构造产前调度规划、产中精准决策和产后定量评估等全过程多场景的智能化应用。[结论/展望]面向粮食生产大数据应用的知识图谱技术可以在全国、省域、县域和规模化农场等多个应用尺度范围内,为粮食生产各个阶段提供可视化和智能化的决策支持,对实现“藏粮于地、藏粮于技”战略及保障国家粮食安全具有重大科学和应用价值。 展开更多

关键词 粮食生产大数据 知识表示 多模态知识图谱 命名实体识别 实体链接 时序推理

在线阅读 下载PDF 职称材料

基于互信息自适应的多模态实体对齐方法 被引量：1

19

作者 高永杰 党建武 +1 位作者 张希权 郑爱国 《计算机应用研究》 北大核心 2025年第1期106-110,共5页

多模态实体对齐是知识融合过程中的关键一步,但异构的多模态知识图谱拥有较大的结构差异性,并且其多模态信息存在不完全性,利用当前的多模态实体对齐方法无法取得较好的对齐效果。针对上述问题,提出了基于互信息自适应的多模态实体对齐... 多模态实体对齐是知识融合过程中的关键一步,但异构的多模态知识图谱拥有较大的结构差异性,并且其多模态信息存在不完全性,利用当前的多模态实体对齐方法无法取得较好的对齐效果。针对上述问题,提出了基于互信息自适应的多模态实体对齐方法。一方面通过设计自适应融合机制来减小模态差异以及依据模态信息的贡献程度动态分配权重,另一方面引入互信息作为附加特征来强化实体的特征表示,最后利用实体相似度计算来进行实体对齐。实验表明,在5个通用的数据集上,MAMEA相较于当前基线模型,指标hits@1最大可提升1.8%,最小可提升1.4%,指标MRR最大可提升1.4%,最小可提升0.8%,证明了该模型可有效地提升多模态实体对齐的效果。 展开更多

关键词 多模态知识图谱 实体对齐 自适应特征融合 对比表示学习 互信息

在线阅读 下载PDF 职称材料

基于多模态模式迁移的知识图谱实体配图 被引量：4

20

作者 蒋雪瑶 力维辰 +2 位作者 刘井平 李直旭 肖仰华 《计算机工程》 CAS CSCD 北大核心 2022年第8期70-76,共7页

构建多模态知识图谱的核心在于为知识图谱中的实体匹配正确合适的图像。现有的实体配图方法主要将百科图谱以及图像搜索引擎作为实体候选图像的来源,但对图像数据元的应用方式比较简单,不能准确把握图像数据来源的特点,且可扩展性较差... 构建多模态知识图谱的核心在于为知识图谱中的实体匹配正确合适的图像。现有的实体配图方法主要将百科图谱以及图像搜索引擎作为实体候选图像的来源,但对图像数据元的应用方式比较简单,不能准确把握图像数据来源的特点,且可扩展性较差。提出一种基于多模态模式迁移的知识图谱实体配图方法,从不同类别的头部实体中抽取对应的语义模板及视觉模式迁移到同类非头部实体的图像获取过程中,其中语义模板用于构建搜索引擎检索关键词,视觉模式用于对检索结果去噪,最终为WikiData中25类共1.278×10^(5)个实体收集1.8×10^(6)幅图像。实验结果表明,与IMGpedia、VisualSem、Richpedia和MMKG这4种多模态知识图谱相比,利用该方法构建所得的知识图谱中实体对应的图像在准确性和多样性上更具优势,在下游任务链接预测中,通过引入该方法收集到的图像可使模型的预测链接准确性得到显著提升,在Hits@10的指标上取得59.74%的准确率,较对比方法提高12.7个百分点以上。 展开更多

关键词 多模态知识图谱 符号接地 模式迁移 链接预测 实体配图

在线阅读 下载PDF 职称材料