医学领域多模态知识图谱融合技术发展现状研究

1

作者 时振普 吕潇 +2 位作者 董彦如 刘静 王晓燕 《计算机科学与探索》 北大核心 2025年第7期1729-1746,共18页

多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模,展现出强大的数据处理能力,为人工智能领域提供更丰富、深入的理解,也因此备受医学领域瞩目,其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好... 多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模,展现出强大的数据处理能力,为人工智能领域提供更丰富、深入的理解,也因此备受医学领域瞩目,其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好地厘清多模态知识图谱在医学领域的研究现状,阐述多模态知识图谱基本知识及医学领域多模态知识图谱构建难点与相关数据集;从传统方法及深度学习方法两个角度分析多模态知识图谱融合涉及的多模态实体对齐与多模态实体链接等关键技术,重点分析文本、图像、音频三个模态的特征提取及融合方法,总结各多模态融合方法优缺点并阐述多模态大语言模型在多模态融合中的应用;详细梳理多模态知识图谱在医学视觉问答、药物研发、影像辅助诊断等领域的研究进展。在此基础上,分析归纳医学领域多模态知识图谱在多模态融合与数据集方面的局限性及面临的挑战,并对未来研究方向进行展望。 展开更多

关键词 多模态知识图谱 知识图谱融合 多模态大语言模型 智能医疗

在线阅读 下载PDF 职称材料

Transformer在脑肿瘤MRI图像分割中的研究进展

2

作者 陈雷 李光宇 +2 位作者 杨锋 蔡婧欣 高梦谣 《磁共振成像》 北大核心 2025年第8期181-187,200,共8页

脑肿瘤精准分割至关重要,但传统卷积神经网络因局部感受野限制难以建模磁共振成像(magnetic resonance imaging,MRI)中的长距离依赖,影响对异质性高、边界模糊肿瘤的分割精度。Transformer凭借全局自注意力机制为此提供了新思路。本文... 脑肿瘤精准分割至关重要,但传统卷积神经网络因局部感受野限制难以建模磁共振成像(magnetic resonance imaging,MRI)中的长距离依赖,影响对异质性高、边界模糊肿瘤的分割精度。Transformer凭借全局自注意力机制为此提供了新思路。本文综述了Transformer在脑肿瘤MRI分割中的进展,重点分析了Transformer模型在层次化注意力、编解码结构、残差连接等关键技术上的改进,探讨了多模态融合、模态缺失应对、轻量化设计及注意力机制本身的创新策略;尽管Transformer显著提升了精度,仍面临数据稀缺、模态缺失鲁棒性、类别不平衡、计算成本高和可解释性不足等挑战,未来需聚焦数据高效利用、模态弹性建模、拓扑感知优化、轻量化与可解释性增强等方向。本文系统梳理了Transfomer在脑肿瘤MRI图像分割领域的研究现状,总结了目前研究的局限性并指出未来的研究方向,本文旨在为深入理解其技术演进、核心挑战与发展方向提供系统性参考。 展开更多

关键词 Transformer模型 脑肿瘤分割 磁共振成像 多模态 注意力机制 轻量化设计

在线阅读 下载PDF 职称材料

深度学习在结肠息肉图像分割中的研究综述 被引量：1

3

作者 李国威 刘静 +1 位作者 曹慧 姜良 《计算机科学与探索》 北大核心 2025年第5期1198-1216,共19页

结肠息肉是一种可能发展为结直肠癌的胃肠道异常生长组织,因此,早期检测和切除结肠息肉对预防结直肠癌具有重要意义。近年来,深度学习技术在结肠息肉图像分割领域中的应用取得了显著进展,大幅提高了分割的准确性和自动化水平。针对深度... 结肠息肉是一种可能发展为结直肠癌的胃肠道异常生长组织,因此,早期检测和切除结肠息肉对预防结直肠癌具有重要意义。近年来,深度学习技术在结肠息肉图像分割领域中的应用取得了显著进展,大幅提高了分割的准确性和自动化水平。针对深度学习在结肠息肉图像分割中的研究展开综述,介绍了多种结肠息肉成像方式及包括图片和视频在内的常用数据集,并详细说明了这些数据集的特点。深入阐述了基于深度学习的结肠息肉分割方法,涵盖了全卷积网络、Mask R-CNN、生成对抗网络、U-Net、Transformer以及多网络融合模型,其中重点强调了UNet及其变体在结肠息肉图像分割中的应用,分析了其结构改进、性能提升和实际应用效果。同时,综合对比了各网络模型的主要改进思路、优缺点及其分割结果。指出了当前深度学习在该领域面临的主要挑战,并对未来的研究方向进行了相应的展望。 展开更多

关键词 结肠息肉分割 深度学习 医学图像 卷积神经网络 U-Net

在线阅读 下载PDF 职称材料

基于RGB与骨骼数据的人体行为识别综述

4

作者 李仝伟 仇大伟 +1 位作者 刘静 逯英航 《计算机工程与应用》 北大核心 2025年第8期62-82,共21页

人体行为识别是计算机视觉领域中的重要研究方向,在人机交互、医疗康复、自动驾驶等领域具有广泛应用和重大意义。由于其方法的重要性和前沿性,对该领域进行全面、系统地总结具有极其重要的意义。深入探讨了基于RGB和骨骼数据模态的人... 人体行为识别是计算机视觉领域中的重要研究方向,在人机交互、医疗康复、自动驾驶等领域具有广泛应用和重大意义。由于其方法的重要性和前沿性,对该领域进行全面、系统地总结具有极其重要的意义。深入探讨了基于RGB和骨骼数据模态的人体行为识别方法;按照特征学习方式的不同,分为基于传统机器学习的手工特征提取方法和基于深度学习的深度特征提取方法。介绍了行为识别的基本流程,并总结了公开数据集。详述了基于RGB和骨骼数据模态的识别方法。对于RGB数据,分析了基于2D CNN、RNN和3D CNN的特征提取方法;对于骨骼数据,介绍了自上而下和自下而上的姿态评估算法,重点分析了基于RNN、CNN、GCN、Transformer和混合神经网络的分类算法。最后,展望了未来深度学习在人体行为识别中的五个研究方向。 展开更多

关键词 行为识别 计算机视觉 RGB数据 骨骼数据 特征提取 深度学习

在线阅读 下载PDF 职称材料

用于环形伪影去除的非线性无激活卷积去噪网络

5

作者 唐瑶瑶 朱叶晨 +1 位作者 刘仰川 高欣 《计算机应用》 北大核心 2025年第S1期67-71,共5页

环形伪影通常由探测器像素非均匀响应导致,在计算机断层扫描(CT)图像中呈现为同心多层圆环。该伪影会导致CT图像清晰度和CT值准确性的下降,进而影响医生对病灶的诊断。为此,提出一种用于CT图像环形伪影去除的非线性无激活卷积去噪网络(N... 环形伪影通常由探测器像素非均匀响应导致,在计算机断层扫描(CT)图像中呈现为同心多层圆环。该伪影会导致CT图像清晰度和CT值准确性的下降,进而影响医生对病灶的诊断。为此,提出一种用于CT图像环形伪影去除的非线性无激活卷积去噪网络(NAF-CDNet)。所提网络通过在一种U型网络中引入非线性无激活(NAF)网络模块和联合损失函数减少计算量,同时保持图像结构和灰度。为训练和测试所提网络,利用螺旋CT图像制作仿真数据,并利用锥束CT采集真实数据。在仿真数据测试中,相较于UNet,NAF-CDNet的峰值信噪比(PSNR)和结构相似性(SSIM)分别提升了0.377 7 dB、0.015 5,均方根误差(RMSE)和平均绝对误差(MAE)分别下降了3.092 6、3.229 2,参数量和计算量分别减少了30.8×10^(6)、2.29×10^(9)浮点运算次数(FLOPs)。在真实数据测试中,相较于2个传统算法和5个深度学习网络,NAF-CDNet的主观评价更好。这些结果表明,所提网络在环形伪影去除方面表现优异,具备潜在应用价值。 展开更多

关键词 计算机断层扫描图像 环形伪影去除 深度学习 非线性无激活 联合损失函数

在线阅读 下载PDF 职称材料

深度学习在知识图谱构建及推理中的应用 被引量：2

6

作者 孙宇 刘川 周扬 《计算机工程与应用》 北大核心 2025年第6期36-52,共17页

知识图谱作为自然语言处理领域的一种结构化知识表示形式,能够描述现实世界中的概念及相互关系,常被应用于信息检索、数据管理等领域。深度学习因其具有自动学习多元数据内在规律和表示层次的特性,可用于大规模、高质量知识图谱的精准... 知识图谱作为自然语言处理领域的一种结构化知识表示形式,能够描述现实世界中的概念及相互关系,常被应用于信息检索、数据管理等领域。深度学习因其具有自动学习多元数据内在规律和表示层次的特性,可用于大规模、高质量知识图谱的精准构建及有效推理,已逐渐成为新兴研究热点。为进一步促进深度学习和知识图谱的技术融合,以知识图谱构建及推理过程为主线,全面介绍深度学习在知识表示、知识抽取、知识融合、知识推理领域的相关理论及最新研究成果;同时,根据近年来的研究趋势,重点归纳与总结了适用于图数据特征推理的图深度学习与知识推理相融合的最新研究成果。最后,对深度学习和知识图谱的融合发展做了概要总结和技术展望,为未来研究发展提供参考和思路。 展开更多

关键词 知识图谱 深度学习 知识图谱构建 知识推理 图深度学习

在线阅读 下载PDF 职称材料

深度残差网络在脑肿瘤MRI分类上的研究进展

7

作者 李光宇 杨锋 +1 位作者 张智悦 陈雷 《磁共振成像》 北大核心 2025年第3期143-149,161,共8页

脑肿瘤作为一组在人脑内部或周围异常增殖的组织,其生长可能导致严重的神经功能障碍,对患者的生活质量和生命安全构成重大威胁。因此,准确地对脑肿瘤进行分类,对于制订针对性的治疗方案和评估患者的预后情况具有至关重要的意义。近年来... 脑肿瘤作为一组在人脑内部或周围异常增殖的组织,其生长可能导致严重的神经功能障碍,对患者的生活质量和生命安全构成重大威胁。因此,准确地对脑肿瘤进行分类,对于制订针对性的治疗方案和评估患者的预后情况具有至关重要的意义。近年来,深度学习技术的迅猛发展为医学影像分析领域开辟了新的途径,深度残差网络(ResNet)及其衍生变体在图像分类任务中展现出了卓越的性能,为脑肿瘤MRI分类带来了新的突破。本文深入探讨了基于深度残差网络的网络模型在脑肿瘤MRI分类中的优化策略,首先介绍了深度残差网络的发展,随后详细地分析了当前深度残差网络及其衍生变体在脑肿瘤磁共振图像上的应用。最后,指出了该领域目前面临的挑战,并对未来的研究方向进行了展望,旨在为相关研究提供全面的参考和思路,推动深度残差网络在脑肿瘤MRI分类中的进一步发展和应用,从而提高脑肿瘤诊断的准确性和效率,为临床治疗提供更有力的支持。 展开更多

关键词 深度残差网络 脑肿瘤 磁共振成像 图像分类 注意力机制 迁移学习

在线阅读 下载PDF 职称材料

用于TDLAS二氧化碳气体检测的神经网络滤波方法

8

作者 赵玉莹 王乐 +4 位作者 黄天鹤 宋煜枭 毕文昊 李文轩 姜琛昱 《光谱学与光谱分析》 北大核心 2025年第6期1514-1520,共7页

二氧化碳(CO_(2))气体检测在环境监测、农业生产及微生物检测等多个领域均具有重要的研究意义。基于波长调制的可调谐半导体激光吸收光谱技术(TDLAS/WMS)以其高灵敏度、低成本、无创和实时监测等显著优点,已经成为精密气体检测的重要手... 二氧化碳(CO_(2))气体检测在环境监测、农业生产及微生物检测等多个领域均具有重要的研究意义。基于波长调制的可调谐半导体激光吸收光谱技术(TDLAS/WMS)以其高灵敏度、低成本、无创和实时监测等显著优点,已经成为精密气体检测的重要手段。然而,在实际测量过程中检测系统易受到各种环境噪声的干扰,导致气体检测精度和稳定性受到很大的影响。常用的传统时-频域滤波方法无法有效地滤除掉和吸收信号耦合在一起的低频信号噪声,从而干扰后续气体浓度检测。深度学习算法以其强大的特征映射能力,可以将信号投射到一个新的特征空间中去,学习光谱信号背景结构的分布,从而摆脱时-频域滤波算法的限制。因此,提出一种基于TDLAS气体检测的神经网络滤波算法(TGDF),以减少气体检测系统中全频段噪声的影响,提高气体检测精度。TGDF以全连接神经网络为基础架构,添加采样块结构,在特征域上去除噪声,此外,引入奇异值分解进一步调整谐波信号,增强信噪比。在实验条件下模拟大量不同浓度的CO_(2)吸收光谱进行训练、测试和调整模型,并在实验数据集上测试模型性能。在仿真实验中,TGDF滤波光谱平均信噪比从7.34 dB增加到22.41 dB,增加了3.05倍,并在频率域保持最低的噪音残差。在真实实验中,二次谐波最大振幅与预设CO_(2)气体浓度之间存在良好的线性关系(R^(2)=0.998),五组CO_(2)检测的平均绝对误差(MAE)分别为0.27%,0.20%,0.23%,0.28%,0.32%。与EMD、SG、小波变换和MLP神经网络等常用滤波算法相比,TGDF在两个数据集中都表现出最佳的滤波性能。结果充分证明了TGDF可以有效地降低气体检测谐波信号中的各频段系统噪声,提高了TDLAS检测CO_(2)浓度的准确率和稳定性,为CO_(2)和其他微量气体进行高灵敏度测量提供一种可行性技术手段。 展开更多

关键词 可调谐半导体激光吸收光谱 二氧化碳气体检测 滤波算法 神经网络滤波算法

在线阅读 下载PDF 职称材料

深度学习在轻度认知障碍分类诊断中的应用 被引量：4

9

作者 周启香 王晓燕 +1 位作者 张文凯 贺鑫 《计算机科学与探索》 CSCD 北大核心 2024年第12期3126-3143,共18页

阿尔兹海默症是一种不可逆的神经退行性疾病,至今尚无彻底治愈可能,但可通过早期干预延缓其进展。轻度认知障碍是阿尔兹海默症的初始阶段,正确识别该阶段对阿尔兹海默症早期诊断继而进行早期干预意义重大。深度学习因其能够自动提取图... 阿尔兹海默症是一种不可逆的神经退行性疾病,至今尚无彻底治愈可能,但可通过早期干预延缓其进展。轻度认知障碍是阿尔兹海默症的初始阶段,正确识别该阶段对阿尔兹海默症早期诊断继而进行早期干预意义重大。深度学习因其能够自动提取图像特征,目前已成为辅助轻度认知障碍分类诊断的研究热点。为了更好地对轻度认知障碍进行分类研究,对近年来的基于深度学习的轻度认知障碍分类诊断进行回顾。介绍了轻度认知障碍分类诊断中常用数据集,整理了各数据集数据数量、数据类型及下载地址。总结了常用的数据预处理方式以及模型评价指标。重点介绍了深度学习模型与方法在轻度认知障碍分类诊断中的应用,包括但不限于自动编码器、深度置信网络、生成对抗网络、卷积神经网络、图卷积神经网络,并指出研究中所使用的模型可解释性技术。总结了各种算法的主要思想及优缺点,并对比了基于深度学习的轻度认知障碍分类方法在公开数据集上的分类诊断表现,归纳出相关研究中尚存的不足,并对未来研究方向进行了展望。 展开更多

关键词 轻度认知障碍 深度学习 阿尔兹海默症 分类诊断

在线阅读 下载PDF 职称材料

基于深度学习的皮肤病分类研究进展

10

作者 韩佩宏 魏德健 +2 位作者 李传莉 姜良 曹慧 《计算机工程与应用》 2025年第18期61-77,共17页

皮肤是人体最大的器官,因参与多种生理活动导致发病率较高。皮肤病的准确诊断对患者健康至关重要,然而传统诊断方法却存在主观性强和效率低下等问题。近年来,深度学习技术的迅猛发展为皮肤病分类提供了新的解决方案。系统性地回顾了基... 皮肤是人体最大的器官,因参与多种生理活动导致发病率较高。皮肤病的准确诊断对患者健康至关重要,然而传统诊断方法却存在主观性强和效率低下等问题。近年来,深度学习技术的迅猛发展为皮肤病分类提供了新的解决方案。系统性地回顾了基于深度学习的皮肤病分类研究进展,总结了近年来皮肤病诊断常用数据集,进而深入探讨了卷积神经网络(convolutional neural network,CNN)和Transformer等主流算法在皮肤病分类中的应用,并特别关注了综合算法的研究进展,此外还进行了典型方法的性能对比分析,总结了当前研究方法存在的各种挑战以及未来研究方向,为后续的发展提供启示和指导。 展开更多

关键词 皮肤病分类 深度学习 医学图像分析 模型对比 智能诊断 皮肤图像数据集

在线阅读 下载PDF 职称材料

深度学习在上肢骨折诊断中的研究进展

11

作者 魏宗月 仇大伟 +2 位作者 刘静 李振江 常少华 《计算机科学与探索》 2025年第9期2341-2362,共22页

上肢骨折作为临床常见且复杂的创伤性骨折类型,其诊断准确性对患者的治疗和康复具有重要的意义。传统X射线(X-ray)诊断方法操作繁琐且耗时,难以满足现代医学对高效、精确诊断的需求。在此背景下,深度学习辅助上肢骨折诊断主要利用深度... 上肢骨折作为临床常见且复杂的创伤性骨折类型,其诊断准确性对患者的治疗和康复具有重要的意义。传统X射线(X-ray)诊断方法操作繁琐且耗时,难以满足现代医学对高效、精确诊断的需求。在此背景下,深度学习辅助上肢骨折诊断主要利用深度学习模型对医学影像进行分类、检测和分割,确定影像中是否存在异常,提高模型诊断的速度和准确性,同时也为医生提供了更有价值的辅助意见。为了更好地了解深度学习技术在上肢骨折诊断领域的研究现状和进展,详细介绍了几种常见的上肢骨折类型并对当前广泛使用公开的上肢骨折数据集进行了总结,对常用的评价指标进行了系统归纳,以便更好地理解模型在不同任务中的性能表现。深入分析了深度学习在图像分类、目标检测和图像分割三项计算机视觉(CV)任务中的应用进展,通过总结各算法的优化策略及其在骨折诊断中的具体应用,比较了各自的优势与局限性,并对深度学习模型的可解释性进行总结。从数据规模、使用方法、算法优缺点及实验结果等方面进行了全面对比,系统总结了当前上肢骨折诊断中面临的主要挑战,并对未来研究方向进行了展望。 展开更多

关键词 深度学习 上肢骨折 卷积神经网络 计算机视觉(CV)

在线阅读 下载PDF 职称材料

大语言模型GPT在医疗文本中的应用综述

12

作者 田崇腾 刘静 +1 位作者 王晓燕 李明 《计算机科学与探索》 2025年第8期2043-2056,共14页

医疗文本是医学知识记录与传递的重要载体,但随着医疗数据的迅猛增长,传统的人工处理方式已难以满足日益增长的效率与准确性需求。近年来,以GPT为代表的大语言模型在自然语言处理领域取得突破,具备强大的语言理解与生成能力,为高效处理... 医疗文本是医学知识记录与传递的重要载体,但随着医疗数据的迅猛增长,传统的人工处理方式已难以满足日益增长的效率与准确性需求。近年来,以GPT为代表的大语言模型在自然语言处理领域取得突破,具备强大的语言理解与生成能力,为高效处理医疗文本提供了新思路。介绍了大语言模型GPT的核心技术原理,并重点分析其在医疗数据处理、辅助医患沟通、医学教育支持、疾病预防管理以及多模态综合应用等五大领域中的实际应用;系统总结了大语言模型GPT在医疗文本处理方面所展现出的信息整合效率高、医学知识储备丰富等方面的优势;深入探讨了其在实际应用中暴露的问题,并给出了具有可行性的解决思路与技术优化方向;结合当前技术发展趋势,展望了大语言模型在医疗领域的未来应用前景。 展开更多

关键词 大语言模型 医疗文本 GPT 自然语言处理

在线阅读 下载PDF 职称材料

深度学习在肝脏及肝脏肿瘤分割中的应用进展

13

作者 崔慧 郭英慧 +1 位作者 蔡肖红 王晓燕 《计算机工程与应用》 2025年第17期47-61,共15页

肝癌作为一种恶性肿瘤,其发病率和死亡率正呈逐年上升趋势,临床中精准分割肝脏与肿瘤对肝癌的诊断与治疗至关重要。传统的肝脏及肿瘤分割依赖医生手工操作,过程耗时且高度依赖医生经验,在大规模数据处理中难以确保效率和精度,且易因主... 肝癌作为一种恶性肿瘤,其发病率和死亡率正呈逐年上升趋势,临床中精准分割肝脏与肿瘤对肝癌的诊断与治疗至关重要。传统的肝脏及肿瘤分割依赖医生手工操作,过程耗时且高度依赖医生经验,在大规模数据处理中难以确保效率和精度,且易因主观判断差异导致误差。近年来,深度学习因能自动提取图像特征被广泛应用于医学图像处理,在肝脏及肝脏肿瘤分割任务中也取得了显著进展。为更深入开展深度学习在肝脏及肝脏肿瘤分割的应用研究,从常用公开数据集及评价指标入手,分别从有监督与无监督学习的角度,梳理近年来深度学习在肝脏及其肿瘤分割领域的应用进展,总结各模型的优缺点,对比各类方法的性能差异,并以此为基础讨论现有研究尚存的不足及挑战,展望其未来发展方向,以期为进一步研究提供参考。 展开更多

关键词 肝脏及肝脏肿瘤 图像分割 深度学习 有监督学习 无监督学习

在线阅读 下载PDF 职称材料

基于多模态特征融合的高血压痰湿证智能辨识

14

作者 刘莹飞 施维 +2 位作者 刘泉 杨颖 高欣 《世界科学技术-中医药现代化》 2025年第8期2183-2191,共9页

目的 构建基于多模态特征融合的高血压痰湿证诊断模型。方法 收集261例高血压患者的临床文本信息(生理/生活信息、症状、脉象)以及舌象图像。针对临床文本信息,使用方差分析、MannWhitney U检验和卡方检验统计分析,将统计学显著性差异(P... 目的 构建基于多模态特征融合的高血压痰湿证诊断模型。方法 收集261例高血压患者的临床文本信息(生理/生活信息、症状、脉象)以及舌象图像。针对临床文本信息,使用方差分析、MannWhitney U检验和卡方检验统计分析,将统计学显著性差异(P<0.05)的特征纳入多层感知机算法,构建临床文本诊断模型(Clinical text-based diagnosis model,CTDM);针对舌象图像,构建基于通道注意力机制与残差网络的舌象图像诊断模型(Tongue image-based diagnosis model,TIDM);采用基于特征拼接的融合建模方法,构建融合临床文本特征与舌象图像特征的多模态融合的痰湿证诊断模型(Multimodal diagnostic model,MDM)。使用五折交叉验证的受试者工作特征曲线下面积、准确率、特异度、灵敏度评价各模型的诊断效能。结果 生理/生活信息(病程、体质指数)、症状(胸闷、食少、多痰涎)以及脉象(滑脉、濡脉)等7项临床文本特征是高血压病痰湿证发生的危险因素。CTDM的AUC为0.831±0.021,TIDM的AUC为0.878±0.035,MDM的AUC为0.972±0.015。结论 多模态融合临床文本特征与舌象图像特征的痰湿证诊断模型具有较高的诊断精度,对推动高血压痰湿证人工智能辅助诊断具有重要的指导意义。 展开更多

关键词 高血压 痰湿证 注意力机制 多模态融合

在线阅读 下载PDF 职称材料