期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
多模态大语言模型的安全性研究综述
1
作者 陈晋音 席昌坤 +2 位作者 郑海斌 高铭 张甜馨 《计算机科学》 北大核心 2025年第7期315-341,共27页
随着大型语言模型的快速发展,多模态大语言模型因其在语言、图像等多种模态上的卓越表现而备受瞩目。其不仅在日常工作中成为用户的得力助手,还逐渐渗透到自动驾驶、医学诊断等各大应用领域。与传统的大型语言模型相比,多模态大语言模... 随着大型语言模型的快速发展,多模态大语言模型因其在语言、图像等多种模态上的卓越表现而备受瞩目。其不仅在日常工作中成为用户的得力助手,还逐渐渗透到自动驾驶、医学诊断等各大应用领域。与传统的大型语言模型相比,多模态大语言模型由于更接近于多资源的现实世界应用以及多模态处理的复杂性而具有巨大的潜力和挑战。然而,多模态大语言模型的脆弱性研究相对较少,这些模型在实际应用中面临着诸多安全性挑战。为此,对多模态大语言模型尤其是大型视觉-语言模型的安全性进行了全面调查。首先,概述了多模态大语言模型的基本结构和发展历程;其次,讨论了多模态大语言模型在使用全周期的安全风险成因,分析了模型结构与安全风险之间的关联性;再次,系统总结了当前在多模态大语言模型图像和文本安全性的评估方面所做的工作,包括模型幻觉、隐私安全、偏见和鲁棒性4个方面,并将针对多模态大语言模型的攻击分为越狱攻击、对抗攻击、后门攻击和中毒攻击;然后,综合概述了一系列针对多模态大语言模型幻觉、隐私泄露和偏见等威胁的可信增强方法以及针对模型恶意攻击的防御措施;最后,讨论了多模态大语言模型安全性研究的主要机遇与挑战,为研究人员在多模态大语言模型的复杂应用和研究领域提供了指导建议。 展开更多
关键词 模态大语言模型 安全 幻觉 对抗 越狱 防御
在线阅读 下载PDF
基于多模态大语言模型的攻击性模因解释生成方法 被引量:2
2
作者 林萌 戴程威 郭涛 《计算机研究与发展》 EI CSCD 北大核心 2024年第5期1206-1217,共12页
随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了... 随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了模因包含的社会背景知识和隐喻表达手法,无法全面、准确地解释攻击性模因的含义,大大限制了解释的应用范围.为了应对这一挑战,提出一种基于多模态大模型的攻击性模因解释生成方法,通过增强攻击目标、攻击内容和隐喻识别等多种指令数据,利用其微调多模态大模型,以提升大模型对攻击性模因的解释生成能力.实验结果证实,该方法生成的解释具有3点优势:一是相比基线模型在BERTScore评估指标上提高了19%;二是解释中包含了攻击性隐喻表达的相关背景知识;三是在处理未见的模因数据时也表现出良好的泛化性能. 展开更多
关键词 攻击性模因 解释生成 模态大语言模型 数据增强 指令微调
在线阅读 下载PDF
医学领域多模态知识图谱融合技术发展现状研究
3
作者 时振普 吕潇 +2 位作者 董彦如 刘静 王晓燕 《计算机科学与探索》 北大核心 2025年第7期1729-1746,共18页
多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模,展现出强大的数据处理能力,为人工智能领域提供更丰富、深入的理解,也因此备受医学领域瞩目,其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好... 多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模,展现出强大的数据处理能力,为人工智能领域提供更丰富、深入的理解,也因此备受医学领域瞩目,其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好地厘清多模态知识图谱在医学领域的研究现状,阐述多模态知识图谱基本知识及医学领域多模态知识图谱构建难点与相关数据集;从传统方法及深度学习方法两个角度分析多模态知识图谱融合涉及的多模态实体对齐与多模态实体链接等关键技术,重点分析文本、图像、音频三个模态的特征提取及融合方法,总结各多模态融合方法优缺点并阐述多模态大语言模型在多模态融合中的应用;详细梳理多模态知识图谱在医学视觉问答、药物研发、影像辅助诊断等领域的研究进展。在此基础上,分析归纳医学领域多模态知识图谱在多模态融合与数据集方面的局限性及面临的挑战,并对未来研究方向进行展望。 展开更多
关键词 模态知识图谱 知识图谱融合 模态大语言模型 智能医疗
在线阅读 下载PDF
人工智能驱动慢性阻塞性肺疾病精准诊疗研究进展 被引量:2
4
作者 朱子锐 曾卓 +1 位作者 曾惠清 罗雄彪 《厦门大学学报(自然科学版)》 CAS CSCD 北大核心 2024年第5期894-905,共12页
[背景]慢性阻塞性肺疾病(chronic obstructive pulmonary disease,COPD)是一种全球常见的慢性呼吸系统疾病,其早期精准诊断和治疗对患者生活质量有着重大影响.近年来,人工智能(artificial intelligence,AI)技术在医疗领域的快速发展,为C... [背景]慢性阻塞性肺疾病(chronic obstructive pulmonary disease,COPD)是一种全球常见的慢性呼吸系统疾病,其早期精准诊断和治疗对患者生活质量有着重大影响.近年来,人工智能(artificial intelligence,AI)技术在医疗领域的快速发展,为COPD早期精准诊疗开辟了新的思路.[进展]本文梳理了AI技术在COPD诊疗中的应用现状,尤其是AI单模态和多模态模型的应用研究进展.单模态模型专注于单一类型的数据源,显示了其早期诊断和监测能力;而多模态模型通过融合来自医学影像、生物医学数据、电子病历等多源信息,进一步提升了对COPD患者病情的全面理解和个性化精准治疗,具有更加广阔的应用前景.[展望]AI技术在COPD早期诊断、区分疾病严重程度、预测急性加重、治疗、管理监测及康复等方面展示出独特的优势.尤其是当前通用AI、生成式AI以及多模态大语言模型等前沿AI技术的快速发展,必将大力促进医生更加精确地诊断疾病,制定更加个性化的患者治疗方案,大幅度地提高临床治疗效果和患者生活质量. 展开更多
关键词 慢性阻塞性肺疾病 人工智能 模态数据 模态数据 生成式人工智能 通用人工智能 模态大语言模型 呼吸病学 精准医学
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部