检索结果-维普期刊中文期刊服务平台

多模态大语言模型动态社会互动情景下的情感能力测评被引量：1: 1; 作者周子森黄琪 +5 位作者谭泽宏刘睿曹子亨母芳蔓樊亚春秦绍正《心理学报》北大核心 2025年第11期1988-2000,I0022-I0032,共24页; 多模态大语言模型(MLLMs)能够处理并整合图像、文本等多模态数据信息,为理解人类心理与认知行为提供了强有力工具。结合经典的情绪心理学范式,本研究通过比较两种主流MLLMs与人类被试在动态社会互动情景下情绪识别与情绪推理的表现,分... 展开更多; 关键词多模态大语言模型社会互动情绪识别情绪推理; 在线阅读下载PDF 职称材料

基于多模态大语言模型的攻击性模因解释生成方法被引量：2: 2; 作者林萌戴程威郭涛《计算机研究与发展》 EI CSCD 北大核心 2024年第5期1206-1217,共12页; 随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了... 展开更多; 关键词攻击性模因解释生成多模态大语言模型数据增强指令微调; 在线阅读下载PDF 职称材料

面向函数图像数据的多模态大模型训练策略: 3; 作者明一博陈彦敏赵嘉璐《计算机应用研究》北大核心 2025年第11期3421-3429,共9页; 近年来,多模态大语言模型经历了快速发展,并在各种多模态下游任务中展现了卓越的性能。然而,当前主流的多模态大语言模型在函数图像推理任务中的表现仍不尽如人意,这要求模型不仅具备强大的视觉感知能力,还需进行链式思维推理,以准确理... 展开更多; 关键词多模态大语言模型链式思维推理指令微调 LoRA; 在线阅读下载PDF 职称材料

医学领域多模态知识图谱融合技术发展现状研究被引量：2: 4; 作者时振普吕潇 +2 位作者董彦如刘静王晓燕《计算机科学与探索》北大核心 2025年第7期1729-1746,共18页; 多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模,展现出强大的数据处理能力,为人工智能领域提供更丰富、深入的理解,也因此备受医学领域瞩目,其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好... 展开更多; 关键词多模态知识图谱知识图谱融合多模态大语言模型智能医疗; 在线阅读下载PDF 职称材料

人工智能驱动慢性阻塞性肺疾病精准诊疗研究进展被引量：3: 5; 作者朱子锐曾卓 +1 位作者曾惠清罗雄彪《厦门大学学报（自然科学版）》 CAS CSCD 北大核心 2024年第5期894-905,共12页; [背景]慢性阻塞性肺疾病(chronic obstructive pulmonary disease,COPD)是一种全球常见的慢性呼吸系统疾病,其早期精准诊断和治疗对患者生活质量有着重大影响.近年来,人工智能(artificial intelligence,AI)技术在医疗领域的快速发展,为C... 展开更多; 关键词慢性阻塞性肺疾病人工智能单模态数据多模态数据生成式人工智能通用人工智能多模态大语言模型呼吸病学精准医学; 在线阅读下载PDF 职称材料

题名多模态大语言模型动态社会互动情景下的情感能力测评被引量：1: 1; 作者周子森黄琪谭泽宏刘睿曹子亨母芳蔓樊亚春秦绍正; 机构北京师范大学认知神经科学与学习国家重点实验室北京师范大学人工智能学院内蒙古财经大学工商管理学院阿里巴巴集团楚雄师范学院数学与计算机科学学院; 出处《心理学报》北大核心 2025年第11期1988-2000,I0022-I0032,共24页; 基金国家自然科学基金重点项目(32130045) 组织间合作项目(32361163611)。; 文摘多模态大语言模型(MLLMs)能够处理并整合图像、文本等多模态数据信息,为理解人类心理与认知行为提供了强有力工具。结合经典的情绪心理学范式,本研究通过比较两种主流MLLMs与人类被试在动态社会互动情景下情绪识别与情绪推理的表现,分离出人物对话视觉特征(图像)和对话内容(文本)在识别与推理相关人物情绪中的不同作用。结果表明,基于人物对话图像和对话内容的MLLMs已经初步展现出和人类被试类似的情绪识别与情绪推理能力。之后进一步比较仅基于人物对话图像、仅基于对话内容以及基于两者结合共三种条件下MLLMs的情绪识别与情绪推理表现,发现人物对话视觉特征一定程度上制约MLLMs基本情绪识别的表现,但能够有效促进复合情绪识别,对情绪推理则未产生显著影响。通过对比两种主流MLLMs及其不同版本(GPT-4-vision/turbo vs.Claude-3-haiku)的表现,发现相较于单纯扩大训练数据规模,技术原理框架的创新对提升MLLMs在社会互动中情绪识别与推理能力更为重要。本研究结果对理解社会互动中情绪识别与推理的心理学机制、启发类人的情感计算与智能算法具有重要科学价值和意义。; 关键词多模态大语言模型社会互动情绪识别情绪推理; Keywords multimodal large language model social interaction emotion recognition emotion prediction; 分类号 B842 [哲学宗教—基础心理学]; 在线阅读下载PDF 职称材料

题名基于多模态大语言模型的攻击性模因解释生成方法被引量：2: 2; 作者林萌戴程威郭涛; 机构中国科学院信息工程研究所中国科学院大学网络空间安全学院; 出处《计算机研究与发展》 EI CSCD 北大核心 2024年第5期1206-1217,共12页; 文摘随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了模因包含的社会背景知识和隐喻表达手法,无法全面、准确地解释攻击性模因的含义,大大限制了解释的应用范围.为了应对这一挑战,提出一种基于多模态大模型的攻击性模因解释生成方法,通过增强攻击目标、攻击内容和隐喻识别等多种指令数据,利用其微调多模态大模型,以提升大模型对攻击性模因的解释生成能力.实验结果证实,该方法生成的解释具有3点优势:一是相比基线模型在BERTScore评估指标上提高了19%;二是解释中包含了攻击性隐喻表达的相关背景知识;三是在处理未见的模因数据时也表现出良好的泛化性能.; 关键词攻击性模因解释生成多模态大语言模型数据增强指令微调; Keywords offensive meme explanation generation multi-modal LLM data augment instruction fine-tuning; 分类号 TP183 [自动化与计算机技术—控制理论与控制工程]; 在线阅读下载PDF 职称材料

题名面向函数图像数据的多模态大模型训练策略: 3; 作者明一博陈彦敏赵嘉璐; 机构新疆师范大学计算机与科学技术学院; 出处《计算机应用研究》北大核心 2025年第11期3421-3429,共9页; 基金新疆维吾尔自治区自然科学基金资助项目(2022D01A227) 新疆维吾尔自治区重点研发专项(2022B01007-1)。; 文摘近年来,多模态大语言模型经历了快速发展,并在各种多模态下游任务中展现了卓越的性能。然而,当前主流的多模态大语言模型在函数图像推理任务中的表现仍不尽如人意,这要求模型不仅具备强大的视觉感知能力,还需进行链式思维推理,以准确理解和解答涉及数学函数的问题。为了解决这些问题,首先构建了一个专门针对函数图像推理任务的指令微调数据集FunctionQA。每条数据除标准问答对外,还包含详细的链式推理过程,确保模型在训练过程中能够学习到复杂的推理步骤。其次,针对函数图像推理任务,设计了一种四阶段微调策略,逐步优化视觉编码器、多模态适配器和大语言模型,并结合LoRA技术以降低训练成本。实验结果表明,基于LLaVA框架构建的mFunction-4B模型,经FunctionQA数据集与四阶段微调策略的优化后,以4B参数量在MathVista testmini FunctionQA子集上达到43.55%的准确率,较基线模型LLaVA-1.5-7B提升14.52%,验证了其方法的可行性和有效性。; 关键词多模态大语言模型链式思维推理指令微调 LoRA; Keywords multimodal large language model(MLLM) chain thinking reasoning instruction fine-tuning low-rank adaptation(LoRA); 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名医学领域多模态知识图谱融合技术发展现状研究被引量：2: 4; 作者时振普吕潇董彦如刘静王晓燕; 机构山东中医药大学医学信息工程学院山东省中医院信息科; 出处《计算机科学与探索》北大核心 2025年第7期1729-1746,共18页; 基金国家自然科学基金(82174528) 山东省中医药科技项目(2021M146) 山东中医药大学科学研究基金(KYZK2024M13)。; 文摘多模态知识图谱利用文本、视觉等多模态数据对实体、关系及事件进行建模,展现出强大的数据处理能力,为人工智能领域提供更丰富、深入的理解,也因此备受医学领域瞩目,其在医学数据处理、潜在价值挖掘等多类研究中均取得显著成效。为更好地厘清多模态知识图谱在医学领域的研究现状,阐述多模态知识图谱基本知识及医学领域多模态知识图谱构建难点与相关数据集;从传统方法及深度学习方法两个角度分析多模态知识图谱融合涉及的多模态实体对齐与多模态实体链接等关键技术,重点分析文本、图像、音频三个模态的特征提取及融合方法,总结各多模态融合方法优缺点并阐述多模态大语言模型在多模态融合中的应用;详细梳理多模态知识图谱在医学视觉问答、药物研发、影像辅助诊断等领域的研究进展。在此基础上,分析归纳医学领域多模态知识图谱在多模态融合与数据集方面的局限性及面临的挑战,并对未来研究方向进行展望。; 关键词多模态知识图谱知识图谱融合多模态大语言模型智能医疗; Keywords multimodal knowledge graph knowledge graph fusion multimodal large language model intelligent healthcare; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名人工智能驱动慢性阻塞性肺疾病精准诊疗研究进展被引量：3: 5; 作者朱子锐曾卓曾惠清罗雄彪; 机构厦门大学健康医疗大数据国家研究院厦门大学医学院厦门大学嘉庚学院厦门大学附属中山医院厦门大学信息学院; 出处《厦门大学学报（自然科学版）》 CAS CSCD 北大核心 2024年第5期894-905,共12页; 基金国家自然科学基金(82272133)。; 文摘 [背景]慢性阻塞性肺疾病(chronic obstructive pulmonary disease,COPD)是一种全球常见的慢性呼吸系统疾病,其早期精准诊断和治疗对患者生活质量有着重大影响.近年来,人工智能(artificial intelligence,AI)技术在医疗领域的快速发展,为COPD早期精准诊疗开辟了新的思路.[进展]本文梳理了AI技术在COPD诊疗中的应用现状,尤其是AI单模态和多模态模型的应用研究进展.单模态模型专注于单一类型的数据源,显示了其早期诊断和监测能力;而多模态模型通过融合来自医学影像、生物医学数据、电子病历等多源信息,进一步提升了对COPD患者病情的全面理解和个性化精准治疗,具有更加广阔的应用前景.[展望]AI技术在COPD早期诊断、区分疾病严重程度、预测急性加重、治疗、管理监测及康复等方面展示出独特的优势.尤其是当前通用AI、生成式AI以及多模态大语言模型等前沿AI技术的快速发展,必将大力促进医生更加精确地诊断疾病,制定更加个性化的患者治疗方案,大幅度地提高临床治疗效果和患者生活质量.; 关键词慢性阻塞性肺疾病人工智能单模态数据多模态数据生成式人工智能通用人工智能多模态大语言模型呼吸病学精准医学; Keywords chronic obstructive pulmonary disease artificial intelligence unimodal data multimodal data artificial general intelligence generative artificial intelligence multimodal large language model respiratory medicine precision medicine; 分类号 R563.9 [医药卫生—呼吸系统] TP183 [自动化与计算机技术—控制理论与控制工程]; 在线阅读下载PDF 职称材料

	题名	作者	出处	发文年	被引量	操作
1	多模态大语言模型动态社会互动情景下的情感能力测评	周子森黄琪谭泽宏刘睿曹子亨母芳蔓樊亚春秦绍正	《心理学报》北大核心	2025	1	在线阅读下载PDF 职称材料
2	基于多模态大语言模型的攻击性模因解释生成方法	林萌戴程威郭涛	《计算机研究与发展》 EI CSCD 北大核心	2024	2	在线阅读下载PDF 职称材料
3	面向函数图像数据的多模态大模型训练策略	明一博陈彦敏赵嘉璐	《计算机应用研究》北大核心	2025	0	在线阅读下载PDF 职称材料
4	医学领域多模态知识图谱融合技术发展现状研究	时振普吕潇董彦如刘静王晓燕	《计算机科学与探索》北大核心	2025	2	在线阅读下载PDF 职称材料
5	人工智能驱动慢性阻塞性肺疾病精准诊疗研究进展	朱子锐曾卓曾惠清罗雄彪	《厦门大学学报（自然科学版）》 CAS CSCD 北大核心	2024	3	在线阅读下载PDF 职称材料