期刊文献+
共找到22篇文章
< 1 2 >
每页显示 20 50 100
基于大语言模型指令微调的案件信息要素抽取方法研究 被引量:1
1
作者 王劲滔 孟琪翔 +1 位作者 高志霖 卜凡亮 《计算机科学与探索》 北大核心 2025年第8期2161-2173,共13页
当前随着人工智能技术的快速发展,科技兴警战略已成为提升公安工作现代化水平的重要途径。在科技兴警的大背景下,公安机关面临着海量的非结构化案件文本信息处理需求,传统的人工处理方式已难以满足当前的工作要求。大语言模型作为一种... 当前随着人工智能技术的快速发展,科技兴警战略已成为提升公安工作现代化水平的重要途径。在科技兴警的大背景下,公安机关面临着海量的非结构化案件文本信息处理需求,传统的人工处理方式已难以满足当前的工作要求。大语言模型作为一种新兴的人工智能技术,具备强大的语言理解和生成能力,能够自动从案件文本中抽取涉案人员、时间、地点、案件性质等关键信息要素,为案件分析、证据收集和决策支持提供有力支撑。因此研究基于指令微调大语言模型的案件信息要素抽取方法,以期通过先进的自然语言处理技术提高公安机关在案件信息处理上的效率和准确性,进一步推动公安工作信息化进程。该研究通过高效微调技术LoRA、指令微调、数据增强、情境学习等技术提升大语言模型的信息抽取能力。实验结果表明,该方法在自建的案件文本数据集上取得了显著的性能提升,抽取准确率和召回率均优于传统方法。 展开更多
关键词 大语言模型 信息抽取 指令微调 公安业务 命名实体识别
在线阅读 下载PDF
基于大模型指令微调的公文生成方法
2
作者 梁瑞威 蔡子杰 +3 位作者 方荟 龙云飞 孔祥增 徐戈 《中文信息学报》 北大核心 2025年第5期164-176,共13页
公文在政府和企业机构中扮演着重要角色,其撰写严格遵循特定的格式和规范,且内容必须准确、清晰、逻辑严谨。然而,传统的公文撰写过程耗时烦琐,需要经验丰富的写作人员才能胜任。目前,公文写作数据集稀缺,且尚无大模型公文生成的研究。... 公文在政府和企业机构中扮演着重要角色,其撰写严格遵循特定的格式和规范,且内容必须准确、清晰、逻辑严谨。然而,传统的公文撰写过程耗时烦琐,需要经验丰富的写作人员才能胜任。目前,公文写作数据集稀缺,且尚无大模型公文生成的研究。因此,该文介绍了一种基于大模型的指令微调方法,旨在提高公文写作质量和效率。具体来说,我们基于少量真实公文样本,结合公文专家的指导,设计了提示模板,引导ChatGPT生成了625对样本实例,并将这些实例构建成面向公文写作任务的指令数据集,解决了当前公文领域缺乏写作任务指令数据集的问题。随后,我们使用这一指令数据集对大模型进行了参数高效微调,并为公文写作评测设计了评估标准。实验结果表明,对四个基座模型进行微调,性能得到显著提升,在百分制人工评估标准下,基座模型Qwen-1.8B-Chat经LoRA微调后平均得分从74.32分提升到84.64分,证明了大模型经过领域数据集指令微调后能有效提高公文写作质量。 展开更多
关键词 公文写作 大模型 指令微调 写作评测
在线阅读 下载PDF
基于大型语言模型指令微调的心理健康领域联合信息抽取 被引量:9
3
作者 蔡子杰 方荟 +2 位作者 刘建华 徐戈 龙云飞 《中文信息学报》 CSCD 北大核心 2024年第8期112-127,共16页
信息抽取目的在于从文本中提取关键的信息。心理健康领域的信息抽取能力反映了语言模型对人类心理健康相关信息的自然语言理解能力。提高语言模型的领域信息抽取能力,还能为AI心理健康服务提供重要的知识来源。但目前心理健康信息抽取... 信息抽取目的在于从文本中提取关键的信息。心理健康领域的信息抽取能力反映了语言模型对人类心理健康相关信息的自然语言理解能力。提高语言模型的领域信息抽取能力,还能为AI心理健康服务提供重要的知识来源。但目前心理健康信息抽取的中文指令数据集十分匮乏,这限制了相关研究和应用的发展。针对以上问题,该文在心理学专家的指导下提示ChatGPT生成样本实例,并通过设计生成指令以及数据增强,构建了5641条包含命名实体识别、关系抽取和事件抽取三项基本抽取任务的心理健康领域联合信息抽取指令数据集,旨在填补心理健康领域信息抽取中文指令数据集的不足。随后使用该指令数据集对大型语言模型进行参数高效微调。与基线模型的性能对比以及人工评估的实验结果表明,大型语言模型经过有效的指令微调后可以完成心理健康领域信息抽取的联合任务。 展开更多
关键词 信息抽取 心理健康 大型语言模型 指令微调
在线阅读 下载PDF
NCIFD:面向大模型的民族文化微调数据集
4
作者 罗鹤 张廷 +2 位作者 孙媛 朋毛才让 达哇才仁 《中文信息学报》 北大核心 2025年第2期41-51,共11页
在大语言模型快速发展的挑战下,民族文化研究及传播需要更多的投入。其中,构建高质量的民族文化数据集不仅能促进民族文化传播,还能提高大语言模型在特定文化环境中的精准度和适应性。为了构建高质量的民族文化指令遵循数据集,该文面向... 在大语言模型快速发展的挑战下,民族文化研究及传播需要更多的投入。其中,构建高质量的民族文化数据集不仅能促进民族文化传播,还能提高大语言模型在特定文化环境中的精准度和适应性。为了构建高质量的民族文化指令遵循数据集,该文面向民族文化领域,收集整理了《中国民族百科全书》《中国服饰大典》等18本民族文化相关书籍,进行清洗过滤之后,基于Self-QA框架,使用大语言模型自动生成问答对。同时根据书籍的内容,人工编写了58条民族文化种子指令集,利用这些种子指令集,基于Self-Instruct框架,使用GPT-3.5自动生成指令、输入和输出样本。将两种方式获取的数据集通过多种方式过滤,构建了民族文化指令微调数据集NCIFD(National Culture Instruction-Following Dataset)。通过在ChatGLM-6B、LLaMA-2-7B等主流开源模型上进行了微调实验,实验结果显示,微调Base模型回复准确性与Chat版本模型相比平均提升了6.6%,验证了数据集的有效性和可用性。该数据集为面向民族文化领域的大模型微调提供了支撑,对于推动民族文化在自然语言处理领域的发展具有重要意义。作者将NCIFD部分资源开放供研究使用:https://github.com/letsgoLakers/NCIFD。 展开更多
关键词 大语言模型 民族文化 指令微调 数据集
在线阅读 下载PDF
基于参数高效微调的藏文大模型研究 被引量:1
5
作者 杨毛加 柔特 +2 位作者 才智杰 官却才让 贡去卓么 《中文信息学报》 CSCD 北大核心 2024年第12期106-115,共10页
大模型是指拥有庞大参数量的深度学习模型,具备强大的表征学习和生成能力,对自然语言处理等领域产生了深远影响。随着技术的不断进步,大模型在性能和应用范围上不断取得突破,成为人工智能领域的研究热点。然而,大模型的发展也面临着一... 大模型是指拥有庞大参数量的深度学习模型,具备强大的表征学习和生成能力,对自然语言处理等领域产生了深远影响。随着技术的不断进步,大模型在性能和应用范围上不断取得突破,成为人工智能领域的研究热点。然而,大模型的发展也面临着一些挑战,如模型训练成本高、参数冗余以及跨语言应用存在局限性等。特别地,在藏文这一具有独特语言特性的研究领域,大模型的研究尚处于起步阶段,缺乏相应的模型和资源支持。针对上述问题,该文通过基于LoRA的参数高效微调方法,提出了基于Llama2模型架构构建的Tibetan-Llama2和Tibetan-Alpaca模型,经过较大规模数据的增量预训练和指令微调,上述两种模型具备了对藏文的长文本理解和生成能力,展现了其多任务学习能力,并且在多个领域都有广泛的应用前景。 展开更多
关键词 自然语言处理 藏文大模型 参数高效微调 增量预训练 指令微调
在线阅读 下载PDF
基于通用大模型的民族语言大模型构建技术
6
作者 余杰 飞龙 +9 位作者 郭陆祥 尼玛扎西 汤勇韬 李莎莎 郑思 刘晓东 马俊 李琢 王倚晴 李剑峰 《中文信息学报》 北大核心 2025年第8期75-81,共7页
通用大模型是人工智能领域中的一项重要且基础性的研究工作。该文根据民族语言结构特征,在分析民族语言规则、难点以及创新方法的基础上,建立大模型语料库,提出一种基于通用大模型的民族语言大模型构建方法。首先,通过民族语言信息嵌入... 通用大模型是人工智能领域中的一项重要且基础性的研究工作。该文根据民族语言结构特征,在分析民族语言规则、难点以及创新方法的基础上,建立大模型语料库,提出一种基于通用大模型的民族语言大模型构建方法。首先,通过民族语言信息嵌入将输入序列映射到通用大模型的语义空间,解决了民族语言输入适配大模型的难题;其次,通用大模型将不同的民族语言的表示作为输入,并进行语义理解和推理;然后,利用4层Transformer和编码器实现语言的输出对齐;最后,对整体模型进行指令微调,提升民族语言大模型的句子级语义理解能力、Token级语义理解能力和翻译能力。该文以启元国家实验室的九格大模型和内蒙古大学的蒙古文语料为基础,基于上述方法实现了蒙古文大模型。实验表明,该模型的分类评估F 1值和生成能力评估BLEU值分别为82.9%和39.5%,并通过12组组合实验进一步验证了其通用性与有效性。 展开更多
关键词 民族语言大模型 语义对齐 指令微调
在线阅读 下载PDF
基于大语言模型的燃气事故调查报告实体识别
7
作者 王明达 赵宝熙 +1 位作者 吴志生 冷高强 《中国安全生产科学技术》 北大核心 2025年第2期139-145,共7页
为解决样本稀少对大语言模型(LLM)在燃气事故调查报告中的实体识别精度影响显著的问题,提出1种基于两阶段训练的大语言模型实体识别方法。在数据集构建阶段,LLM根据对话式指令微调模板自动生成燃气事故调查报告数据集,采用简单数据增强(... 为解决样本稀少对大语言模型(LLM)在燃气事故调查报告中的实体识别精度影响显著的问题,提出1种基于两阶段训练的大语言模型实体识别方法。在数据集构建阶段,LLM根据对话式指令微调模板自动生成燃气事故调查报告数据集,采用简单数据增强(EDA)技术扩充人工标注的关键样本;在模型微调训练阶段,采用低秩适配微调技术对Phi3-mini-128k模型进行微调训练,第1阶段微调训练利用LLM自动标注数据集,在训练基础上利用增强数据集对模型进行第2阶段微调训练。研究结果表明:经过第1阶段微调训练后,Phi3-mini-rq模型的实体识别综合评价指标提高11.01百分点;当EDA增强数据占总数据的50%时,模型第2阶段微调效果最佳,综合评价指标值进一步提升2.49百分点。研究结果可为燃气领域的事故报告自动化处理提供有效技术支持。 展开更多
关键词 燃气事故调查报告 命名实体识别 大语言模型 指令微调 数据增强
在线阅读 下载PDF
YuLan-Chat:基于多阶段课程学习的大语言模型 被引量:3
8
作者 周昆 朱余韬 +21 位作者 陈志朋 毛科龙 陈文通 陈昱硕 孙一丁 曹乾 王磊 张蕾 庞新程 谢曙方 赵鑫 窦志成 林衍凯 毛佳昕 宋睿华 陈旭 徐君 胡迪 严睿 黄文炳 魏哲巍 文继荣 《计算机学报》 北大核心 2025年第1期1-18,共18页
近年来,大语言模型已成为研究热点。其在大规模数据上预训练之后,具有强大的少样本和零样本上下文学习能力,能够便捷地用于许多真实场景复杂任务。然而,对大语言模型进行从头到尾的开发和训练,可参考的实现较少;且存在较难习得的知识,... 近年来,大语言模型已成为研究热点。其在大规模数据上预训练之后,具有强大的少样本和零样本上下文学习能力,能够便捷地用于许多真实场景复杂任务。然而,对大语言模型进行从头到尾的开发和训练,可参考的实现较少;且存在较难习得的知识,如长尾知识相关数据、复杂指令、难区分的负例等。为填补该领域空白,并强化对较难掌握数据的学习,本文提出了多阶段的课程学习方法,针对以上三种典型数据,使用了:(1)迭代增强长尾知识的预训练课程;(2)由简单到复杂的指令微调课程;(3)由易到难的人类对齐课程,完成了YuLan-Chat从头开始的整个训练流程。本文在四个与大语言模型基础能力和人类对齐能力相关的中英文评测基准上对YuLan-Chat进行评测,结果表明该模型能够在大部分场景下优于基线模型。分析实验进一步表明了该课程学习方法在GAOKAO和AlignBench评测基准上,能够分别提升模型9.7%和18.9%的答案预测准确率。 展开更多
关键词 大语言模型 课程学习 预训练 指令微调 人类对齐
在线阅读 下载PDF
大语言模型在安全托管服务误报处理中的应用研究
9
作者 胡隆辉 宋虹 +2 位作者 王伟平 易佳 张智雄 《信息网络安全》 北大核心 2025年第10期1570-1578,共9页
当安全托管服务由第三方提供时,由于企业用户环境的差异,部署统一的安全检测规则容易导致误报,通常需要依据用户反馈人工调整安全规则或对告警进行过滤。针对该应用场景,文章提出一种自动化处理用户反馈语句的方法,从用户反馈语句中自... 当安全托管服务由第三方提供时,由于企业用户环境的差异,部署统一的安全检测规则容易导致误报,通常需要依据用户反馈人工调整安全规则或对告警进行过滤。针对该应用场景,文章提出一种自动化处理用户反馈语句的方法,从用户反馈语句中自动提取与告警过滤相关的语句,并将其转化为安全设备的告警过滤规则。该方法基于大语言模型,结合思维链和少样本提示两种提示工程技术,从用户反馈中提取告警过滤语句。为进一步提升提取效果,该方法使用GPT-4生成的安全语料对表现最优的ChatGLM4和Qwen1.5大语言模型进行指令微调。实验结果表明,该方法在告警过滤相关语句的提取任务中,Rouge-L指标达92.208%,可有效减少人工审核用户反馈的工作量。 展开更多
关键词 安全托管服务 告警过滤 大语言模型 提示工程 指令微调
在线阅读 下载PDF
外部知识增强的事件共指消解方法
10
作者 徐昇 李培峰 朱巧明 《软件学报》 北大核心 2025年第11期5158-5177,共20页
由于语言表述的多样性和复杂性,事件共指关系有时是通过事件描述之间潜在的关联性体现的.已有方法大多仅基于触发词、论元等事件内部信息采用语义相似度计算方法进行事件共指消解,难以处理上述问题.为此,提出了一种外部知识增强的事件... 由于语言表述的多样性和复杂性,事件共指关系有时是通过事件描述之间潜在的关联性体现的.已有方法大多仅基于触发词、论元等事件内部信息采用语义相似度计算方法进行事件共指消解,难以处理上述问题.为此,提出了一种外部知识增强的事件共指消解方法,通过运用大语言模型生成共指相关外部知识(主要包括篇章连贯性、逻辑关系知识和常识背景知识)来发现共指事件之间的潜在联系.首先,运用超大语言模型ChatGPT构造包含外部知识的训练数据.然后,在数据上指令微调FlanT5等基础大语言模型,使其学习到生成共指相关外部知识的能力.最后,运用微调后的大语言模型生成文档级事件摘要和思维链风格的共指推理路径,结合事件内部信息和外部知识预测共指.在KBP数据集上的实验结果显示,该方法的性能优于当前先进的基线模型. 展开更多
关键词 事件共指消解 外部知识 指令微调 思维链 大语言模型
在线阅读 下载PDF
基于人工智能技术的抽水蓄能电站预选址研究
11
作者 李姝颖 周申蓓 徐琪 《水利水电技术(中英文)》 北大核心 2025年第6期199-213,共15页
【目的】为解决目前抽水蓄能电站预选址大多依靠人工比选,存在耗时费力、自动化程度低等问题,提出一种将多模态大模型应用于抽水蓄能电站预选址的方法。【方法】基于抽水蓄能电站选址规范,构建站址评价体系,结合模糊综合评价法计算各站... 【目的】为解决目前抽水蓄能电站预选址大多依靠人工比选,存在耗时费力、自动化程度低等问题,提出一种将多模态大模型应用于抽水蓄能电站预选址的方法。【方法】基于抽水蓄能电站选址规范,构建站址评价体系,结合模糊综合评价法计算各站址综合得分,作为电站标签。通过设计特定提示引导GPT模型生成与遥感图像相关的指令微调数据。在此基础上,采用提示工程(prompt)与LoRA微调技术对多模态大语言模型LLaVA进行训练,并将模型应用于安徽绩溪抽水蓄能电站预选址工程,对模型实施系统评估。【结果】结果显示:模型对安徽绩溪抽水蓄能电站工程水文、地形、经济等方面的关键指标评分准确,得出其综合得分为84.4分,符合理想站址标准;在1091个样本的测试集上进行验证时,模型能识别出74.1%的理想站址样本和82.4%的非理想站址样本;微调后的LLaVA模型的AUC值为0.822,相比Qwen-VL-Chat、InternLM-XComposer-VL、VisualGLM和InstructBLIP模型分别高出了0.106、0.152、0.205和0.207。【结论】结果表明:利用上述方法进行微调的LLaVA模型在站址分类方面的精准率、召回率和误检率相较于多模态通用模型有显著提升,并在实际的选址中展现出良好的站址评分能力,具有较高的推广应用价值。通过对LLaVA模型进行领域微调和应用,充分展示了多模态大模型在提高选址工作效率和自动化程度中的独特作用,可为抽水蓄能行业的智能化转型提供有力支撑。 展开更多
关键词 抽水蓄能电站 LLaVA模型 预选址 指令微调 影响因素
在线阅读 下载PDF
面向函数图像数据的多模态大模型训练策略
12
作者 明一博 陈彦敏 赵嘉璐 《计算机应用研究》 北大核心 2025年第11期3421-3429,共9页
近年来,多模态大语言模型经历了快速发展,并在各种多模态下游任务中展现了卓越的性能。然而,当前主流的多模态大语言模型在函数图像推理任务中的表现仍不尽如人意,这要求模型不仅具备强大的视觉感知能力,还需进行链式思维推理,以准确理... 近年来,多模态大语言模型经历了快速发展,并在各种多模态下游任务中展现了卓越的性能。然而,当前主流的多模态大语言模型在函数图像推理任务中的表现仍不尽如人意,这要求模型不仅具备强大的视觉感知能力,还需进行链式思维推理,以准确理解和解答涉及数学函数的问题。为了解决这些问题,首先构建了一个专门针对函数图像推理任务的指令微调数据集FunctionQA。每条数据除标准问答对外,还包含详细的链式推理过程,确保模型在训练过程中能够学习到复杂的推理步骤。其次,针对函数图像推理任务,设计了一种四阶段微调策略,逐步优化视觉编码器、多模态适配器和大语言模型,并结合LoRA技术以降低训练成本。实验结果表明,基于LLaVA框架构建的mFunction-4B模型,经FunctionQA数据集与四阶段微调策略的优化后,以4B参数量在MathVista testmini FunctionQA子集上达到43.55%的准确率,较基线模型LLaVA-1.5-7B提升14.52%,验证了其方法的可行性和有效性。 展开更多
关键词 多模态大语言模型 链式思维推理 指令微调 LoRA
在线阅读 下载PDF
社交媒体数据中水灾事件求助信息提取模型 被引量:2
13
作者 孙焕良 王思懿 +1 位作者 刘俊岭 许景科 《计算机应用》 CSCD 北大核心 2024年第8期2437-2445,共9页
由于社交媒体平台上所发布的非结构化信息存在数据不一致、重要程度不同等问题,使自动准确抽取所需信息并标注受灾级别成为一个有挑战性的工作。因此,结合形式概念分析(FCA)、词共现关系和上下文语义信息构建了水灾事件知识体系。利用... 由于社交媒体平台上所发布的非结构化信息存在数据不一致、重要程度不同等问题,使自动准确抽取所需信息并标注受灾级别成为一个有挑战性的工作。因此,结合形式概念分析(FCA)、词共现关系和上下文语义信息构建了水灾事件知识体系。利用所构建的知识体系,基于TencentPretrain框架对大规模语言预训练模型(LLM)进行指令微调,构建了ChatFlowFlood信息抽取模型,可以在少量人工标记情况下,准确自动抽取被困情况、紧缺物资等信息;在信息抽取模型的基础上,通过模糊层次分析法(FAHP)和CRITIC法(CRiteria Importance Through Intercriteria Correlation)主客观结合评定求助信息的救援优先级,帮助决策者理解灾情紧急程度。实验结果表明,在中文社交媒体数据上,与ChatFlow-7B模型相比,ChatFlowFlood模型的FBERT指标提升了73.09%。 展开更多
关键词 中文社交媒体 命名实体识别 大规模语言模型 指令微调 水灾事件
在线阅读 下载PDF
基于大语言模型的多模态社交媒体信息流行度预测研究 被引量:2
14
作者 王洁 王子曈 +1 位作者 彭岩 郝博文 《通信学报》 EI CSCD 北大核心 2024年第11期141-156,共16页
针对现有多模态社交媒体信息流行度预测算法对特征依赖强、泛化能力不足、面对少样本/冷启动环境表现不佳的问题,提出了一种基于大语言模型指令微调和人类对齐的多模态社交媒体流行度预测模型MultiSmpLLM。首先,定义面向冷启动用户的多... 针对现有多模态社交媒体信息流行度预测算法对特征依赖强、泛化能力不足、面对少样本/冷启动环境表现不佳的问题,提出了一种基于大语言模型指令微调和人类对齐的多模态社交媒体流行度预测模型MultiSmpLLM。首先,定义面向冷启动用户的多模态社交媒体流行度预测任务。其次,构建多模态微调指令,并分别通过低秩适配微调(LoRA)和冻结微调(Freeze)方法对大语言基座模型(Llama3)进行指令微调。最后,提出了一种改进直接偏好优化(DPO)的算法IDPOP,通过构造偏好数据,并对DPO损失函数施加由参数调节的惩罚项,解决了基于人类反馈的强化学习(RLHF)算法训练不稳定、不收敛,以及标准DPO在社交媒体流行度预测任务中产生错误优化的问题。实验结果表明,MultiSmpLLM显著优于传统多模态预测模型和GPT-4o等多模态大语言模型。 展开更多
关键词 大语言模型 流行度预测 指令微调 人类对齐
在线阅读 下载PDF
油藏动态分析场景大模型构建与初步应用 被引量:5
15
作者 潘焕泉 刘剑桥 +13 位作者 龚斌 朱艺亨 白军辉 黄虎 方政保 敬洪彬 刘琛 匡铁 兰玉波 王天智 谢添 程名哲 秦彬 沈榆将 《石油勘探与开发》 EI CAS CSCD 北大核心 2024年第5期1175-1182,共8页
针对目前油藏动态分析中井史数据检索与分析、连井剖面绘制、开发生产关键技术指标计算、油藏复杂问题的措施建议等方面的智能化需求,采用增量预训练、指令微调和功能子系统耦合3个步骤构建油藏动态分析场景大模型,提出了基于命名实体... 针对目前油藏动态分析中井史数据检索与分析、连井剖面绘制、开发生产关键技术指标计算、油藏复杂问题的措施建议等方面的智能化需求,采用增量预训练、指令微调和功能子系统耦合3个步骤构建油藏动态分析场景大模型,提出了基于命名实体识别技术、工具调用技术、Text-to-SQL(自然语言转换成结构化查询语言)技术微调的功能子系统及其高效耦合方法,将人工智能大模型运用到油藏动态分析领域。测试了特征提取模型、工具分类模型、数据检索模型、分析建议模型的准确性,结果表明这些模型在油藏动态分析的各个关键环节均展现出了良好的性能。最后以大庆油田PK3区块部分注采井组为例,测试验证了油藏动态分析场景大模型在辅助油藏工程师进行油藏动态分析方面具有的运用价值和潜力,为大模型在油藏动态分析中的运用提供了较好的技术支持。 展开更多
关键词 油藏动态分析 人工智能大模型 场景大模型 增量预训练 指令微调 系统耦合 实体识别 工具调用
在线阅读 下载PDF
油气大模型发展方向及实施关键路径 被引量:4
16
作者 熊华平 赵春宇 刘万伟 《大庆石油地质与开发》 CAS 北大核心 2024年第3期214-224,共11页
大庆油田历经60余年的勘探开发,面临着理论创新、技术突破和现场实施等诸多挑战。在这个过程中,传统的数学模型在处理复杂的地质数据和工程数据时已接近瓶颈,需要探索新的研究范式。近年来,大模型特别是多模态生成式大模型作为一种基于... 大庆油田历经60余年的勘探开发,面临着理论创新、技术突破和现场实施等诸多挑战。在这个过程中,传统的数学模型在处理复杂的地质数据和工程数据时已接近瓶颈,需要探索新的研究范式。近年来,大模型特别是多模态生成式大模型作为一种基于大数据、大模型的智能化技术,能够处理大规模、异源、异构的数据,有望更好地应对油气勘探开发领域中的复杂性和不确定性,重塑油气领域的数字化流程,成为油气行业新的发展契机。从油气大模型产生的技术需求、时代背景出发,探索油气大模型技术体系,对油气大模型建设提出设想。具体方案从建设目标、建设原则开始,设计技术架构、给出实施路径,横向上规划4个实施阶段、纵向上规划4个研究领域,设计15项关键任务,进一步为大模型落地,规划了数据库、知识库、成果库和协同研究4项配套体系建设、制定13项关键技术,逐步推进大模型对“数”“图”“体”的理解,最后对大模型在未来油气研究领域的应用场景进行了展望。 展开更多
关键词 油气大模型 多模态 生成式预训练模型 垂直领域模型 指令微调
在线阅读 下载PDF
CFB:金融领域大模型评估方法 被引量:8
17
作者 李毅 李浩 +1 位作者 许骁哲 杨一凡 《计算机科学与探索》 CSCD 北大核心 2024年第12期3272-3287,共16页
随着大语言模型(LLM)在金融领域的应用潜力不断显现,评估金融大模型的性能变得尤为重要。然而,由于当下的金融评估方法评估任务单一、评测数据集覆盖面不足以及测评基准数据污染等方面的局限,大模型在金融领域的潜力尚未得到充分探索。... 随着大语言模型(LLM)在金融领域的应用潜力不断显现,评估金融大模型的性能变得尤为重要。然而,由于当下的金融评估方法评估任务单一、评测数据集覆盖面不足以及测评基准数据污染等方面的局限,大模型在金融领域的潜力尚未得到充分探索。基于此,提出了中文金融大模型评估方法CFB,构建36个数据集,涵盖24个金融任务,涉及多项问答、术语解释、文本生成、文本翻译、分类任务、语步识别、预测决策7个金融大模型测评任务,并构建了相应的测评基准。CFB提出的新思路包括:更广泛的任务和数据范围,引入了基于LLM的基准去污方法以及基于指令微调、知识检索增强和提示词工程3种方法的评估。并对包括GPT-4o、ChatGPT和Gemini在内的12个LLM进行了评估,实验结果显示,虽然LLM在信息提取和文本分析方面表现出色,但在高级推理和复杂任务方面存在困难。GPT-4o在信息提取和股票交易方面表现突出,而Gemini在文本生成和预测方面更胜一筹。经过指令微调的LLM在文本分析上有所提升,但对复杂任务提供的益处有限。 展开更多
关键词 金融大模型 评估基准 提示词工程 知识检索增强 指令微调
在线阅读 下载PDF
面向开源情报的信息抽取大语言模型 被引量:4
18
作者 赵勤博 王又辰 +3 位作者 陈荣 宋颖毅 栾真 田夫兰 《计算机工程与设计》 北大核心 2024年第12期3772-3778,共7页
针对开源情报信息抽取过程依赖多类专用模型和抽取属性限制强等问题,基于一种GLM大语言模型进行指令微调和上下文学习提高信息抽取准确率,利用指令自动化生成方法对原始问题进行泛化,构建SFT数据集。开展多任务统一的微调学习常见抽取模... 针对开源情报信息抽取过程依赖多类专用模型和抽取属性限制强等问题,基于一种GLM大语言模型进行指令微调和上下文学习提高信息抽取准确率,利用指令自动化生成方法对原始问题进行泛化,构建SFT数据集。开展多任务统一的微调学习常见抽取模式,通过自动思维链扩充提示增强模型推理能力。实验结果表明,该方法在开源情报命名实体识别、关系抽取和事件抽取任务上,微调模型能满足不同场景下的抽取要求,具有较好的抽取效果。 展开更多
关键词 开源情报 大语言模型 信息抽取 指令自动化生成 指令微调 上下文学习 自动思维链
在线阅读 下载PDF
基于多模态大语言模型的攻击性模因解释生成方法 被引量:2
19
作者 林萌 戴程威 郭涛 《计算机研究与发展》 EI CSCD 北大核心 2024年第5期1206-1217,共12页
随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了... 随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了模因包含的社会背景知识和隐喻表达手法,无法全面、准确地解释攻击性模因的含义,大大限制了解释的应用范围.为了应对这一挑战,提出一种基于多模态大模型的攻击性模因解释生成方法,通过增强攻击目标、攻击内容和隐喻识别等多种指令数据,利用其微调多模态大模型,以提升大模型对攻击性模因的解释生成能力.实验结果证实,该方法生成的解释具有3点优势:一是相比基线模型在BERTScore评估指标上提高了19%;二是解释中包含了攻击性隐喻表达的相关背景知识;三是在处理未见的模因数据时也表现出良好的泛化性能. 展开更多
关键词 攻击性模因 解释生成 多模态大语言模型 数据增强 指令微调
在线阅读 下载PDF
基于意图识别与检索增强生成的校园问答系统 被引量:3
20
作者 汤博文 马名轩 +5 位作者 张以宁 李厚润 温非凡 王达彬 杨加 马皓 《通信学报》 CSCD 北大核心 2024年第S2期255-261,共7页
为解决传统校园问答系统信息整合能力不足、泛化能力差等问题,设计了基于大语言模型的校园问答系统。使用微调后的大语言模型对用户问题进行意图识别,为不同意图的问题提供有针对性的处理方法,提升用户体验。同时,针对大语言模型生成时... 为解决传统校园问答系统信息整合能力不足、泛化能力差等问题,设计了基于大语言模型的校园问答系统。使用微调后的大语言模型对用户问题进行意图识别,为不同意图的问题提供有针对性的处理方法,提升用户体验。同时,针对大语言模型生成时的幻觉问题,利用多种校园数据建立了校园知识库,通过检索增强生成方法为模型提供事实依据。实验结果表明,经过指令微调的开源大语言模型可以达到接近甚至超越闭源大语言模型的意图识别准确率。 展开更多
关键词 大语言模型 检索增强生成 指令微调 意图识别
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部