期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
基于增量预训练与对抗学习的古籍命名实体识别
1
作者 任乐 张仰森 +2 位作者 李剑龙 孙圆明 刘帅康 《计算机工程与设计》 北大核心 2025年第4期1190-1197,共8页
针对用于古籍命名实体识别古籍语料少、古文信息熵高的问题,构建基于二十四史的古籍文本语料库,并提出一种基于增量预训练和对抗学习的古籍命名实体识别模型(ANER-IPAL)。基于自建的古籍文本数据集,使用NEZHA-TCN模型进行预训练,在嵌入... 针对用于古籍命名实体识别古籍语料少、古文信息熵高的问题,构建基于二十四史的古籍文本语料库,并提出一种基于增量预训练和对抗学习的古籍命名实体识别模型(ANER-IPAL)。基于自建的古籍文本数据集,使用NEZHA-TCN模型进行预训练,在嵌入层融合对抗学习增强模型泛化能力,在解码层引入全局指针网络,将实体识别任务建模为子串提取任务,结合规则进行结果的矫正输出。实验结果表明,所提模型在“古籍命名实体识别2023”数据集(GuNER2023)上的F1值达到了95.34%,相较于基线模型NEZHA-GP提高了4.19%。 展开更多
关键词 二十四史 古籍命名实体识别 增量预训练 时序卷积神经网络 对抗学习 全局指针 子串提取
在线阅读 下载PDF
油藏动态分析场景大模型构建与初步应用 被引量:3
2
作者 潘焕泉 刘剑桥 +13 位作者 龚斌 朱艺亨 白军辉 黄虎 方政保 敬洪彬 刘琛 匡铁 兰玉波 王天智 谢添 程名哲 秦彬 沈榆将 《石油勘探与开发》 EI CAS CSCD 北大核心 2024年第5期1175-1182,共8页
针对目前油藏动态分析中井史数据检索与分析、连井剖面绘制、开发生产关键技术指标计算、油藏复杂问题的措施建议等方面的智能化需求,采用增量预训练、指令微调和功能子系统耦合3个步骤构建油藏动态分析场景大模型,提出了基于命名实体... 针对目前油藏动态分析中井史数据检索与分析、连井剖面绘制、开发生产关键技术指标计算、油藏复杂问题的措施建议等方面的智能化需求,采用增量预训练、指令微调和功能子系统耦合3个步骤构建油藏动态分析场景大模型,提出了基于命名实体识别技术、工具调用技术、Text-to-SQL(自然语言转换成结构化查询语言)技术微调的功能子系统及其高效耦合方法,将人工智能大模型运用到油藏动态分析领域。测试了特征提取模型、工具分类模型、数据检索模型、分析建议模型的准确性,结果表明这些模型在油藏动态分析的各个关键环节均展现出了良好的性能。最后以大庆油田PK3区块部分注采井组为例,测试验证了油藏动态分析场景大模型在辅助油藏工程师进行油藏动态分析方面具有的运用价值和潜力,为大模型在油藏动态分析中的运用提供了较好的技术支持。 展开更多
关键词 油藏动态分析 人工智能大模型 场景大模型 增量预训练 指令微调 系统耦合 实体识别 工具调用
在线阅读 下载PDF
基于参数高效微调的藏文大模型研究
3
作者 杨毛加 柔特 +2 位作者 才智杰 官却才让 贡去卓么 《中文信息学报》 2024年第12期106-115,共10页
大模型是指拥有庞大参数量的深度学习模型,具备强大的表征学习和生成能力,对自然语言处理等领域产生了深远影响。随着技术的不断进步,大模型在性能和应用范围上不断取得突破,成为人工智能领域的研究热点。然而,大模型的发展也面临着一... 大模型是指拥有庞大参数量的深度学习模型,具备强大的表征学习和生成能力,对自然语言处理等领域产生了深远影响。随着技术的不断进步,大模型在性能和应用范围上不断取得突破,成为人工智能领域的研究热点。然而,大模型的发展也面临着一些挑战,如模型训练成本高、参数冗余以及跨语言应用存在局限性等。特别地,在藏文这一具有独特语言特性的研究领域,大模型的研究尚处于起步阶段,缺乏相应的模型和资源支持。针对上述问题,该文通过基于LoRA的参数高效微调方法,提出了基于Llama2模型架构构建的Tibetan-Llama2和Tibetan-Alpaca模型,经过较大规模数据的增量预训练和指令微调,上述两种模型具备了对藏文的长文本理解和生成能力,展现了其多任务学习能力,并且在多个领域都有广泛的应用前景。 展开更多
关键词 自然语言处理 藏文大模型 参数高效微调 增量预训练 指令微调
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部