期刊文献+
共找到342篇文章
< 1 2 18 >
每页显示 20 50 100
基于预训练语言模型的知识图谱研究综述 被引量:5
1
作者 曾泽凡 胡星辰 +2 位作者 成清 司悦航 刘忠 《计算机科学》 北大核心 2025年第1期1-33,共33页
大语言模型时代,知识图谱作为一种结构化的知识表示方式,在提升人工智能的可靠性、安全性和可解释性方面发挥着不可替代的作用,具有重要的研究价值和实际应用前景。近年来,凭借在语义理解和上下文学习方面的优越性能,预训练语言模型已... 大语言模型时代,知识图谱作为一种结构化的知识表示方式,在提升人工智能的可靠性、安全性和可解释性方面发挥着不可替代的作用,具有重要的研究价值和实际应用前景。近年来,凭借在语义理解和上下文学习方面的优越性能,预训练语言模型已经成为了知识图谱研究的主要手段。系统梳理了基于预训练语言模型的知识图谱研究的相关工作,包括知识图谱构建、表示学习、推理、问答等,介绍了相关模型和方法的核心思路,并依据技术路径建立了分类体系,对不同类型方法的优缺点进行了对比分析。此外,对预训练语言模型在事件知识图谱和多模态知识图谱这两种新型知识图谱中的应用现状进行了综述。最后,总结了当前基于预训练语言模型的知识图谱研究面临的挑战,展望了未来的研究方向。 展开更多
关键词 知识图谱 训练语言模型 语言模型 多模态 事件知识图谱
在线阅读 下载PDF
融合大语言模型和预训练模型的少量语料说话人-情感语音转换方法 被引量:1
2
作者 鲁超峰 陶冶 +4 位作者 文连庆 孟菲 秦修功 杜永杰 田云龙 《计算机应用》 北大核心 2025年第3期815-822,共8页
针对很少有人将说话人转换和情感转换结合起来研究,且实际场景中的目标说话人情感语料通常很少,不足以从头训练一个强泛化性模型的问题,提出一种融合大语言模型和预训练情感语音合成模型的少量语料说话人-情感语音转换(LSEVC)方法。首先... 针对很少有人将说话人转换和情感转换结合起来研究,且实际场景中的目标说话人情感语料通常很少,不足以从头训练一个强泛化性模型的问题,提出一种融合大语言模型和预训练情感语音合成模型的少量语料说话人-情感语音转换(LSEVC)方法。首先,使用大语言模型生成带有所需情感标签的文本;其次,使用目标说话人语料微调预训练情感语音合成模型以嵌入目标说话人;然后,将生成的文本合成情感语音,以达到数据增强的目的;再次,使用合成语音与源目标语音共同训练说话人-情感语音转换模型;最后,为了进一步提升转换语音的说话人相似度和情感相似度,使用源目标说话人情感语音微调模型。在公共语料库和一个中文小说语料库上的实验结果表明,综合考虑评价指标情感相似度平均得分(EMOS)、说话人相似度平均意见得分(SMOS)、梅尔倒谱失真(MCD)和词错误率(WER)时,所提方法优于CycleGAN-EVC、Seq2Seq-EVC-WA2和SMAL-ET2等方法。 展开更多
关键词 少量语料 说话人-情感语音转换 语言模型 训练情感语音合成模型 微调
在线阅读 下载PDF
影响预训练语言模型数据泄露的因素研究
3
作者 钱汉伟 彭季天 +4 位作者 袁明 高光亮 刘晓迁 王群 朱景羽 《信息安全研究》 北大核心 2025年第2期181-188,共8页
当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2... 当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2,OPT等广泛使用的预训练语言模型作为研究对象,利用模型反演攻击探索影响预训练语言模型数据泄露的因素.实验过程中利用预训练语言模型生成大量样本,以困惑度等指标选取最有可能发生数据泄露风险的样本进行验证,证明了T5等不同模型均存在不同程度的数据泄露问题;同一种模型,模型规模越大数据泄露可能性越大;添加特定前缀更容易获取泄露数据等问题.对未来数据泄露问题及其防御方法进行了展望. 展开更多
关键词 自然语言处理 训练语言模型 隐私数据泄露 模型反演攻击 模型架构
在线阅读 下载PDF
基于自注意力归因和剪枝的预训练语言模型去偏方法
4
作者 叶啟文 周栋 +1 位作者 王蒙蒙 曹步清 《中文信息学报》 北大核心 2025年第6期9-21,共13页
预训练语言模型编码了一系列社会偏见,应用在下游任务中可能会延续甚至放大对弱势群体的不公平对待。现有与任务无关的方法去偏效果迁移至下游任务中表现不佳,而与任务相关的方法主要依赖于下游微调数据标注的受保护属性标签。该文提出... 预训练语言模型编码了一系列社会偏见,应用在下游任务中可能会延续甚至放大对弱势群体的不公平对待。现有与任务无关的方法去偏效果迁移至下游任务中表现不佳,而与任务相关的方法主要依赖于下游微调数据标注的受保护属性标签。该文提出了基于自注意力归因和剪枝的预训练语言模型去偏方法,这是一种与任务相关但不需要依赖受保护属性标签的方法,适用于通用下游任务且具有可解释性。该方法将模型的决策归因于输入数据和自注意力头之间的信息交互,进而识别自注意力头对模型决策的重要性。通过权衡预测准确率和公平性,有选择地对偏见影响较大的头进行剪枝,从而实现模型去偏。该文在多个数据集上进行实验,实验结果表明,该方法可以有效缓解偏见且不损耗模型预测性能。 展开更多
关键词 训练语言模型 公平性 去偏 自注意力归因
在线阅读 下载PDF
基于预训练语言模型的IPC与高相似CLC类目自动映射
5
作者 黄敏 魏嘉琴 李茂西 《中文信息学报》 北大核心 2025年第2期153-161,共9页
专利和图书期刊是产业界与学术界的科技创新信息来源,专利通常采用国际专利分类法(International Patent Classification,IPC)标识,而中文图书期刊则采用中国图书馆分类法(Chinese Library Classification,CLC),不同的分类标识体系给专... 专利和图书期刊是产业界与学术界的科技创新信息来源,专利通常采用国际专利分类法(International Patent Classification,IPC)标识,而中文图书期刊则采用中国图书馆分类法(Chinese Library Classification,CLC),不同的分类标识体系给专利、图书期刊信息整合共享和跨库检索浏览带来了挑战。针对IPC类目和高相似的CLC类目难以准确映射的问题,对于计算资源受限的场景,该文提出结合预训练语言模型BERT和文本蕴含模型ESIM的IPC与CLC类目自动映射方法;对于计算资源充足的场景,该文提出了基于大语言模型ChatGLM2-6B的IPC与CLC类目自动映射方法。在公开的IPC与CLC类目映射数据集和在其基础上构建的IPC类目与高相似的CLC类目映射数据集上的实验结果表明,该文所提出的两种方法均统计显著地优于对比的基线方法,包括当前最先进的Sia-BERT等基于深度神经网络的科技文献类目自动映射方法。消融实验和详细的映射实例分析进一步揭示了该文所提方法的有效性。 展开更多
关键词 国际专利分类法 中国图书馆分类法 训练语言模型 语言模型 类目映射
在线阅读 下载PDF
基于视觉-语言预训练模型的开集交通目标检测算法
6
作者 黄琦强 安国成 熊刚 《计算机工程》 北大核心 2025年第6期375-384,共10页
交通目标检测是智慧交通系统的重要组成部分,但现有的交通目标检测算法只能实现对于预设目标的检测,无法应对开集目标场景。为此,提出一种基于视觉-语言预训练(VLP)模型的开集交通目标检测算法。首先,基于Faster R-CNN修改预测网络使其... 交通目标检测是智慧交通系统的重要组成部分,但现有的交通目标检测算法只能实现对于预设目标的检测,无法应对开集目标场景。为此,提出一种基于视觉-语言预训练(VLP)模型的开集交通目标检测算法。首先,基于Faster R-CNN修改预测网络使其能够适应开集目标的定位问题,并将损失函数改进为交并比(IoU)损失,有效提升定位精度;其次,构建一种新的基于VLP的标签匹配网络(VLP-LMN),对预测框进行标签匹配,VLP模型作为一个强大的知识库,可有效匹配区域图像和标签文本,同时,VLP-LMN的提示工程和微调网络模块可以更好地发掘出VLP模型的性能,有效提高VLP模型标签匹配的准确性。实验结果表明,该算法在PASCAL VOC07+12数据集上实现了60.3%的新类目标检测平均准确率,这证明了其具有良好的开集目标检测性能;同时在交通数据集上的新类目标检测平均准确率达到了58.9%,作为零样本检测,仅比基类目标低14.5%,证明了该算法在交通目标检测上具有良好的泛化能力。 展开更多
关键词 视觉-语言训练模型 Faster R-CNN 开集目标检测 交通目标检测
在线阅读 下载PDF
基于预训练大语言模型的实体关系抽取框架及其应用 被引量:1
7
作者 魏伟 金成功 +3 位作者 杨龙 周默 孟祥主 冯慧 《应用科学学报》 北大核心 2025年第1期20-34,共15页
实体关系抽取是构建大规模知识图谱和专业领域数据集的重要基础之一,为此提出了一种基于预训练大语言模型的实体关系抽取框架(entity relation extraction framework based on pre-trained large language model, PLLM-RE),并针对循环... 实体关系抽取是构建大规模知识图谱和专业领域数据集的重要基础之一,为此提出了一种基于预训练大语言模型的实体关系抽取框架(entity relation extraction framework based on pre-trained large language model, PLLM-RE),并针对循环经济政策进行了实体关系抽取研究。基于所提出的PLLM-RE框架,首先使用RoBERTa模型进行循环经济政策文本的实体识别,然后选取基于Transformer的双向编码器表示(bidirectional encoder representation from Transformers, BERT)模型进行循环经济政策实体关系抽取研究,以构建该政策领域的知识图谱。研究结果表明,PLLM-RE框架在循环经济政策实体关系抽取任务上的性能优于对比模型BiLSTM-ATT、PCNN、BERT以及ALBERT,验证了所提框架在循环经济政策实体关系抽取任务上的适配性和优越性,为后续循环经济领域资源的信息挖掘和政策分析提供了新思路。 展开更多
关键词 训练语言模型 实体关系抽取框架 循环经济政策 政策分析
在线阅读 下载PDF
基于变分注意力知识选择和预训练语言模型的对话生成
8
作者 张乃洲 曹薇 +1 位作者 张啸剑 李石君 《计算机研究与发展》 北大核心 2025年第8期1902-1917,共16页
基于知识的神经对话研究常常面临外部知识包含冗余甚至与对话主题不相关信息的问题,从而导致对话系统性能下降.知识选择成为解决该问题的重要途径,但现有研究对诸如知识选择器的设计、选择出的知识的利用以及知识选择对话方法适用的场... 基于知识的神经对话研究常常面临外部知识包含冗余甚至与对话主题不相关信息的问题,从而导致对话系统性能下降.知识选择成为解决该问题的重要途径,但现有研究对诸如知识选择器的设计、选择出的知识的利用以及知识选择对话方法适用的场景等问题,还缺乏深入研究.针对这些问题,提出了一个新的基于变分注意力知识选择和预训练模型的神经对话方法,使用一个基于条件变分自编码(conditional variational autoencoder,CVAE)和多层注意力机制的知识选择算法,自动选择出与当前对话最相关文本知识集合.该算法有效利用了训练数据中的对话回复来提高知识选择的效率.使用预训练语言模型Bart作为编码器-解码器架构,将选择的文本知识合并到Bart模型中,并在训练过程中对其进行微调.实验结果表明,与现有的一些代表性研究方法相比,提出的模型能生成多样性和连贯性更好、准确率更高的对话回复. 展开更多
关键词 基于知识的对话 知识选择 训练语言模型 条件变分自编码 注意力机制 记忆网络
在线阅读 下载PDF
预训练语言模型引入数字政府建设的风险应对——基于行政关系的视角
9
作者 曹冬英 《中南大学学报(社会科学版)》 北大核心 2025年第4期143-152,共10页
从行政主客体关系的角度来看,将预训练语言模型引入数字政府建设能够推动行政主体与相对人之间的沟通升级、促进行政行为内外流程的多维完善、提高行政决策的理性水平。在正视预训练语言模型带来的正面效能的同时,需要清醒地认识到它可... 从行政主客体关系的角度来看,将预训练语言模型引入数字政府建设能够推动行政主体与相对人之间的沟通升级、促进行政行为内外流程的多维完善、提高行政决策的理性水平。在正视预训练语言模型带来的正面效能的同时,需要清醒地认识到它可能引发的行政相对人的数据权利被侵扰、行政伦理基本原则面临挑战、行政责任主体模糊不明等风险。为了应对风险,行政主体应当以权利保障为核心落实相关法律法规、以价值理性为取向构建伦理保障机制、以权责清晰为基点优化责任结构关系。 展开更多
关键词 训练语言模型 数字政府 行政关系 ChatGPT 数字治理
在线阅读 下载PDF
玲珑:一个小规模的高质量中文预训练语言模型
10
作者 李东闻 钟震宇 +4 位作者 孙羽菲 申峻宇 马子智 于川越 张玉志 《计算机研究与发展》 北大核心 2025年第3期682-693,共12页
近年来,大规模的、基于自回归的中文预训练语言模型在各种自然语言处理任务上表现出优异性能.然而,高昂的计算成本以及基于中文词切分数据给中文预训练语言模型实际应用带来了巨大挑战.此外,大多基于自回归的模型只能使用单向前文信息,... 近年来,大规模的、基于自回归的中文预训练语言模型在各种自然语言处理任务上表现出优异性能.然而,高昂的计算成本以及基于中文词切分数据给中文预训练语言模型实际应用带来了巨大挑战.此外,大多基于自回归的模型只能使用单向前文信息,可能会导致模型在上下文敏感任务上的性能有所下降.为了解决以上问题,提出并训练了一个高质量的小型中文预训练语言模型——玲珑.该模型仅有3.17亿个参数,较小的规模使得玲珑十分容易部署和应用.使用基于汉字的策略对训练语料进行切分,可以有效减轻未知标记和分词错误带来的负面影响,增强了玲珑在下游任务上的性能.此外,通过对每条训练数据的输入顺序进行逆序处理,训练了一个反向玲珑模型.将玲珑与其反向版本相结合,可以实现在下游任务中使用双向信息.多种自然语言处理下游任务的实验结果表明,玲珑具有不错的处理下游任务的能力.在6个数据集上玲珑超越了相近规模模型的性能,在5个数据集上超越了大模型的性能. 展开更多
关键词 中文训练语言模型 小规模 基于汉字的模型 反向模型 双向信息
在线阅读 下载PDF
KAACNN:融合知识图谱和预训练模型的短文本多标签分类方法
11
作者 陶冶 徐锴 +2 位作者 刘天宇 鲁超峰 王浩杰 《中文信息学报》 北大核心 2025年第3期96-106,共11页
短文本分类是自然语言处理的重要任务之一。与段落或文档不同,短文本不完全遵循语法规则,长度短并且没有足够的上下文信息,这给短文本分类带来了很大的挑战。该文提出一种结合知识图谱和预训练语言模型的短文本分类方法,一方面使用预训... 短文本分类是自然语言处理的重要任务之一。与段落或文档不同,短文本不完全遵循语法规则,长度短并且没有足够的上下文信息,这给短文本分类带来了很大的挑战。该文提出一种结合知识图谱和预训练语言模型的短文本分类方法,一方面使用预训练语言模型提高短文本的文本表示能力;另一方面从外部知识库中检索短文本概念知识,并利用注意力机制将其与短文本结合用于分类任务。此外,针对数据集类别分布不均衡的问题,该文提出基于领域类别知识图谱的数据增强方法。在三个公共数据集和一个汽车领域客户原话数据集上进行了实验,结果表明,引入知识图谱和预训练语言模型的分类方法优于目前先进的短文本分类方法,证明了外部知识库和预训练语言模型的先验知识在短文本分类中的有效性。 展开更多
关键词 知识图谱 注意力机制 训练语言模型 数据增强 短文本分类
在线阅读 下载PDF
预训练模型在软件工程领域应用研究进展 被引量:2
12
作者 宫丽娜 周易人 +3 位作者 乔羽 姜淑娟 魏明强 黄志球 《软件学报》 北大核心 2025年第1期1-26,共26页
近年来深度学习在软件工程领域任务中取得了优异的性能.众所周知,实际任务中优异性能依赖于大规模训练集,而收集和标记大规模训练集需要耗费大量资源和成本,这限制了深度学习技术在实际任务中的广泛应用.随着深度学习领域预训练模型(pre... 近年来深度学习在软件工程领域任务中取得了优异的性能.众所周知,实际任务中优异性能依赖于大规模训练集,而收集和标记大规模训练集需要耗费大量资源和成本,这限制了深度学习技术在实际任务中的广泛应用.随着深度学习领域预训练模型(pre-trained model,PTM)的发布,将预训练模型引入到软件工程(software engineering,SE)任务中得到了国内外软件工程领域研究人员的广泛关注,并得到了质的飞跃,使得智能化软件工程进入了一个新时代.然而,目前没有研究提炼预训练模型在软件工程领域的成功和机遇.为阐明这一交叉领域的工作(pre-trained models for software engineering,PTM4SE),系统梳理当前基于预训练模型的智能软件工程相关工作,首先给出基于预训练模型的智能软件工程方法框架,其次分析讨论软件工程领域常用的预训练模型技术,详细介绍使用预训练模型的软件工程领域下游任务,并比较和分析预训练模型技术这些任务上的性能.然后详细介绍常用的训练和微调PTM的软件工程领域数据集.最后,讨论软件工程领域使用PTM面临的挑战和机遇.同时将整理的软件工程领域PTM和常用数据集发布在https://github.com/OpenSELab/PTM4SE. 展开更多
关键词 软件仓库挖掘 训练模型 程序语言模型
在线阅读 下载PDF
基于视觉-语言预训练模型的零样本迁移学习方法综述
13
作者 孙仁科 许靖昊 +2 位作者 皇甫志宇 李仲年 许新征 《计算机工程》 CAS CSCD 北大核心 2024年第10期1-15,共15页
近年来随着人工智能(AI)技术在计算机视觉与自然语言处理等单模态领域表现出愈发优异的性能,多模态学习的重要性和必要性逐渐展现出来,其中基于视觉-语言预训练模型的零样本迁移(ZST)方法得到了国内外研究者的广泛关注。得益于预训练模... 近年来随着人工智能(AI)技术在计算机视觉与自然语言处理等单模态领域表现出愈发优异的性能,多模态学习的重要性和必要性逐渐展现出来,其中基于视觉-语言预训练模型的零样本迁移(ZST)方法得到了国内外研究者的广泛关注。得益于预训练模型强大的泛化性能,使用视觉-语言预训练模型不仅能提高零样本识别任务的准确率,而且能够解决部分传统方法无法解决的零样本下游任务问题。对基于视觉-语言预训练模型的ZST方法进行概述,首先介绍了零样本学习(FSL)的传统方法,并对其主要形式加以总结;然后阐述了基于视觉-语言预训练模型的ZST和FSL的区别及其可以解决的新任务;其次介绍了基于视觉-语言预训练模型的ZST方法在样本识别、目标检测、语义分割、跨模态生成等下游任务中的应用情况;最后对现有的基于视觉-语言预训练模型的ZST方法存在的问题进行分析并对未来的研究方向进行展望。 展开更多
关键词 零样本学习 视觉-语言训练模型 零样本迁移 多模态 计算机视觉
在线阅读 下载PDF
基于预训练模型标记器重构的藏文分词系统
14
作者 杨杰 尼玛扎西 +2 位作者 仁青东主 祁晋东 才让东知 《计算机应用》 北大核心 2025年第4期1199-1204,共6页
针对现有的预训练模型在藏文分词任务中表现不佳的问题,提出一种建立重构标记器规范约束文本,随后重构藏文预训练模型的标记器以进行藏文分词任务的方法。首先,对原始文本进行规范化操作,以解决因语言混用等导致的错误切分的问题;其次,... 针对现有的预训练模型在藏文分词任务中表现不佳的问题,提出一种建立重构标记器规范约束文本,随后重构藏文预训练模型的标记器以进行藏文分词任务的方法。首先,对原始文本进行规范化操作,以解决因语言混用等导致的错误切分的问题;其次,对预训练模型进行音节粒度的标记器重构,使得切分单元与标注单元平行;最后,在利用改进的滑动窗口还原法完成黏着切分后,利用“词首、词中、词尾、孤立”(BMES)四元标注法建立Re-TiBERTBiLSTM-CRF模型,从而得到藏文分词系统。实验结果表明,重构标记器后的预训练模型在分词任务中明显优于原始预训练模型,而得到的系统拥有较高的藏文分词精确率,F1值最高可达97.15%,能够较好地完成藏文分词任务。 展开更多
关键词 藏语信息处理 藏文分词模型 训练模型 自然语言处理 标记器重构
在线阅读 下载PDF
问答式林业预训练语言模型ForestBERT 被引量:3
15
作者 谭晶维 张怀清 +2 位作者 刘洋 杨杰 郑东萍 《林业科学》 EI CAS CSCD 北大核心 2024年第9期99-110,共12页
【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策... 【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策管理提供智能化信息服务。【方法】首先,基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库,使用该语料库对通用领域预训练语言模型BERT进行继续预训练,再通过掩码语言模型和下一句预测这2个任务进行自监督学习,使BERT能够有效地学习林业语义信息,得到具有林业文本通用特征的预训练语言模型ForestBERT。然后,对预训练语言模型mT5进行微调,实现样本的自动标注,通过人工校正后,构建包含3个主题共2280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT 6个通用领域的中文预训练语言模型以及本研究构建的ForestBERT进行训练和验证,以明确ForestBERT的优势。为探究不同主题对模型性能的影响,分别基于林业术语、林业法律法规、林业文献3个主题数据集对所有模型进行微调。将ForestBERT与BERT在林业文献中的问答结果进行可视化比较,以更直观展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型,与基础模型BERT相比,精确匹配(EM)分数和F1分数分别提升1.6%和1.72%,在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下,ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%,在F1上分别优于1.88%和1.26%。此外,ForestBERT在3个林业主题上也均表现优异,术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升3.06%、1.73%、2.76%。在所有模型中,术语任务表现最佳,F1的平均值达到87.63%,表现较差的法律法规也达到82.32%。在文献抽取式问答任务中,ForestBERT相比BERT可提供更准确、全面的答案。【结论】采用继续预训练的方式增强通用领域预训练语言模型的林业专业知识,可有效提升模型在林业抽取式问答任务中的表现,为林业文本和其他领域的文本处理和应用提供一种新思路。 展开更多
关键词 林业文本 BERT 训练语言模型 特定领域训练 抽取式问答任务 自然语言处理
在线阅读 下载PDF
基于知识图谱和预训练语言模型深度融合的可解释生物医学推理 被引量:3
16
作者 徐寅鑫 杨宗保 +2 位作者 林宇晨 胡金龙 董守斌 《北京大学学报(自然科学版)》 EI CAS CSCD 北大核心 2024年第1期62-70,共9页
基于预训练语言模型(LM)和知识图谱(KG)的联合推理在应用于生物医学领域时,因其专业术语表示方式多样、语义歧义以及知识图谱存在大量噪声等问题,联合推理模型并未取得较好的效果。基于此,提出一种面向生物医学领域的可解释推理方法DF-... 基于预训练语言模型(LM)和知识图谱(KG)的联合推理在应用于生物医学领域时,因其专业术语表示方式多样、语义歧义以及知识图谱存在大量噪声等问题,联合推理模型并未取得较好的效果。基于此,提出一种面向生物医学领域的可解释推理方法DF-GNN。该方法统一了文本和知识图谱的实体表示方式,利用大型生物医学知识库构造子图并进行去噪,改进文本和子图实体的信息交互方式,增加对应文本和子图节点的直接交互,使得两个模态的信息能够深度融合。同时,利用知识图谱的路径信息对模型推理过程提供了可解释性。在公开数据集MedQA-USMLE和MedMCQA上的测试结果表明,与现有的生物医学领域联合推理模型相比,DF-GNN可以更可靠地利用结构化知识进行推理并提供解释性。 展开更多
关键词 生物医学 训练语言模型 知识图谱 联合推理
在线阅读 下载PDF
基于增强优化预训练语言模型的电力数据实体识别方法 被引量:5
17
作者 田雪涵 董坤 +1 位作者 赵剑锋 郭希瑞 《智慧电力》 北大核心 2024年第6期100-107,共8页
知识图谱可有效整合电力系统中的多源数据,提升电网的知识管理水平。针对电力文本数据集稀缺、实体类型多样、专业性强的特点,提出1种基于增强优化预训练语言模型的电力数据实体识别方法。该方法使用实体词袋替换的数据增强技术扩大原... 知识图谱可有效整合电力系统中的多源数据,提升电网的知识管理水平。针对电力文本数据集稀缺、实体类型多样、专业性强的特点,提出1种基于增强优化预训练语言模型的电力数据实体识别方法。该方法使用实体词袋替换的数据增强技术扩大原始数据集,采用增强优化预训练语言模型(RoBERTa)进行动态语义编码,利用双向长短期记忆网络(BiLSTM)和条件随机场(CRF)提取特征并优化标签。实验结果表明,该实体识别方法比传统基于深度学习的实体识别方法的平均数指标F1分数高2.17%,证实其对构建电力数据知识图谱的识别效果。 展开更多
关键词 知识图谱 实体识别 数据增强 训练语言模型 双向长短期记忆网络 条件随机场
在线阅读 下载PDF
预训练语言模型特征增强的多跳知识库问答 被引量:1
18
作者 魏谦强 赵书良 +2 位作者 卢丹琦 贾晓文 杨世龙 《计算机工程与应用》 CSCD 北大核心 2024年第22期184-196,共13页
知识库问答(knowledge base question answering,KBQA)是一个具有挑战性的热门研究方向,多跳知识库问答主要的挑战是非结构化的自然语言问题与结构化的知识库推理路径存在不一致性,基于图检索的多跳知识库问答模型善于把握图的拓扑结构... 知识库问答(knowledge base question answering,KBQA)是一个具有挑战性的热门研究方向,多跳知识库问答主要的挑战是非结构化的自然语言问题与结构化的知识库推理路径存在不一致性,基于图检索的多跳知识库问答模型善于把握图的拓扑结构,但忽略了图中结点和边携带的文本信息。为了充分学习知识库三元组的文本信息,构造了知识库三元组的文本形式,并提出了三个基于非图检索的特征增强模型RBERT、CBERT、GBERT,它们分别使用前馈神经网络、深层金字塔卷积网络、图注意力网络增强特征。三个模型显著提高了特征表示能力和问答准确率,其中RBERT结构最简单,CBERT训练最快,GBERT性能最优。在数据集MetaQA、WebQSP和CWQ上进行实验对比,在Hits@1和F1两个指标上三个模型明显优于目前的主流模型,也明显优于其他BERT的改进模型。 展开更多
关键词 多跳知识库问答 训练语言模型 特征增强
在线阅读 下载PDF
基于预训练语言模型的机器翻译最新进展 被引量:7
19
作者 杨滨瑕 罗旭东 孙凯丽 《计算机科学》 CSCD 北大核心 2024年第S01期38-45,共8页
自然语言处理涉及许多重要主题,其中之一是机器翻译。预训练语言模型,如BERT和GPT,是用于处理包括机器翻译在内的各种自然语言处理任务的先进方法。因此,许多研究人员使用预训练语言模型来解决机器翻译问题。为推动研究向前发展,首先概... 自然语言处理涉及许多重要主题,其中之一是机器翻译。预训练语言模型,如BERT和GPT,是用于处理包括机器翻译在内的各种自然语言处理任务的先进方法。因此,许多研究人员使用预训练语言模型来解决机器翻译问题。为推动研究向前发展,首先概述了这一领域的最新进展,包括主要的研究问题和基于各种预训练语言模型的解决方案;其次比较了这些解决方案的动机、共性、差异和局限性;然后总结了训练这类机器翻译模型常用的数据集,以及评估这些模型的指标;最后讨论了进一步的研究方向。 展开更多
关键词 自然语言处理 机器翻译 训练语言模型 BERT GPT
在线阅读 下载PDF
基于中文预训练语言模型的医学量表开发方法和评测指标抽取:评价研究
20
作者 郝洁 彭庆龙 +1 位作者 孙海霞 李姣 《中文信息学报》 CSCD 北大核心 2024年第11期57-69,共13页
该文旨在评估中文预训练语言模型应用在医学量表相关实体识别任务中的表现,包括开发方法和评测指标等。首先,人工标注中文护理学、肿瘤学和精神病学领域的量表开发期刊论文摘要形成CMedS-M研究数据集;然后,选取Chinese-BERT-wwm、MacBER... 该文旨在评估中文预训练语言模型应用在医学量表相关实体识别任务中的表现,包括开发方法和评测指标等。首先,人工标注中文护理学、肿瘤学和精神病学领域的量表开发期刊论文摘要形成CMedS-M研究数据集;然后,选取Chinese-BERT-wwm、MacBERT、ERNIE 3.0等预训练语言模型,实现量表开发方法和评测指标提及抽取;最后,从实体类型、学科领域和字长等视角综合分析不同模型的性能表现。CMedS-M包含自1994年至2023年共230种医学核心期刊的1589篇摘要,涵盖11441个句子和16422个实体提及。在该数据集上的实验结果表明,W2NER(MacBERT)的精确率和Macro-F_(1)值最高,分别达94.01%和95.10%;W2NER(ERNIE 3.0)召回率最高,达97.59%。所有模型在识别开发方法实体提及上的表现均略优于评测指标,在精神病学领域的表现整体低于肿瘤学和护理学,且在3~7个字长的实体提及识别上效果较佳。 展开更多
关键词 医学量表文本 命名实体识别 训练语言模型 数据集构建
在线阅读 下载PDF
上一页 1 2 18 下一页 到第
使用帮助 返回顶部