期刊文献+
共找到7篇文章
< 1 >
每页显示 20 50 100
基于ALBERT-UniLM模型的文本自动摘要技术研究 被引量:6
1
作者 孙宝山 谭浩 《计算机工程与应用》 CSCD 北大核心 2022年第15期184-190,共7页
任务中的生成式摘要模型对原文理解不充分且容易生成重复文本等问题,提出将词向量模型ALBERT与统一预训练模型UniLM相结合的算法,构造出一种ALBERT-UniLM摘要生成模型。该模型采用预训练动态词向量ALBERT替代传统的BERT基准模型进行特... 任务中的生成式摘要模型对原文理解不充分且容易生成重复文本等问题,提出将词向量模型ALBERT与统一预训练模型UniLM相结合的算法,构造出一种ALBERT-UniLM摘要生成模型。该模型采用预训练动态词向量ALBERT替代传统的BERT基准模型进行特征提取获得词向量。利用融合指针网络的UniLM语言模型对下游生成任务微调,结合覆盖机制来降低重复词的生成并获取摘要文本。实验以ROUGE评测值作为评价指标,在2018年CCF国际自然语言处理与中文计算会议(NLPC-C2018)单文档中文新闻摘要评价数据集上进行验证。与BERT基准模型相比,ALBERT-UniLM模型的Rouge-1、Rouge-2和Rouge-L指标分别提升了1.57%、1.37%和1.60%。实验结果表明,提出的ALBERT-UniLM模型在文本摘要任务上效果明显优于其他基准模型,能够有效提高文本摘要的生成质量。 展开更多
关键词 自然语言处理 预训练语言模型 albert模型 UniLM模型 生成式摘要
在线阅读 下载PDF
基于ALBERT预训练模型的事件抽取技术研究 被引量:3
2
作者 杜洁 骆力明 孙众 《计算机工程与科学》 CSCD 北大核心 2023年第4期711-717,共7页
信息抽取技术用于从非结构化文本数据中提取关注度较高的信息。事件抽取技术是信息抽取研究领域中具有挑战的研究方向。事件抽取的目的是从非结构化文本数据中抽取描述事件的关键元素,并以结构化的方式呈现。事件抽取被看作序列标注任务... 信息抽取技术用于从非结构化文本数据中提取关注度较高的信息。事件抽取技术是信息抽取研究领域中具有挑战的研究方向。事件抽取的目的是从非结构化文本数据中抽取描述事件的关键元素,并以结构化的方式呈现。事件抽取被看作序列标注任务,首先采用ALBERT预训练模型学习特征,其次引入条件随机场CRF模型提高序列标注性能,最后完成事件类型以及事件要素的识别分类。在ACE2005标准语料库上的实验结果表明,与现有模型相比,ALBERT-CRF模型在触发词识别和分类任务上的召回率和F值均有所提高。 展开更多
关键词 事件抽取 序列标注 albert模型 条件随机场模型
在线阅读 下载PDF
融合 Albert 模型的珍稀濒危植物知识图谱的构建 被引量:5
3
作者 田梦晖 陈明 席晓桃 《湖南农业大学学报(自然科学版)》 CAS CSCD 北大核心 2023年第5期616-623,共8页
针对珍稀濒危植物形态特征、分类等级、濒危系数、保护措施等知识不明确的问题,设计了文本融合轻量级双向转换编码表示模型(Albert)的知识抽取模型框架,实现批量抽取珍稀濒危植物知识,从而构建珍稀濒危植物知识图谱:1)在现存一般性植物... 针对珍稀濒危植物形态特征、分类等级、濒危系数、保护措施等知识不明确的问题,设计了文本融合轻量级双向转换编码表示模型(Albert)的知识抽取模型框架,实现批量抽取珍稀濒危植物知识,从而构建珍稀濒危植物知识图谱:1)在现存一般性植物本体的基础上,采用自顶向下的方式构建珍稀濒危植物本体,得到5个体系,即物种分类体系、生长形态特征体系、命名体系、保护现状体系和生态习性体系;2)采取Albert预训练模型来增强下游任务模型输入向量的珍稀濒危植物属性描述文本语义的表征能力;3)利用BiLSTM–CRF模型和BiGRU–Attention模型分别实现命名实体识别和关系抽取。在珍稀濒危植物数据测试集上对模型的有效性进行验证,结果表明,命名实体识别模型和关系抽取模型的召回率和准确率的调和平均值(F1)值分别达到98.07%和93.76%,将得到的大量的实体和关系所形成的三元组存储在图数据库Neo4j中,完成珍稀濒危植物知识图谱的可视化展示。 展开更多
关键词 珍稀濒危植物 albert模型 知识图谱 本体 命名实体识别 关系抽取
在线阅读 下载PDF
基于ALBERT动态词向量的垃圾邮件过滤模型 被引量:4
4
作者 周枝凝 王斌君 +1 位作者 翟一鸣 仝鑫 《信息网络安全》 CSCD 北大核心 2020年第9期107-111,共5页
针对垃圾邮件分类问题中词向量学习不充分的问题,文章引入ALBERT动态词向量生成模型,并提出一种将ALBERT动态词向量与循环神经网络相结合的ALBERT-RNN模型。利用公开的垃圾邮件数据集(TEC06C),对传统统计学模型与4种不同RNN结构的ALBERT... 针对垃圾邮件分类问题中词向量学习不充分的问题,文章引入ALBERT动态词向量生成模型,并提出一种将ALBERT动态词向量与循环神经网络相结合的ALBERT-RNN模型。利用公开的垃圾邮件数据集(TEC06C),对传统统计学模型与4种不同RNN结构的ALBERT-RNN模型进行了对比实验,并用Focal Loss方法对交叉熵损失函数进行了优化。实验结果表明,使用Focal Loss优化的ALBERT-LSTM模型在TEC06C数据集上达到了较高的准确率(99.13%)。 展开更多
关键词 中文垃圾邮件 循环神经网络 albert模型 动态词向量
在线阅读 下载PDF
融合主题特征的文本情感分析模型 被引量:3
5
作者 杨俊哲 宋莹 陈逸菲 《计算机科学》 CSCD 北大核心 2024年第S01期159-166,共8页
随着大型语言模型的快速发展,如何在保证模型性能的同时减少模型参数量,成为了自然语言处理领的一个重要挑战。然而,现有的参数压缩技术往往难以兼顾模型的稳定性和泛化能力。为此,提出了一种融合主题特征的情感分析新架构,旨在利用主... 随着大型语言模型的快速发展,如何在保证模型性能的同时减少模型参数量,成为了自然语言处理领的一个重要挑战。然而,现有的参数压缩技术往往难以兼顾模型的稳定性和泛化能力。为此,提出了一种融合主题特征的情感分析新架构,旨在利用主题信息增强模型对文本情感极性的判断能力。具体而言,采用一种结合LDA和K-means的方法来提取文本的主题特征,并将其作为固定维度的向量与词嵌入进行拼接,得到新的词向量表示。随后使用平均池化技术构建句子级别的表征向量,并输入到一个全连接层进行情感分类。为了验证所提模型的有效性,在公开的情感分析数据集上与多个基准算法进行了对比实验。实验结果表明,所提模型在多个数据集上明显优于ALBERT,准确率提高了约3.5%,在参数量仅有微小增加的情况下维持了较高的稳定性和泛化能力。 展开更多
关键词 情感分析 albert模型 LDA模型 主题特征 平均池化
在线阅读 下载PDF
基于混合深度学习算法的工程规范知识抽取
6
作者 邓旭方 成飞 +3 位作者 吕沅庚 邓伦 刘乐平 封婧仪 《水利水电技术(中英文)》 北大核心 2025年第S1期76-84,共9页
工程规范是工程建设过程中常用的重要标准文件之一。面对这些非结构化工程规范文本,高效、准确地从中抽取相关知识,并将这些知识以可视化形式呈现,对于提高知识的利用效率、提升管理人员对工程规范文本的理解效率有着重要的作用。针对... 工程规范是工程建设过程中常用的重要标准文件之一。面对这些非结构化工程规范文本,高效、准确地从中抽取相关知识,并将这些知识以可视化形式呈现,对于提高知识的利用效率、提升管理人员对工程规范文本的理解效率有着重要的作用。针对典型的工程规范文本,提出一种基于深度学习的工程规范知识抽取方法,融合ALBERT(A Lite Bidirectional Encoder Representation from Transformers)、BiLSTM(Bi-directional Long Shot-Term Memory)和CRF(Conditional Random Fields),建立工程规范实体识别模型,增强文本语义特征,获得工程规范中的实体;融合Attention机制和BiLSTM提取工程规范中的关系,根据所提取出的知识构建工程规范知识图谱。以《给水排水管道工程施工及验收规范》为典型实例对该方法进行了验证,结果表明,工程规范实体识别的F1值为78.18%,优于传统模型;关系抽取的F1值为98.35%。利用所抽取知识建立了工程规范知识图谱,通过基于知识图谱的全局信息展示、特定信息检索,提升工程规范的利用效率,辅助工程现场施工。 展开更多
关键词 工程规范 知识抽取 albert预训练模型 BiLSTM CRF 注意力机制
在线阅读 下载PDF
跨度语义增强的命名实体识别方法 被引量:4
7
作者 耿汝山 陈艳平 +3 位作者 唐瑞雪 黄瑞章 秦永彬 董博 《西安交通大学学报》 EI CAS CSCD 北大核心 2022年第7期118-126,共9页
针对命名实体识别方法存在字与字之间语义信息丢失、模型召回率不佳等问题,提出了一种跨度语义信息增强的命名实体识别方法。首先,使用ALBERT预训练语言模型提取文本中包含上下文信息的字符向量,并使用GloVe模型生成字符向量;其次,将两... 针对命名实体识别方法存在字与字之间语义信息丢失、模型召回率不佳等问题,提出了一种跨度语义信息增强的命名实体识别方法。首先,使用ALBERT预训练语言模型提取文本中包含上下文信息的字符向量,并使用GloVe模型生成字符向量;其次,将两种向量进行拼接作为模型输入向量,对输入向量进行枚举拼接形成跨度信息矩阵;然后,使用多维循环神经网络和注意力网络对跨度信息矩阵进行运算,增强跨度之间的语义联系;最后,将跨度信息增强后的矩阵进行跨度分类以识别命名实体。实验表明:与传统的跨度方法相比该方法能够有效增强跨度之间的语义依赖特征,从而提升命名实体识别的召回率;该方法在ACE2005英文数据集上比传统的方法召回率提高了0.42%,并且取得了最高的F1值。 展开更多
关键词 命名实体识别 跨度语义增强 多维循环神经网络 albert预训练语言模型
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部