期刊文献+
共找到7篇文章
< 1 >
每页显示 20 50 100
前缀标签嵌入的参数高效微调与预测分数引导Mixup的文本分类方法
1
作者 庞宇宏 线岩团 +1 位作者 相艳 黄于欣 《微电子学与计算机》 2025年第2期31-38,共8页
文本分类旨在根据文本的特征,将其划分到一个或多个类别中。目前,在面对文本对抗攻击时,传统的深度学习模型和微调预训练语言模型往往面临着过拟合问题。由于训练数据的特定性,使得模型在处理与训练数据分布不同的对抗性样本时,无法充... 文本分类旨在根据文本的特征,将其划分到一个或多个类别中。目前,在面对文本对抗攻击时,传统的深度学习模型和微调预训练语言模型往往面临着过拟合问题。由于训练数据的特定性,使得模型在处理与训练数据分布不同的对抗性样本时,无法充分泛化,进而降低了模型在对抗性攻击场景中的鲁棒性。一些参数高效的微调方法采用轻量级的模型结构,由于相对较低的表达能力使得模型无法有效捕捉对抗性攻击的复杂特征,导致其鲁棒性差。此外,在模型分类过程中,无论是用于分类的特征向量还是起到引导作用的前缀向量,对分类结果的影响机制尚未得到清晰的认识导致模型的可解释性差。本文提出一个新的方法,将前缀标签嵌入与预训练语言模型融合,在分类层面引入标签与文本相似度的打分机制,通过预测分数引导下的Mixup,有效地挖掘与分类密切相关的特征,缓解过拟合问题,提升模型的鲁棒性。同时结合多头机制,使模型获得更加丰富的特征表达,提升模型可解释性。实验表明,该框架在保持参数高效微调前提下提高了针对4种不同类型的文本攻击的鲁棒性,同时保持了干净文本的可比准确性。 展开更多
关键词 文本分类 鲁棒性 预训练语言模型 前缀标签嵌入 Mixup数据增强 参数高效微调
在线阅读 下载PDF
基于标签嵌入的作文自动评分方法
2
作者 宋超 任鸽 +2 位作者 宋银忠 柳骏杰 杨勇 《信息技术》 2024年第4期28-35,43,共9页
目前的作文自动评分方法往往采用大型预训练模型来获取语义特征,由于预训练语料与作文领域特征不符,且对长篇作文提取特征效果不佳,因此该类方法的性能并不理想。文中提出了一种基于标签嵌入的作文自动评分方法,使用了一个改进的BiLSTM... 目前的作文自动评分方法往往采用大型预训练模型来获取语义特征,由于预训练语料与作文领域特征不符,且对长篇作文提取特征效果不佳,因此该类方法的性能并不理想。文中提出了一种基于标签嵌入的作文自动评分方法,使用了一个改进的BiLSTM网络和BERT模型来提取作文的领域特征与抽象特征,同时利用门控机制调整两者对作文评分的影响,最后经过特征融合对作文进行自动评分。实验结果表明,所提出模型在Kaggle ASAP竞赛的作文自动评分数据集上性能显著提升,平均QWK值达到81.22%,验证了标签嵌入方法在作文自动评分任务中的有效性。 展开更多
关键词 计算机应用技术 预训练嵌入 标签嵌入 特征融合 自然语言处理
在线阅读 下载PDF
基于多种输出嵌入结合的无标签图像分类
3
作者 何琪 卢建军 刘志鹏 《电视技术》 北大核心 2016年第9期132-136,共5页
利用多种输出嵌入相结合的方法,改善无标签图像的分类性能。以边信息作为标签嵌入,用图像特征作为输入嵌入,在标签嵌入和输入嵌入之间构建一个联合兼容函数,建立结构化联合嵌入框架。通过调整联合嵌入的权重矩阵,使兼容函数取得最大值,... 利用多种输出嵌入相结合的方法,改善无标签图像的分类性能。以边信息作为标签嵌入,用图像特征作为输入嵌入,在标签嵌入和输入嵌入之间构建一个联合兼容函数,建立结构化联合嵌入框架。通过调整联合嵌入的权重矩阵,使兼容函数取得最大值,据此确定图像的分类。借助两个数据集进行的验证,实验结果显示,多种输出嵌入结合的图像分类方法准确率优于单输出嵌入的图像分类方法。 展开更多
关键词 图像分类 标签嵌入 输出嵌入
在线阅读 下载PDF
基于标签语义匹配融合的多标签文本分类方法 被引量:1
4
作者 文勇军 刘随缘 崔志豪 《湘潭大学学报(自然科学版)》 CAS 2024年第3期82-93,共12页
针对当前多标签文本分类研究中存在的文本有效信息提取不充分、标签间的相关性被忽略、文本对标签的语义关注挖掘、利用不足的问题,该文提出了一种基于标签语义匹配融合的多标签文本分类方法.首先,利用DeBERTa模型来计算细粒度为单词级... 针对当前多标签文本分类研究中存在的文本有效信息提取不充分、标签间的相关性被忽略、文本对标签的语义关注挖掘、利用不足的问题,该文提出了一种基于标签语义匹配融合的多标签文本分类方法.首先,利用DeBERTa模型来计算细粒度为单词级的文本表示;同时,根据标签全局共现构建标签图数据,利用图注意力网络自动学习不同标签之间的关联程度,生成捕获了标签间结构信息与深层相关性的标签特征嵌入;然后,提出了一种基于标签语义匹配的嵌入融合机制建模文本对标签的语义关注,体现了两者的语义关联,并将获得的基于标签语义匹配嵌入的单词融合表示送入CNN中进行特征交互,最终实现标签预测.在AAPD与RCV1-V2这两个公开英文数据集上的实验结果表明,该文所提出的模型性能明显优于其他主流基线模型. 展开更多
关键词 标签文本分类 DeBERTa 图注意力网络GAT 标签语义嵌入
在线阅读 下载PDF
融合双通道标签语义的多标签文本分类模型
5
作者 冯心昊 吕学强 +2 位作者 马登豪 滕尚志 田晶晶 《北京信息科技大学学报(自然科学版)》 2024年第4期49-54,共6页
针对多标签文本分类任务中的标签语义表示,提出了一种双通道标签语义增强模型。该模型包含2个重要的组成模块:基于标签共现的图卷积网络模块和基于预训练的标签语义嵌入模块。前者利用图卷积网络捕获标签之间的语义关联,增强每个标签的... 针对多标签文本分类任务中的标签语义表示,提出了一种双通道标签语义增强模型。该模型包含2个重要的组成模块:基于标签共现的图卷积网络模块和基于预训练的标签语义嵌入模块。前者利用图卷积网络捕获标签之间的语义关联,增强每个标签的语义信息;后者利用预训练模型中的先验知识,增强标签的语义表示。最后,利用注意力机制融合并深度编码来自双通道的标签语义信息。在2个公开数据集AAPD、RCV1-V2上的多标签文本分类实验结果表明:与主流基线方法相比,该方法的精确率、召回率和微F1(Micro-F1)均有显著提升。 展开更多
关键词 标签文本分类 标签语义嵌入 预训练语言模型 图卷积网络
在线阅读 下载PDF
引入标签语义信息的多标签文本分类 被引量:2
6
作者 张万杰 《信息技术与信息化》 2021年第8期8-11,共4页
针对当前多标签文本分类模型在标签语义信息利用过程中存在文本特征提取不充分、文本特征信息丢失的问题,提出了一种改进标签语义信息嵌入的多标签文本分类模型(label embedding multi label text classifi cation,LEMLTC)。首先利用BER... 针对当前多标签文本分类模型在标签语义信息利用过程中存在文本特征提取不充分、文本特征信息丢失的问题,提出了一种改进标签语义信息嵌入的多标签文本分类模型(label embedding multi label text classifi cation,LEMLTC)。首先利用BERT将待分类文本和标签嵌入成向量,接着将标签向量和文本向量做点乘,然后通过一个注意力层生成文本的注意力向量,从而对文本向量加权,最后通过全连接网络实现多标签文本分类。在AAPD和Reuters-21578数据集上进行实验,F1值分别提高了3.92%和0.3%,证明了该模型在多标签文本分类任务的有效性。 展开更多
关键词 标签文本分类 标签信息嵌入 BERT
在线阅读 下载PDF
基于SQLite+HTML5 Canvas的动态图形输出嵌入式Web服务
7
作者 穆红显 刘亮 赵汝峰 《现代信息科技》 2020年第16期78-81,共4页
针对嵌入式Web服务器对资源和数据处理能力有限的特点,为了解决在嵌入式Web中输出如折线图等具有交互能力的动态图形问题,首先分析了FLASH、VML、SVG以及Java Applet等技术的不足,提出一种基于HTML5 Canvas绘制动态图形的瘦服务器思想,... 针对嵌入式Web服务器对资源和数据处理能力有限的特点,为了解决在嵌入式Web中输出如折线图等具有交互能力的动态图形问题,首先分析了FLASH、VML、SVG以及Java Applet等技术的不足,提出一种基于HTML5 Canvas绘制动态图形的瘦服务器思想,通过CGI程序与SQLite数据库交互实现图形的动态输出,并给出实例验证,为基于嵌入式Web服务器的动态图形输出提供一种解决思路。 展开更多
关键词 嵌入式Web Canvas标签 SQLITE数据库 动态图形 瘦服务器
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部