-
题名知识增强的BERT短文本分类算法
被引量：3
- 1
-
-
作者
傅薛林
金红
郑玮浩
张奕
陶小梅
-
机构
桂林理工大学信息科学与工程学院
桂林理工大学广西嵌入式技术与智能系统重点实验室
广西师范大学计算机科学与工程学院/软件学院
-
出处
《计算机工程与设计》
北大核心
2024年第7期2027-2033,共7页
-
基金
国家自然科学基金青年科学基金项目(61906051)
广西科技计划基金项目(2020GXNSFAA297255)。
-
文摘
为解决短文本信息不全且缺乏领域知识导致关键信息难以充分挖掘而造成的深度学习模型分类性能不足等问题,提出一种知识增强的双向编码器表示转换器(BERT)短文本分类算法(KE-BERT)。提出一种建模短文本与领域知识的方法,通过知识图谱进行领域知识的引入;提出一种知识适配器,通过知识适配器在BERT的各个编码层之间进行知识增强。通过在公开的短文本数据集上,将KE-BERT与其它深度学习模型相比较,该模型的F1均值和准确率均值达到93.46%和91.26%,结果表明了所提模型性能表现良好。
-
关键词
短文本分类
深度学习
双向编码器表示转换器
知识图谱
领域知识
知识适配器
知识增强
-
Keywords
short text classification
deep learning
bidirectional encoder representation from transformers
knowledge graph
domain knowledge
knowledge adapter
enhance knowledge
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多尺度注意残差网络的地震波形分类研究
被引量：2
- 2
-
-
作者
王梦琪
黄汉明
吴业正
王鹏飞
-
机构
广西师范大学计算机科学与工程学院/软件学院
-
出处
《地震工程学报》
CSCD
北大核心
2024年第3期724-733,共10页
-
基金
国家自然科学基金(41264001)
专项资金(075440)
广西重点研发计划(桂科AB18126045)。
-
文摘
选用2010年2月—2016年12月发生在北京顺义及河北三河等首都圈邻近区域的117个地震事件(包括54个天然地震事件和63个非天然地震事件——爆炸事件)作为研究对象,利用文章所提出的多尺度注意残差网络对其中的天然地震事件和爆炸事件波形进行二分类。首先,对原始地震波形进行简单预处理并截取成相同长度的地震时序数据,直接将其作为网络模型的输入;其次,选用含有残差模块的深度神经网络作为基础网络,利用深度神经网络对特征的自动提取能力,省略了传统波形分类需要提前提取时域波形的特征作为分类算法输入的步骤;然后,融合通道注意力机制(ECA)并对其进行改进,将空间维度的信息融入通道信息,优化了网络对关键信息的关注,更好地聚焦重要特征;最后,使用空间金字塔池化代替最大池化进行多尺度特征融合,得到更多的特征信息,构成多尺度注意残差网络。实验结果表明,最高分类准确率为97.11%,平均分类准确率为96.53%,证明了多尺度注意残差网络在地震波形分类任务中的有效性,为震源类型识别工作提供了一种新的方法。
-
关键词
天然地震
人工爆炸
残差模块
注意力机制
空间金字塔池化
-
Keywords
earthquakes
explosion
residual module
attention mechanism
spatial pyramid pooling
-
分类号
P315
[天文地球—地震学]
-
-
题名基于改进遗传算法的广度架构搜索算法
被引量：1
- 3
-
-
作者
林东凤
黄汉明
沈俏
-
机构
广西师范大学计算机科学与工程学院/软件学院
广西师范大学、广西多源信息挖掘与安全重点实验室
广西师范大学教育区块链与智能技术教育部重点实验室
-
出处
《计算机工程与设计》
北大核心
2024年第12期3667-3673,共7页
-
基金
广西重点研发计划基金项目(桂科AB18126045)
广西多源信息挖掘与安全重点实验室系统性研究课题基金项目。
-
文摘
为扩大遗传算法产生的子代种群和亲代种群间的差异,提出一种搜索算法,即广度单路径架构搜索算法。该方法将搜索过程分为两个阶段,第一阶段为扩张,使用一种新的交叉算子以及停滞检测算法增大子代种群和亲代种群间的差距,扩大搜索范围;第二阶段为收缩,使用前一阶段获得的若干个体,采用单点交叉做搜索,保证搜索的稳定性,得到最终的结果。在4个数据集上的实验结果表明,该算法搜索出的最优网络与手工设计的神经网络和基于传统遗传算法的神经架构搜索方法相比,能获得有竞争力的结果。
-
关键词
神经架构搜索
遗传算法
进化计算
均匀训练
卷积神经网络
停滞检测
图像分类
-
Keywords
neural architecture search
genetic algorithm
evolutionary computation
uniform training
convolutional neural network
stagnation detection
image classification
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于预训练语言模型的机器翻译最新进展
被引量：7
- 4
-
-
作者
杨滨瑕
罗旭东
孙凯丽
-
机构
广西师范大学计算机科学与工程学院/软件学院
教育区块链与智能技术教育部重点实验室
广西多源信息挖掘与安全重点实验室
-
出处
《计算机科学》
CSCD
北大核心
2024年第S01期38-45,共8页
-
基金
广西多源信息挖掘与安全重点实验室系统性研究课题基金项目(22-A-01-02)。
-
文摘
自然语言处理涉及许多重要主题,其中之一是机器翻译。预训练语言模型,如BERT和GPT,是用于处理包括机器翻译在内的各种自然语言处理任务的先进方法。因此,许多研究人员使用预训练语言模型来解决机器翻译问题。为推动研究向前发展,首先概述了这一领域的最新进展,包括主要的研究问题和基于各种预训练语言模型的解决方案;其次比较了这些解决方案的动机、共性、差异和局限性;然后总结了训练这类机器翻译模型常用的数据集,以及评估这些模型的指标;最后讨论了进一步的研究方向。
-
关键词
自然语言处理
机器翻译
预训练语言模型
BERT
GPT
-
Keywords
Natural language processing
Machine translation
Pre-trained language model
BERT
GPT
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于双注意力模型和迁移学习的Apex帧微表情识别
被引量：4
- 5
-
-
作者
徐玮
郑豪
杨种学
-
机构
广西师范大学计算机科学与工程学院/软件学院
南京晓庄学院信息工程学院
-
出处
《智能系统学报》
CSCD
北大核心
2021年第6期1015-1020,共6页
-
基金
国家自然科学基金项目(61976118)
江苏省“六大人才高峰”高层次人才项目(RJFW-038)。
-
文摘
微表情具有持续时间短、强度低的特点,其识别准确率普遍不高。针对该问题提出了一种改进的深度学习识别方法,该方法取微表情视频序列中的Apex帧,采用集成空间、通道双注意力模块的ResNet18网络,引入Focal Loss函数解决微表情数据样本不平衡的问题,并将宏表情识别领域的先验知识迁移到微表情识别领域,以提高识别效果。在CASME II微表情数据集上使用"留一交叉验证法"进行实验,结果表明本文方法相比一些现有的方法识别准确率及F_(1)值更高。
-
关键词
微表情识别
深度学习
Apex帧
双注意力模型
ResNet18网络
Focal
Loss函数
宏表情
迁移学习
-
Keywords
microexpression recognition
deep learning
Apex frame
dual attention model
ResNet18 network
Focal Loss function
macroexpression
transfer learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名预训练语言模型的应用综述
被引量：17
- 6
-
-
作者
孙凯丽
罗旭东
罗有容
-
机构
广西多源信息挖掘与安全重点实验室
广西师范大学计算机科学与工程学院/软件学院
剑桥大学伊曼纽尔学院
-
出处
《计算机科学》
CSCD
北大核心
2023年第1期176-184,共9页
-
基金
广西多源信息挖掘与安全重点实验室系统性研究课题(22-A-01-02)。
-
文摘
近年来,预训练语言模型发展迅速,将自然语言处理推到了一个全新的发展阶段。文中的综述旨在帮助研究人员了解强大的预训练语言模型在何处以及如何应用于自然语言处理。具体来讲,首先简要回顾了典型的预训练模型,包括单语言预训练模型、多语言预训练模型以及中文预训练模型;然后讨论了这些预训练模型对5个不同的自然语言处理任务的贡献,即信息提取、情感分析、问答系统、文本摘要和机器翻译;最后讨论了预训练模型的应用所面临的一些挑战。
-
关键词
预训练语言模型
自然语言处理
深度学习
信息提取
情感分析
问答系统
文本摘要
机器翻译
-
Keywords
Pretrained language model
Natural language process
Deep learning
Information extraction
Sentiment analysis
Question answering system
Text summarization
Machine translation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
