期刊文献+
共找到10篇文章
< 1 >
每页显示 20 50 100
双向长短时记忆模型训练中的空间平滑正则化方法研究 被引量:3
1
作者 李文洁 葛凤培 +1 位作者 张鹏远 颜永红 《电子与信息学报》 EI CSCD 北大核心 2019年第3期544-550,共7页
双向长短时记忆模型(BLSTM)由于其强大的时间序列建模能力,以及良好的训练稳定性,已经成为语音识别领域主流的声学模型结构。但是该模型结构拥有更大计算量以及参数数量,因此在神经网络训练的过程当中很容易过拟合,进而无法获得理想的... 双向长短时记忆模型(BLSTM)由于其强大的时间序列建模能力,以及良好的训练稳定性,已经成为语音识别领域主流的声学模型结构。但是该模型结构拥有更大计算量以及参数数量,因此在神经网络训练的过程当中很容易过拟合,进而无法获得理想的识别效果。在实际应用中,通常会使用一些技巧来缓解过拟合问题,例如在待优化的目标函数中加入L2正则项就是常用的方法之一。该文提出一种空间平滑的方法,把BLSTM模型激活值的向量重组成一个2维图,通过滤波变换得到它的空间信息,并将平滑该空间信息作为辅助优化目标,与传统的损失函数一起,作为优化神经网络参数的学习准则。实验表明,在电话交谈语音识别任务上,这种方法相比于基线模型取得了相对4%的词错误率(WER)下降。进一步探索了L2范数正则技术和空间平滑方法的互补性,实验结果表明,同时应用这2种算法,能够取得相对8.6%的WER下降。 展开更多
关键词 语音信号处理 空间平滑 双向长短时记忆模型(LSTM) 正则化 过拟合
在线阅读 下载PDF
一种基于双向LSTM的联合学习的中文分词方法 被引量:10
2
作者 章登义 胡思 徐爱萍 《计算机应用研究》 CSCD 北大核心 2019年第10期2920-2924,共5页
针对现有的基于深度学习的神经网络模型通常都是对单一的语料库进行训练学习,提出了一种大规模的多语料库联合学习的中文分词方法。语料库分别为简体中文数据集(PKU、MSRA、CTB6)和繁体中文数据集(CITYU、AS),每一个数据集输入语句的句... 针对现有的基于深度学习的神经网络模型通常都是对单一的语料库进行训练学习,提出了一种大规模的多语料库联合学习的中文分词方法。语料库分别为简体中文数据集(PKU、MSRA、CTB6)和繁体中文数据集(CITYU、AS),每一个数据集输入语句的句首和句尾分别添加一对标志符。应用BLSTM(双向长短时记忆模型)和CRF(条件随机场模型)对数据集进行单独训练和多语料库共同训练的实验,结果表明大规模的多语料库共同学习训练能取得良好的分词效果。 展开更多
关键词 中文分词 大规模语料库 联合学习 双向长短时记忆模型
在线阅读 下载PDF
基于BiLSTM模型的定义抽取方法 被引量:9
3
作者 阳萍 谢志鹏 《计算机工程》 CAS CSCD 北大核心 2020年第3期40-45,共6页
定义抽取是从非结构化文本中自动识别定义句的任务,定义抽取问题可建模为句子中术语及相应定义的序列标注问题,并利用标注结果完成抽取任务。针对传统的定义抽取方法在抽取定义特征过程中费时且容易造成错误传播的不足,提出一个基于双... 定义抽取是从非结构化文本中自动识别定义句的任务,定义抽取问题可建模为句子中术语及相应定义的序列标注问题,并利用标注结果完成抽取任务。针对传统的定义抽取方法在抽取定义特征过程中费时且容易造成错误传播的不足,提出一个基于双向长短时记忆(BiLSTM)的序列标注神经网络模型,对输入文本进行自动化定义抽取。通过将原始数据输入到BiLSTM神经网络中,完成输入句的特征表示,并采用基于LSTM的解码器进行解码得到标注结果。在Wikipedia英文数据集上的实验结果表明,该方法的精确率、召回率和F1值分别为94.21%、90.10%和92.11%,有效提升了基准模型效果。 展开更多
关键词 定义抽取 双向长短时记忆模型 序列标注 LSTM模型 深度神经网络
在线阅读 下载PDF
基于自适应帧采样算法和BLSTM的视频转文字研究 被引量:1
4
作者 张荣锋 宁培阳 +2 位作者 肖焕侯 史景伦 邱威 《华南理工大学学报(自然科学版)》 EI CAS CSCD 北大核心 2018年第1期103-111,共9页
针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有... 针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有效学习视频中前面帧和未来帧的相关信息;同时,用于训练的特征是来自深度卷积神经网络的特征,使得这种双深度的网络结构能够学习视频帧在时空上的关联表示及全局依赖信息;帧信息的融合又增加了特征的种类,从而提升了实验效果.结果显示,在M-VAD和MPIIMD两个数据集中,文中的方法在METEOR中的评分均值分别为7.8%和8.6%,相对原S2VT模型分别提高了16.4%和21.1%,也提升了视频转文字的语言效果. 展开更多
关键词 视频转文字 自适应帧采样 双向长短时记忆模型 深度卷积神经网络 帧信息的融合
在线阅读 下载PDF
基于连续语音识别技术的猪连续咳嗽声识别 被引量:24
5
作者 黎煊 赵建 +3 位作者 高云 刘望宏 雷明刚 谭鹤群 《农业工程学报》 EI CAS CSCD 北大核心 2019年第6期174-180,共7页
针对现有基于孤立词识别技术的猪咳嗽声识别存在识别声音种类有限,无法反映实际患病猪连续咳嗽的问题,该文提出了基于双向长短时记忆网络-连接时序分类模型(birectional long short-termmemory-connectionist temporal classification,B... 针对现有基于孤立词识别技术的猪咳嗽声识别存在识别声音种类有限,无法反映实际患病猪连续咳嗽的问题,该文提出了基于双向长短时记忆网络-连接时序分类模型(birectional long short-termmemory-connectionist temporal classification,BLSTM-CTC)构建猪声音声学模型,进行猪场环境猪连续咳嗽声识别的方法,以此进行猪早期呼吸道疾病的预警和判断。研究了体质量为75 kg左右长白猪单个咳嗽声样本的持续时间长度和能量大小的时域特征,构建了声音样本持续时间在0.24~0.74 s和能量大于40.15 V^2·s的阈值范围。在此阈值范围内,利用单参数双门限端点检测算法对基于多窗谱的心理声学语音增强算法处理后的30 h猪场声音进行检测,得到222段试验语料。将猪场环境下的声音分为猪咳嗽声和非猪咳嗽声,并以此作为声学模型建模单元,进行语料的标注。提取26维梅尔频率倒谱系数(Mel frequency cepstral coefficients,MFCC)作为试验语段特征参数。通过BLSTM网络学习猪连续声音的变化规律,并利用CTC实现了端到端的猪连续声音识别系统。5折交叉验证试验平均猪咳嗽声识别率达到92.40%,误识别率为3.55%,总识别率达到93.77%。同时,以数据集外1 h语料进行了算法应用测试,得到猪咳嗽声识别率为94.23%,误识别率为9.09%,总识别率为93.24%。表明基于连续语音识别技术的BLSTM-CTC猪咳嗽声识别模型是稳定可靠的。该研究可为生猪健康养殖过程中猪连续咳嗽声的识别和疾病判断提参考。 展开更多
关键词 信号处理 声音信号 识别 生猪产业 连续咳嗽声 双向长短记忆网络-连接序分类模型 声学模型
在线阅读 下载PDF
基于BERT-BiLSTM-CRF的中文分词和词性标注联合方法 被引量:13
6
作者 袁里驰 《小型微型计算机系统》 CSCD 北大核心 2023年第9期1906-1911,共6页
针对中文分词、词性标注等序列标注任务,本文提出了结合BERT语言模型、BiLSTM(双向长短时记忆模型)、CRF(条件随机场模型)和马尔可夫族模型(MFM)或树形概率(TLP)构建的中文分词和词性标注联合方法.隐马尔可夫(HMM)词性标注方法忽略了词... 针对中文分词、词性标注等序列标注任务,本文提出了结合BERT语言模型、BiLSTM(双向长短时记忆模型)、CRF(条件随机场模型)和马尔可夫族模型(MFM)或树形概率(TLP)构建的中文分词和词性标注联合方法.隐马尔可夫(HMM)词性标注方法忽略了词本身到词性的发射概率,而在利用树形概率或马尔可夫族统计模型的词性标记中,一个词的词性不仅和该词前一个词的词性关联,且与该词自身关联.使用联合方法有助于使用词性信息帮助分词,将两者紧密结合能够帮助消除歧义和改进分词、词性标记的性能.实验结果表明本文使用的中文分词和词性标注联合方法与普通的BiLSTM-CRF分词算法相比,可以明显提升分词性能,而且相比于通常的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率. 展开更多
关键词 BERT 双向长短时记忆模型 中文分词 词性标注 马尔可夫族模型 树形概率
在线阅读 下载PDF
基于BiLSTM-CRF的中文分词和词性标注联合方法 被引量:10
7
作者 袁里驰 《中南大学学报(自然科学版)》 EI CAS CSCD 北大核心 2023年第8期3145-3153,共9页
针对中文分词、词性标注等序列标注任务,提出结合双向长短时记忆模型、条件随机场模型和马尔可夫族模型或树形概率构建的中文分词和词性标注联合方法。隐马尔可夫词性标注方法忽略了词本身到词性的发射概率。在基于马尔可夫族模型或树... 针对中文分词、词性标注等序列标注任务,提出结合双向长短时记忆模型、条件随机场模型和马尔可夫族模型或树形概率构建的中文分词和词性标注联合方法。隐马尔可夫词性标注方法忽略了词本身到词性的发射概率。在基于马尔可夫族模型或树形概率的词性标注中,当前词的词性不但与前面词的词性有关,而且与当前词本身有关。使用联合方法有助于使用词性标注信息实现分词,有机地将两者结合起来有利于消除歧义和提高分词、词性标注任务的准确率。实验结果表明:本文使用的中文分词和词性标注联合方法相比于通常的双向长短时记忆模型−条件随机场分词模型能够大幅度提高分词的准确率,并且相比于传统的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率。 展开更多
关键词 双向长短时记忆模型 中文分词 词性标注 马尔可夫族模型 树形概率
在线阅读 下载PDF
基于Bi-LSTM和自注意力的恶意代码检测方法 被引量:12
8
作者 唐永旺 刘欣 《计算机应用与软件》 北大核心 2021年第3期327-333,共7页
针对当前恶意代码检测方法严重依赖人工提取特征和无法提取恶意代码深层特征的问题,提出一种基于双向长短时记忆(Bidirectional Long Short Term Memory,Bi-LSTM)模型和自注意力的恶意代码检测方法。采用Bi-LSTM自动学习恶意代码样本字... 针对当前恶意代码检测方法严重依赖人工提取特征和无法提取恶意代码深层特征的问题,提出一种基于双向长短时记忆(Bidirectional Long Short Term Memory,Bi-LSTM)模型和自注意力的恶意代码检测方法。采用Bi-LSTM自动学习恶意代码样本字节流序列,输出各时间步的隐状态;利用自注意力机制计算各时间步隐状态的线性加权和作为序列的深层特征;通过全连接神经网络层和Softmax层输出深层特征的预测概率。实验结果表明该方法切实可行,相较于次优结果,准确率提高了12.32%,误报率降低了66.42%。 展开更多
关键词 双向长短时记忆模型 自注意力 深层特征 隐状态 恶意代码检测
在线阅读 下载PDF
自注意力机制的短文本分类算法 被引量:7
9
作者 姚苗 杨文忠 +1 位作者 袁婷婷 马国祥 《计算机工程与设计》 北大核心 2020年第6期1592-1598,共7页
分析目前的短文本分类算法没有综合考虑文本中隐含的依赖关系和局部关键信息这一问题,提出基于自注意力机制(self-attention mechanism)的堆叠双向长短时记忆网络(stack bidirectional long short term memory)模型(简称Att-BLSTMs)。利... 分析目前的短文本分类算法没有综合考虑文本中隐含的依赖关系和局部关键信息这一问题,提出基于自注意力机制(self-attention mechanism)的堆叠双向长短时记忆网络(stack bidirectional long short term memory)模型(简称Att-BLSTMs)。利用stack Bi-LSTMs捕获上下文隐藏依赖关系,优化短文本特征稀疏的问题;利用自注意力机制加大对短文本中局部关键信息的注意力,优化文本表示。在公开AG-news网页新闻的语料和DBpedia分类数据集中,进行丰富的对比实验。实验结果表明,该模型将文本中隐含依赖关系与局部关键信息综合考虑后,有效提高了短文本分类的准确性。 展开更多
关键词 短文本分类 深度学习 自注意力机制 堆叠双向长短记忆网络模型 微平均 宏平均
在线阅读 下载PDF
问答系统命名实体识别改进方法研究 被引量:3
10
作者 鲍静益 于佳卉 +2 位作者 徐宁 姚潇 刘小峰 《数据采集与处理》 CSCD 北大核心 2020年第5期930-941,共12页
问答系统是一种以准确且自然的语言来回答用户提问的系统。本文对其中涉及的“命名实体识别”环节尝试了一些改进措施:针对传统单向模板匹配耗时耗力的问题,提出一种双向格子结构的长短时记忆网络(Lattice Bi‑LSTM),解决了命名实体识别... 问答系统是一种以准确且自然的语言来回答用户提问的系统。本文对其中涉及的“命名实体识别”环节尝试了一些改进措施:针对传统单向模板匹配耗时耗力的问题,提出一种双向格子结构的长短时记忆网络(Lattice Bi‑LSTM),解决了命名实体识别中对句子处理不当和对分词结果具有依赖性的两大问题。与单向结构相比,双向结构能更好地利用句子信息,使输出结果更具鲁棒性,从而更准确地捕获语义信息;针对传统方法未考虑实体间相似度的非线性耦合性问题,提出一种利用周期性核函数将“相似”实体准确链接到知识库中去的方法。对提出的两种改进方法进行了实验验证,结果表明:与经典方法相比,所用方法具有显著的改进效果。 展开更多
关键词 问答系统 命名实体识别 双向格子长短记忆模型 周期核函数 相似度评判
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部