对文本进行分词和词嵌入通常是中文命名实体识别的第一步,但中文的词与词之间没有明确的分界符,专业词及生僻词等未收录词(Out of Vocabulary,OOV)严重干扰了词向量的计算,基于词向量嵌入的模型性能极易受到分词效果的影响。同时现有模...对文本进行分词和词嵌入通常是中文命名实体识别的第一步,但中文的词与词之间没有明确的分界符,专业词及生僻词等未收录词(Out of Vocabulary,OOV)严重干扰了词向量的计算,基于词向量嵌入的模型性能极易受到分词效果的影响。同时现有模型大多使用循环神经网络,计算速度较慢,很难达到工业应用的要求。针对上述问题,构建了一个基于注意力机制和卷积神经网络的命名实体识别模型,即LAC-DGLU。针对分词依赖的问题,提出了一种基于局部注意力卷积(Local Attention Convolution,LAC)的字嵌入算法,减轻了模型对分词效果的依赖。针对计算速度较慢的问题,使用了一种带门结构的卷积神经网络,即膨胀门控线性单元(Dilated Gated Linear Unit,DGLU),提高了模型的计算速度。在多个数据集上的实验结果显示,该模型相比现有最优模型F1值提高了0.2%~2%,训练速度可以达到现有最优模型的1.4~1.9倍。展开更多
水质指标具有多元相关性、时序性和非线性的特点,为有效预测河流水质变化,针对水质数据存在缺失和异常的问题,提出基于灰色关联分析-门控循环单元(Grey Relational Analysis-Gated Recurrent Unit, GRA-GRU)的水质预测模型。以淮河流域...水质指标具有多元相关性、时序性和非线性的特点,为有效预测河流水质变化,针对水质数据存在缺失和异常的问题,提出基于灰色关联分析-门控循环单元(Grey Relational Analysis-Gated Recurrent Unit, GRA-GRU)的水质预测模型。以淮河流域水质数据为样本,使用线性插值修补缺失数据和剔除的异常数据。使用灰色关联分析计算不同水质指标间的相关性,选择高相关性的水质指标以确定输入变量,并使用门控循环单元(Gated Recurrent Unit, GRU)预测不同的水质指标。将GRA-GRU的预测结果与反向传播神经网络(Back Propagation Neural Network, BPNN)、循环神经网络(Recurrent Neural Network, RNN)、长短期记忆神经网络(Long Short Term Memory, LSTM)、GRU及灰色关联分析-长短期记忆神经网络(Grey Relational Analysis-Long Short Term Memory, GRA-LSTM)进行对比分析,结果显示GRA-GRU在不同水质指标预测上具有较好的适应性,可以有效降低预测误差。其中,与其他模型相比,GRA-GRU预测的化学需氧量在均方根误差上分别降低了3.617%、0.681%、0.478%、1.505%和0.471%。展开更多
现有分阶段解码的实体关系抽取模型仍存在着阶段间特征融合不充分的问题,会增大曝光偏差对抽取性能的影响。为此,提出一种双关系预测和特征融合的实体关系抽取模型(entity relation extraction model with dual relation prediction and...现有分阶段解码的实体关系抽取模型仍存在着阶段间特征融合不充分的问题,会增大曝光偏差对抽取性能的影响。为此,提出一种双关系预测和特征融合的实体关系抽取模型(entity relation extraction model with dual relation prediction and feature fusion,DRPFF),该模型使用预训练的基于Transformer的双向编码表示模型(bidirectional encoder representation from transformers,BERT)对文本进行编码,并设计两阶段的双关系预测结构来减少抽取过程中错误三元组的生成。在阶段间通过门控线性单元(gated linear unit,GLU)和条件层规范化(conditional layer normalization,CLN)组合的结构来更好地融合实体之间的特征。在NYT和WebNLG这2个公开数据集上的试验结果表明,该模型相较于基线方法取得了更好的效果。展开更多
文摘对文本进行分词和词嵌入通常是中文命名实体识别的第一步,但中文的词与词之间没有明确的分界符,专业词及生僻词等未收录词(Out of Vocabulary,OOV)严重干扰了词向量的计算,基于词向量嵌入的模型性能极易受到分词效果的影响。同时现有模型大多使用循环神经网络,计算速度较慢,很难达到工业应用的要求。针对上述问题,构建了一个基于注意力机制和卷积神经网络的命名实体识别模型,即LAC-DGLU。针对分词依赖的问题,提出了一种基于局部注意力卷积(Local Attention Convolution,LAC)的字嵌入算法,减轻了模型对分词效果的依赖。针对计算速度较慢的问题,使用了一种带门结构的卷积神经网络,即膨胀门控线性单元(Dilated Gated Linear Unit,DGLU),提高了模型的计算速度。在多个数据集上的实验结果显示,该模型相比现有最优模型F1值提高了0.2%~2%,训练速度可以达到现有最优模型的1.4~1.9倍。
文摘水质指标具有多元相关性、时序性和非线性的特点,为有效预测河流水质变化,针对水质数据存在缺失和异常的问题,提出基于灰色关联分析-门控循环单元(Grey Relational Analysis-Gated Recurrent Unit, GRA-GRU)的水质预测模型。以淮河流域水质数据为样本,使用线性插值修补缺失数据和剔除的异常数据。使用灰色关联分析计算不同水质指标间的相关性,选择高相关性的水质指标以确定输入变量,并使用门控循环单元(Gated Recurrent Unit, GRU)预测不同的水质指标。将GRA-GRU的预测结果与反向传播神经网络(Back Propagation Neural Network, BPNN)、循环神经网络(Recurrent Neural Network, RNN)、长短期记忆神经网络(Long Short Term Memory, LSTM)、GRU及灰色关联分析-长短期记忆神经网络(Grey Relational Analysis-Long Short Term Memory, GRA-LSTM)进行对比分析,结果显示GRA-GRU在不同水质指标预测上具有较好的适应性,可以有效降低预测误差。其中,与其他模型相比,GRA-GRU预测的化学需氧量在均方根误差上分别降低了3.617%、0.681%、0.478%、1.505%和0.471%。
文摘现有分阶段解码的实体关系抽取模型仍存在着阶段间特征融合不充分的问题,会增大曝光偏差对抽取性能的影响。为此,提出一种双关系预测和特征融合的实体关系抽取模型(entity relation extraction model with dual relation prediction and feature fusion,DRPFF),该模型使用预训练的基于Transformer的双向编码表示模型(bidirectional encoder representation from transformers,BERT)对文本进行编码,并设计两阶段的双关系预测结构来减少抽取过程中错误三元组的生成。在阶段间通过门控线性单元(gated linear unit,GLU)和条件层规范化(conditional layer normalization,CLN)组合的结构来更好地融合实体之间的特征。在NYT和WebNLG这2个公开数据集上的试验结果表明,该模型相较于基线方法取得了更好的效果。
