为提升民航应急管理能力,研究基于《中国民用航空应急管理规定》问卷数据,运用轻量级双向编码器表征模型(A Lite Bidirectional Encoder Representations from Transformers,ALBERT)和潜在狄利克雷分配模型(Latent Dirichlet Allocation...为提升民航应急管理能力,研究基于《中国民用航空应急管理规定》问卷数据,运用轻量级双向编码器表征模型(A Lite Bidirectional Encoder Representations from Transformers,ALBERT)和潜在狄利克雷分配模型(Latent Dirichlet Allocation,LDA)进行文档类别划分,结合K-means和均匀流形逼近与投影方法(Uniform Manifold Approximation and Projection,UMAP)进行文档聚类及可视化,根据复杂网络理论构建关键词共现网络,分析网络特性和节点联系,应用逼近理想解排序法(Technique for Order Preference by Similarity to an Ideal Solution,TOPSIS)获得节点重要性排序。研究结果显示:网络的平均聚类系数为0.71~0.965,覆盖了不同部门、岗位和环境,代表了民航应急管理的普遍情况;在人员兼职、空管单位、支线机场等应急体系建设存在不足的情况下,建议民航系统通过增设专职应急管理机构、优化资源配置、加强培训支持等方式提升应急管理能力。研究结果可为民航应急体系建设提供数据支持。展开更多
实体关系抽取任务是对句子中实体对间的语义关系进行识别。该文提出了一种基于Albert预训练语言模型结合图采样与聚合算法(Graph Sampling and Aggregation,GraphSAGE)的实体关系抽取方法,并在藏文实体关系抽取数据集上实验。该文针对...实体关系抽取任务是对句子中实体对间的语义关系进行识别。该文提出了一种基于Albert预训练语言模型结合图采样与聚合算法(Graph Sampling and Aggregation,GraphSAGE)的实体关系抽取方法,并在藏文实体关系抽取数据集上实验。该文针对藏文句子特征表示匮乏、传统藏文实体关系抽取模型准确率不高等问题,提出以下方案:①使用预先训练的藏文Albert模型获得高质量的藏文句子动态词向量特征;②使用提出的图结构数据构建与表示方法生成GraphSAGE模型的输入数据,并通过实验证明了该方法的有效性;③借鉴GraphSAGE模型的优势,利用其图采样与聚合操作进行关系抽取。实验结果表明,该文方法有效提高了藏文实体关系抽取模型的准确率,且优于基线实验效果。展开更多
针对现有循环和卷积深度模型特征抽取不全面,以及循环模型训练速度慢等问题,本文提出了结合ALBERT和BiFASRU-AT的情感分析模型.借助ALBERT(A Lite BERT)预训练模型赋予词上下文动态语义,解决一词多义问题;再采用双向内置快速注意力简单...针对现有循环和卷积深度模型特征抽取不全面,以及循环模型训练速度慢等问题,本文提出了结合ALBERT和BiFASRU-AT的情感分析模型.借助ALBERT(A Lite BERT)预训练模型赋予词上下文动态语义,解决一词多义问题;再采用双向内置快速注意力简单循环单元(Bidirectional Build-in Fast Attention Simple Recurrent Unit,BiFASRU)对上下文进行建模,同时内置快速注意力机制可以捕获词与词之间的依赖关系,得到更为全面的高维情感特征;最后通过注意力机制对情感分析贡献大的词分配更高权重,经分类器得到结果.实验采用中文酒店评论和豆瓣评论数据集,结果表明,ALBERT-BiFASRU-AT模型能够获得更高的F1值,且BiFASRU模型比其他循环模型训练速度更快,证明了该模型的有效性.展开更多
针对电网调度业务意图缺乏有效识别方法的问题,提出一种基于ALBERT(A Lite BERT)和残差向量-字词嵌入向量-编码向量(RE2)融合模型的电网调度意图识别方法。首先,基于ALBERT预训练的动态词向量计算调度专业语言文本特征,建立调度意图分...针对电网调度业务意图缺乏有效识别方法的问题,提出一种基于ALBERT(A Lite BERT)和残差向量-字词嵌入向量-编码向量(RE2)融合模型的电网调度意图识别方法。首先,基于ALBERT预训练的动态词向量计算调度专业语言文本特征,建立调度意图分类模型,通过训练调度专业语言构建基于RE2的文本相似度计算模型。然后,采用RE2相似度模型计算召回文本与分类文本的匹配结果对ALBERT意图分类权重进行计算重组,建立融合ALBERT和RE2的意图识别模型。最后,通过某调控中心调度专业语言验证,并与其他方法对比,所提电网调度意图识别方法具有更强的分类能力和泛化能力,对于20种调度意图识别的平均精准率、召回率和F1值分别达到了98.11%、97.96%、98.03%。展开更多
针对传统的卷积神经网络未能充分利用不同通道间的文本特征语义信息和关联信息,以及传统的词向量表示方法采用静态方式对文本信息进行提取,忽略了文本的位置信息,从而导致文本情感分类不准确的问题,提出了一种结合ALBERT(a lite BERT)...针对传统的卷积神经网络未能充分利用不同通道间的文本特征语义信息和关联信息,以及传统的词向量表示方法采用静态方式对文本信息进行提取,忽略了文本的位置信息,从而导致文本情感分类不准确的问题,提出了一种结合ALBERT(a lite BERT)和注意力特征分割融合网络(attention feature split fusion network,AFSFN)的中文短文本情感分类模型ALBERT-AFSFN。该模型利用ALBERT对文本进行词向量表示,提升词向量的表征能力;通过注意力特征分割融合网络将特征分割为两组,对两组不同通道的特征进行提取和融合,最大程度保留不同通道之间的语义关联信息;借助Softmax函数对中文短文本情感进行分类,得到文本的情感倾向。在三个公开数据集Chnsenticorp、waimai-10k和weibo-100k上的准确率分别达到了93.33%、88.98%和97.81%,F1值也分别达到了93.23%、88.47%和97.78%,结果表明提出的方法在中文短文本情感分析中能够达到更好的分类效果。展开更多
文摘为提升民航应急管理能力,研究基于《中国民用航空应急管理规定》问卷数据,运用轻量级双向编码器表征模型(A Lite Bidirectional Encoder Representations from Transformers,ALBERT)和潜在狄利克雷分配模型(Latent Dirichlet Allocation,LDA)进行文档类别划分,结合K-means和均匀流形逼近与投影方法(Uniform Manifold Approximation and Projection,UMAP)进行文档聚类及可视化,根据复杂网络理论构建关键词共现网络,分析网络特性和节点联系,应用逼近理想解排序法(Technique for Order Preference by Similarity to an Ideal Solution,TOPSIS)获得节点重要性排序。研究结果显示:网络的平均聚类系数为0.71~0.965,覆盖了不同部门、岗位和环境,代表了民航应急管理的普遍情况;在人员兼职、空管单位、支线机场等应急体系建设存在不足的情况下,建议民航系统通过增设专职应急管理机构、优化资源配置、加强培训支持等方式提升应急管理能力。研究结果可为民航应急体系建设提供数据支持。
文摘实体关系抽取任务是对句子中实体对间的语义关系进行识别。该文提出了一种基于Albert预训练语言模型结合图采样与聚合算法(Graph Sampling and Aggregation,GraphSAGE)的实体关系抽取方法,并在藏文实体关系抽取数据集上实验。该文针对藏文句子特征表示匮乏、传统藏文实体关系抽取模型准确率不高等问题,提出以下方案:①使用预先训练的藏文Albert模型获得高质量的藏文句子动态词向量特征;②使用提出的图结构数据构建与表示方法生成GraphSAGE模型的输入数据,并通过实验证明了该方法的有效性;③借鉴GraphSAGE模型的优势,利用其图采样与聚合操作进行关系抽取。实验结果表明,该文方法有效提高了藏文实体关系抽取模型的准确率,且优于基线实验效果。
文摘针对现有循环和卷积深度模型特征抽取不全面,以及循环模型训练速度慢等问题,本文提出了结合ALBERT和BiFASRU-AT的情感分析模型.借助ALBERT(A Lite BERT)预训练模型赋予词上下文动态语义,解决一词多义问题;再采用双向内置快速注意力简单循环单元(Bidirectional Build-in Fast Attention Simple Recurrent Unit,BiFASRU)对上下文进行建模,同时内置快速注意力机制可以捕获词与词之间的依赖关系,得到更为全面的高维情感特征;最后通过注意力机制对情感分析贡献大的词分配更高权重,经分类器得到结果.实验采用中文酒店评论和豆瓣评论数据集,结果表明,ALBERT-BiFASRU-AT模型能够获得更高的F1值,且BiFASRU模型比其他循环模型训练速度更快,证明了该模型的有效性.
文摘针对电网调度业务意图缺乏有效识别方法的问题,提出一种基于ALBERT(A Lite BERT)和残差向量-字词嵌入向量-编码向量(RE2)融合模型的电网调度意图识别方法。首先,基于ALBERT预训练的动态词向量计算调度专业语言文本特征,建立调度意图分类模型,通过训练调度专业语言构建基于RE2的文本相似度计算模型。然后,采用RE2相似度模型计算召回文本与分类文本的匹配结果对ALBERT意图分类权重进行计算重组,建立融合ALBERT和RE2的意图识别模型。最后,通过某调控中心调度专业语言验证,并与其他方法对比,所提电网调度意图识别方法具有更强的分类能力和泛化能力,对于20种调度意图识别的平均精准率、召回率和F1值分别达到了98.11%、97.96%、98.03%。
