传统的文本摘要方法,如基于循环神经网络和Encoder-Decoder框架构建的摘要生成模型等,在生成文本摘要时存在并行能力不足或长期依赖的性能缺陷,以及文本摘要生成的准确率和流畅度的问题。对此,提出了一种动态词嵌入摘要生成方法。该方...传统的文本摘要方法,如基于循环神经网络和Encoder-Decoder框架构建的摘要生成模型等,在生成文本摘要时存在并行能力不足或长期依赖的性能缺陷,以及文本摘要生成的准确率和流畅度的问题。对此,提出了一种动态词嵌入摘要生成方法。该方法基于改进的Transformer模型,在文本预处理阶段引入先验知识,将ELMo(Embeddings from Language Models)动态词向量作为训练文本的词表征,结合此词对应当句的文本句向量拼接生成输入文本矩阵,将文本矩阵输入到Encoder生成固定长度的文本向量表达,然后通过Decoder将此向量表达解码生成目标文本摘要。实验采用Rouge值作为摘要的评测指标,与其他方法进行的对比实验结果表明,所提方法所生成的文本摘要的准确率和流畅度更高。展开更多
基于目标的情感分析(Target-Based Sentiment Analysis)是情感分析领域最具有挑战性的课题之一,需要同时解决目标提取和特定目标情感分析两个子任务.现有研究工作仍存在两个问题:第一,模型无法充分利用目标边界和情感信息;第二,普遍采...基于目标的情感分析(Target-Based Sentiment Analysis)是情感分析领域最具有挑战性的课题之一,需要同时解决目标提取和特定目标情感分析两个子任务.现有研究工作仍存在两个问题:第一,模型无法充分利用目标边界和情感信息;第二,普遍采用长短期记忆网络提取特征,无法捕抓输入句子的内部关系.为了解决上述问题,本文通过引入方向感知的Transformer,提出一种基于双辅助网络的目标情感分析模型DNTSA(Dual-assist Network based model for Target Sentiment Analysis),其核心思想是使用方向感知的Transformer作为特征提取器有效对齐多个目标词和情感词的内在联系,通过双辅助网络进一步增强模型的情感识别和目标提取能力.本文提出的方法在Laptop,Restaurant,Twitter 3个公开数据集上对比基准方法E2E-TBSA分别提升了2.3%,1.8%,3.9%的F1值.展开更多
数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法。近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力。该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等...数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法。近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力。该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等场景。然而,已有研究中对于数据中具体数值、时间等数据信息的推理存在较大缺陷,无法充分利用数据间的结构信息给出合理的生成指引,并且生成过程容易出现语义与句法分离训练的问题。因此,文中提出一种结合Transformer模型与深度神经网络的数据到文本生成方法,并提出一个用于内容规划的Transformer Text Planning(TTP)算法,有效地解决上述问题。在Rotowire公开数据集上进行方法验证,实验结果表明,文中方法性能优于已有数据到文本生成模型,可直接应用于结构化数据到连贯性文本的生成任务中,具有一定的实际应用价值。展开更多
文摘传统的文本摘要方法,如基于循环神经网络和Encoder-Decoder框架构建的摘要生成模型等,在生成文本摘要时存在并行能力不足或长期依赖的性能缺陷,以及文本摘要生成的准确率和流畅度的问题。对此,提出了一种动态词嵌入摘要生成方法。该方法基于改进的Transformer模型,在文本预处理阶段引入先验知识,将ELMo(Embeddings from Language Models)动态词向量作为训练文本的词表征,结合此词对应当句的文本句向量拼接生成输入文本矩阵,将文本矩阵输入到Encoder生成固定长度的文本向量表达,然后通过Decoder将此向量表达解码生成目标文本摘要。实验采用Rouge值作为摘要的评测指标,与其他方法进行的对比实验结果表明,所提方法所生成的文本摘要的准确率和流畅度更高。
文摘基于目标的情感分析(Target-Based Sentiment Analysis)是情感分析领域最具有挑战性的课题之一,需要同时解决目标提取和特定目标情感分析两个子任务.现有研究工作仍存在两个问题:第一,模型无法充分利用目标边界和情感信息;第二,普遍采用长短期记忆网络提取特征,无法捕抓输入句子的内部关系.为了解决上述问题,本文通过引入方向感知的Transformer,提出一种基于双辅助网络的目标情感分析模型DNTSA(Dual-assist Network based model for Target Sentiment Analysis),其核心思想是使用方向感知的Transformer作为特征提取器有效对齐多个目标词和情感词的内在联系,通过双辅助网络进一步增强模型的情感识别和目标提取能力.本文提出的方法在Laptop,Restaurant,Twitter 3个公开数据集上对比基准方法E2E-TBSA分别提升了2.3%,1.8%,3.9%的F1值.
文摘数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法。近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力。该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等场景。然而,已有研究中对于数据中具体数值、时间等数据信息的推理存在较大缺陷,无法充分利用数据间的结构信息给出合理的生成指引,并且生成过程容易出现语义与句法分离训练的问题。因此,文中提出一种结合Transformer模型与深度神经网络的数据到文本生成方法,并提出一个用于内容规划的Transformer Text Planning(TTP)算法,有效地解决上述问题。在Rotowire公开数据集上进行方法验证,实验结果表明,文中方法性能优于已有数据到文本生成模型,可直接应用于结构化数据到连贯性文本的生成任务中,具有一定的实际应用价值。
