将多信息融合,并基于外部知识库对已有信息进行知识增强,可以缓解用户冷启动问题,并提高新闻推荐效果。新闻推荐倾向于使用新闻标题、内容等文本信息,而对于一些非文本信息的考虑不够全面,同时已有的知识信息也可能不够完备。针对目前...将多信息融合,并基于外部知识库对已有信息进行知识增强,可以缓解用户冷启动问题,并提高新闻推荐效果。新闻推荐倾向于使用新闻标题、内容等文本信息,而对于一些非文本信息的考虑不够全面,同时已有的知识信息也可能不够完备。针对目前存在的问题,本文提出了基于多信息融合和知识增强的新闻推荐方法MIF-KE(multi information fusion and knowledge enhancement),该方法将新闻文本信息与非文本信息相融合,并引入外部知识,同时对已有的知识信息进行增强,最后对新闻和用户兴趣精准建模,从而完成推荐。本文的具体的贡献为:(1)较为全面地利用了文本信息(如标题、内容)与非文本信息(如用户ID、新闻特征、新闻流行度),并提出混合注意力能够使信息融合更加充分;(2)引入外部知识库,同时添加了两种关联关系对用户实体关联图进行增强;(3)在公开的新闻数据集上验证了本文方法在推荐上的有效性,此外也验证了本文方法能有效缓解用户冷启动的情况。展开更多
自然语言生成(Natural Language Generation,NLG)任务是自然语言处理(Natural Languge Processing,NLP)任务中的一个子类,并且是一项具有挑战性的任务。随着深度学习在自然语言处理中的大量应用,其已经变成自然语言生成中处理各种任务...自然语言生成(Natural Language Generation,NLG)任务是自然语言处理(Natural Languge Processing,NLP)任务中的一个子类,并且是一项具有挑战性的任务。随着深度学习在自然语言处理中的大量应用,其已经变成自然语言生成中处理各种任务的主要方法。自然语言生成任务中主要有问答任务、生成摘要任务、生成评论任务、机器翻译任务、生成式对话任务等。传统的生成模型依赖输入文本,基于有限的知识生成文本。为解决这个问题,引入了知识增强的方法。首先介绍了自然语言生成的研究背景和重要模型,然后针对自然语言处理归纳介绍了提高模型性能的方法,以及基于内部知识(如提取关键词增强生成、围绕主题词等)和外部知识(如借助外部知识图谱增强生成)集成到文本生成过程中的方法和架构。最后,通过分析生成任务面临的一些问题,讨论了未来的挑战和研究方向。展开更多
基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训...基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训练模型在训练集上学习最优的提示模板;其次,将提示模板与输入文本结合,使分类任务转化为完形填空任务;同时利用外部知识扩充标签词空间,丰富标签词的语义信息;最后,对预测的标签词与原始的标签进行映射。通过在THUCNews、SHNews和Toutiao这3个新闻数据集上进行随机采样,形成小样本训练集和验证集进行实验。实验结果表明,所提方法在上述数据集上的1-shot、5-shot、10-shot和20-shot任务上整体表现有所提升,尤其在1-shot任务上提升效果突出,与基线小样本分类方法相比,准确率分别提高了7.59、2.11和3.10个百分点以上,验证了KPL在小样本新闻主题分类任务上的有效性。展开更多
文摘将多信息融合,并基于外部知识库对已有信息进行知识增强,可以缓解用户冷启动问题,并提高新闻推荐效果。新闻推荐倾向于使用新闻标题、内容等文本信息,而对于一些非文本信息的考虑不够全面,同时已有的知识信息也可能不够完备。针对目前存在的问题,本文提出了基于多信息融合和知识增强的新闻推荐方法MIF-KE(multi information fusion and knowledge enhancement),该方法将新闻文本信息与非文本信息相融合,并引入外部知识,同时对已有的知识信息进行增强,最后对新闻和用户兴趣精准建模,从而完成推荐。本文的具体的贡献为:(1)较为全面地利用了文本信息(如标题、内容)与非文本信息(如用户ID、新闻特征、新闻流行度),并提出混合注意力能够使信息融合更加充分;(2)引入外部知识库,同时添加了两种关联关系对用户实体关联图进行增强;(3)在公开的新闻数据集上验证了本文方法在推荐上的有效性,此外也验证了本文方法能有效缓解用户冷启动的情况。
文摘自然语言生成(Natural Language Generation,NLG)任务是自然语言处理(Natural Languge Processing,NLP)任务中的一个子类,并且是一项具有挑战性的任务。随着深度学习在自然语言处理中的大量应用,其已经变成自然语言生成中处理各种任务的主要方法。自然语言生成任务中主要有问答任务、生成摘要任务、生成评论任务、机器翻译任务、生成式对话任务等。传统的生成模型依赖输入文本,基于有限的知识生成文本。为解决这个问题,引入了知识增强的方法。首先介绍了自然语言生成的研究背景和重要模型,然后针对自然语言处理归纳介绍了提高模型性能的方法,以及基于内部知识(如提取关键词增强生成、围绕主题词等)和外部知识(如借助外部知识图谱增强生成)集成到文本生成过程中的方法和架构。最后,通过分析生成任务面临的一些问题,讨论了未来的挑战和研究方向。
文摘基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训练模型在训练集上学习最优的提示模板;其次,将提示模板与输入文本结合,使分类任务转化为完形填空任务;同时利用外部知识扩充标签词空间,丰富标签词的语义信息;最后,对预测的标签词与原始的标签进行映射。通过在THUCNews、SHNews和Toutiao这3个新闻数据集上进行随机采样,形成小样本训练集和验证集进行实验。实验结果表明,所提方法在上述数据集上的1-shot、5-shot、10-shot和20-shot任务上整体表现有所提升,尤其在1-shot任务上提升效果突出,与基线小样本分类方法相比,准确率分别提高了7.59、2.11和3.10个百分点以上,验证了KPL在小样本新闻主题分类任务上的有效性。
