自然语言处理是实现人机交互的关键步骤,而汉语自然语言处理(Chinese natural language processing,CNLP)是其中的重要组成部分。随着大模型技术的发展,CNLP进入了一个新的阶段,这些汉语大模型具备更强的泛化能力和更快的任务适应性。然...自然语言处理是实现人机交互的关键步骤,而汉语自然语言处理(Chinese natural language processing,CNLP)是其中的重要组成部分。随着大模型技术的发展,CNLP进入了一个新的阶段,这些汉语大模型具备更强的泛化能力和更快的任务适应性。然而,相较于英语大模型,汉语大模型在逻辑推理和文本理解能力方面仍存在不足。介绍了图神经网络在特定CNLP任务中的优势,进行了量子机器学习在CNLP发展潜力的调查。总结了大模型的基本原理和技术架构,详细整理了大模型评测任务的典型数据集和模型评价指标,评估比较了当前主流的大模型在CNLP任务中的效果。分析了当前CNLP存在的挑战,并对CNLP任务的未来研究方向进行了展望,希望能帮助解决当前CNLP存在的挑战,同时为新方法的提出提供了一定的参考。展开更多
针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权...针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权重矩阵,将离散的掩码语义空间相互关联;其次,采用门控校准网络将含有实体和关系语义的掩码表示融入句子的全局语义;再次,将它们作为关系提示校准关系信息,随后将句子表示的最终表示映射至相应的关系类别;最后,通过更好地利用提示中掩码,并结合传统微调方法的学习句子全局语义的优势,充分激发PLM的潜力。实验结果表明,所提方法在SemEval(SemEval-2010 Task 8)数据集的F1值达到91.4%,相较于RELA(Relation Extraction with Label Augmentation)生成式方法提高了1.0个百分点;在SciERC(Entities, Relations, and Coreference for Scientific knowledge graph construction)和CLTC(Chinese Literature Text Corpus)数据集上的F1值分别达到91.0%和82.8%。所提方法在上述3个数据集上均明显优于对比方法,验证了所提方法的有效性。相较于基于生成式的方法,所提方法实现了更优的抽取性能。展开更多
在企业的招商引资过程中,存在多维度的风险。传统的风险评估方法由于信息失真以及经济行为中的复杂关系,难以及时且准确地识别这些风险。为解决上述问题,提出一种将大型语言模型(LLM)与图神经网络(GNN)融合的风险分析框架。利用LLM的语...在企业的招商引资过程中,存在多维度的风险。传统的风险评估方法由于信息失真以及经济行为中的复杂关系,难以及时且准确地识别这些风险。为解决上述问题,提出一种将大型语言模型(LLM)与图神经网络(GNN)融合的风险分析框架。利用LLM的语义理解能力,辅助GNN构建全面、准确的动态企业异构知识图谱,从而解决静态数据引起的信息失真问题。在此基础上,针对GNN在深度和语义表达能力上的不足,设计一个基于知识的语义结构挖掘模块,并结合Qwen2大模型增强节点表示的语义精准性。此外,提出一体化图(IOG)模块将节点分类与图分类任务统一为对“关注节点”的预测。通过统一预测机制,实现对不同图结构类型的预测,从而显著提升模型在不同数据集上的泛化能力。基于该框架构建的IOG-CIQAN(In One Graph with Collective Intelligence and Qwen2 Assistance Network)模型在劳工、财务、行政这3个风险分析数据集上的准确率均超过了87%,优于胶囊网络(CapsNet)等多种基线模型。展开更多
文摘自然语言处理是实现人机交互的关键步骤,而汉语自然语言处理(Chinese natural language processing,CNLP)是其中的重要组成部分。随着大模型技术的发展,CNLP进入了一个新的阶段,这些汉语大模型具备更强的泛化能力和更快的任务适应性。然而,相较于英语大模型,汉语大模型在逻辑推理和文本理解能力方面仍存在不足。介绍了图神经网络在特定CNLP任务中的优势,进行了量子机器学习在CNLP发展潜力的调查。总结了大模型的基本原理和技术架构,详细整理了大模型评测任务的典型数据集和模型评价指标,评估比较了当前主流的大模型在CNLP任务中的效果。分析了当前CNLP存在的挑战,并对CNLP任务的未来研究方向进行了展望,希望能帮助解决当前CNLP存在的挑战,同时为新方法的提出提供了一定的参考。
文摘针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权重矩阵,将离散的掩码语义空间相互关联;其次,采用门控校准网络将含有实体和关系语义的掩码表示融入句子的全局语义;再次,将它们作为关系提示校准关系信息,随后将句子表示的最终表示映射至相应的关系类别;最后,通过更好地利用提示中掩码,并结合传统微调方法的学习句子全局语义的优势,充分激发PLM的潜力。实验结果表明,所提方法在SemEval(SemEval-2010 Task 8)数据集的F1值达到91.4%,相较于RELA(Relation Extraction with Label Augmentation)生成式方法提高了1.0个百分点;在SciERC(Entities, Relations, and Coreference for Scientific knowledge graph construction)和CLTC(Chinese Literature Text Corpus)数据集上的F1值分别达到91.0%和82.8%。所提方法在上述3个数据集上均明显优于对比方法,验证了所提方法的有效性。相较于基于生成式的方法,所提方法实现了更优的抽取性能。
文摘在企业的招商引资过程中,存在多维度的风险。传统的风险评估方法由于信息失真以及经济行为中的复杂关系,难以及时且准确地识别这些风险。为解决上述问题,提出一种将大型语言模型(LLM)与图神经网络(GNN)融合的风险分析框架。利用LLM的语义理解能力,辅助GNN构建全面、准确的动态企业异构知识图谱,从而解决静态数据引起的信息失真问题。在此基础上,针对GNN在深度和语义表达能力上的不足,设计一个基于知识的语义结构挖掘模块,并结合Qwen2大模型增强节点表示的语义精准性。此外,提出一体化图(IOG)模块将节点分类与图分类任务统一为对“关注节点”的预测。通过统一预测机制,实现对不同图结构类型的预测,从而显著提升模型在不同数据集上的泛化能力。基于该框架构建的IOG-CIQAN(In One Graph with Collective Intelligence and Qwen2 Assistance Network)模型在劳工、财务、行政这3个风险分析数据集上的准确率均超过了87%,优于胶囊网络(CapsNet)等多种基线模型。
