针对开源情报分析中网页信息提取问答问题,提出一种融合生成式大语言模型(Large Language Model,LM)、XPath与检索增强生成(Retrieval-Augmented Generation,RAG)的方法,涉及动态模板化提示策略与多粒度语义检索。动态模板基于情报类型...针对开源情报分析中网页信息提取问答问题,提出一种融合生成式大语言模型(Large Language Model,LM)、XPath与检索增强生成(Retrieval-Augmented Generation,RAG)的方法,涉及动态模板化提示策略与多粒度语义检索。动态模板基于情报类型生成领域知识约束提示,提升实体提取精度;多粒度检索构建文档-段落-实体三级体系,结合BERT-Topk算法优化长文本信息定位。通过OpenKG知识库对齐实体构建属性-关系-事件三维网络,增强复杂事件逻辑分析。该方法在ClueWeb22与TAC-KBP2022数据集上的提取率为0.85,回答准确率为0.78,相比传统RAG,性能提升18%~31%。实际应用中,热点事件简报关键事实准确率达92%,综合成本仅为GPT-4的12%。展开更多
针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-train...针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-trained transformer for data augmentation,PunishGPT-DA)。设计了惩罚项和超参数α,与负对数似然损失函数共同作用微调GPT-2(generative pre-training 2.0),鼓励模型关注那些预测概率较小但仍然合理的输出;使用基于双向编码器表征模型(bidirectional encoder representation from transformers,BERT)的过滤器过滤语义偏差较大的生成样本。本文方法实现了对训练集16倍扩充,与GPT-2相比,在意图识别、问题分类以及情感分析3个任务上的准确率分别提升了1.1%、4.9%和8.7%。实验结果表明,本文提出的方法能够同时有效地控制一致性和多样性需求,提升下游任务模型的训练性能。展开更多
文摘针对开源情报分析中网页信息提取问答问题,提出一种融合生成式大语言模型(Large Language Model,LM)、XPath与检索增强生成(Retrieval-Augmented Generation,RAG)的方法,涉及动态模板化提示策略与多粒度语义检索。动态模板基于情报类型生成领域知识约束提示,提升实体提取精度;多粒度检索构建文档-段落-实体三级体系,结合BERT-Topk算法优化长文本信息定位。通过OpenKG知识库对齐实体构建属性-关系-事件三维网络,增强复杂事件逻辑分析。该方法在ClueWeb22与TAC-KBP2022数据集上的提取率为0.85,回答准确率为0.78,相比传统RAG,性能提升18%~31%。实际应用中,热点事件简报关键事实准确率达92%,综合成本仅为GPT-4的12%。
文摘针对句子分类任务常面临着训练数据不足,而且文本语言具有离散性,在语义保留的条件下进行数据增强具有一定困难,语义一致性和多样性难以平衡的问题,本文提出一种惩罚生成式预训练语言模型的数据增强方法(punishing generative pre-trained transformer for data augmentation,PunishGPT-DA)。设计了惩罚项和超参数α,与负对数似然损失函数共同作用微调GPT-2(generative pre-training 2.0),鼓励模型关注那些预测概率较小但仍然合理的输出;使用基于双向编码器表征模型(bidirectional encoder representation from transformers,BERT)的过滤器过滤语义偏差较大的生成样本。本文方法实现了对训练集16倍扩充,与GPT-2相比,在意图识别、问题分类以及情感分析3个任务上的准确率分别提升了1.1%、4.9%和8.7%。实验结果表明,本文提出的方法能够同时有效地控制一致性和多样性需求,提升下游任务模型的训练性能。
