期刊文献+
共找到40篇文章
< 1 2 >
每页显示 20 50 100
基于语言特征集成学习的大语言模型生成文本检测 被引量:1
1
作者 项慧 薛鋆豪 郝玲昕 《信息网络安全》 CSCD 北大核心 2024年第7期1098-1109,共12页
大语言模型的快速发展为日常生活和工作提供了极大的便利,但也为个人和社会带来了挑战。因此,迫切需要能够检测大语言模型生成文本的检测器。为了兼具良好的检测性能和泛化能力,文章提出了一种基于语言特征集成学习的大语言模型生成文... 大语言模型的快速发展为日常生活和工作提供了极大的便利,但也为个人和社会带来了挑战。因此,迫切需要能够检测大语言模型生成文本的检测器。为了兼具良好的检测性能和泛化能力,文章提出了一种基于语言特征集成学习的大语言模型生成文本检测方法EBF Detection。EBF Detection融合了微调预训练语言模型和高阶自然语言统计特征,利用判决机制,实现了大语言模型生成文本检测。实验结果显示,EBF Detection不仅在域内数据上平均的检测准确率达到了98.72%,而且在域外数据上的平均检测准确率达到了96.79%。 展开更多
关键词 大语言模型 大语言模型生成文本检测 集成学习 语言特征
在线阅读 下载PDF
基于生成式大语言模型的非遗文本嵌套命名实体识别研究 被引量:1
2
作者 张逸勤 邓三鸿 王东波 《现代情报》 北大核心 2025年第10期26-38,共13页
[目的/意义]本研究探索生成式大语言模型在非物质文化遗产文本嵌套命名实体识别中的应用,以提高特定领域复杂文本中多层次实体的识别精度。[方法/过程]研究对比了GPT-4、Claude 3.5 Sonnet、Chat-GLM2-6b等多种生成式大语言模型与BERT+G... [目的/意义]本研究探索生成式大语言模型在非物质文化遗产文本嵌套命名实体识别中的应用,以提高特定领域复杂文本中多层次实体的识别精度。[方法/过程]研究对比了GPT-4、Claude 3.5 Sonnet、Chat-GLM2-6b等多种生成式大语言模型与BERT+GlobalPointer基线模型的性能,并设计了思维链与行为推理模式两种提示工程技术,以优化模型在复杂上下文中的识别能力。[结果/结论]GPT-4模型采用行为推理模式时表现最佳,Qwen2-72B模型达到91.16%的最高F1值,展现出优异的领域适应性。研究验证了生成式大语言模型在非遗文本嵌套实体识别中的应用潜力,然而在处理长文本和复杂嵌套结构时仍存在计算资源需求高、推理速度慢等挑战。未来,研究将通过混合模型或多任务学习框架,融合BERT模型的稳定性与生成式大语言模型的灵活性以提升识别性能。 展开更多
关键词 生成语言模型 嵌套实体识别 数字人文 非物质文化遗产 文本挖掘
在线阅读 下载PDF
基于生成式语言模型的立场检测探究
3
作者 张袁硕 李澳华 +3 位作者 陈波 尹召宁 王潘怡 赵小兵 《中文信息学报》 北大核心 2025年第3期139-147,共9页
近年来,立场检测任务受到越来越多的关注,但相关标注数据在范围和规模上都有限,不能有效支撑基于神经网络的立场检测。为此,该文探索在零样本/少样本场景下生成式语言模型在立场检测任务上的能力。首先,构建了一个全新的面向立场检测的... 近年来,立场检测任务受到越来越多的关注,但相关标注数据在范围和规模上都有限,不能有效支撑基于神经网络的立场检测。为此,该文探索在零样本/少样本场景下生成式语言模型在立场检测任务上的能力。首先,构建了一个全新的面向立场检测的数据集,包含5个主题,共2500个人工标注样例;然后,在此数据集上进行了一系列探索实验,实验结果表明,生成式语言模型在零样本设定下,采用结构化的提示学习表现良好;增加额外信息能够显著提升模型性能;在少样本设定下,提供相同目标的示例能够明显提升模型性能,而不同目标示例产生了负面作用;使用思维链可以显著提升模型性能;受提示学习的启发,微调预训练语言模型进一步论证提供额外信息对立场检测的增益显著。 展开更多
关键词 生成语言模型 立场检测 零样本/少样本 提示学习
在线阅读 下载PDF
基于大语言模型的标准化文件生成方法研究 被引量:1
4
作者 刘哲泽 张宁 郑楠 《复杂系统与复杂性科学》 北大核心 2025年第2期45-54,共10页
为了促进各行业的规范化发展,各领域都需要制定相应的标准化文件,例如国家标准、行业标准。这些标准化文件不仅为行业提供了统一的操作规范,还为相关方提供了明确的指导依据。中共中央、国务院在《国家标准化发展纲要》中明确指出,推进... 为了促进各行业的规范化发展,各领域都需要制定相应的标准化文件,例如国家标准、行业标准。这些标准化文件不仅为行业提供了统一的操作规范,还为相关方提供了明确的指导依据。中共中央、国务院在《国家标准化发展纲要》中明确指出,推进标准的数字化进程是实现行业现代化的重要举措。因此,开展标准化文件的自动化生成研究显得尤为重要。随着人工智能技术的迅速发展,尤其是大语言模型在文本生成任务中的突出表现,利用这些先进技术来实现标准化文件的自动化生成成为可能。基于此背景,提出了一种两阶段生成标准化文件的方案。该方案首先通过大模型生成标准化文件的大纲,然后在此基础上扩展生成完整的文档内容。通过结合上下文学习和检索增强生成等技术,该方法不仅能够生成高质量的文本,还显著提升了生成内容的准确性和专业性。为验证该方案的可行性,我们在自建的数据集上进行了系列实验,结果表明,该方法能够有效地生成符合行业标准的文档,具有良好的实用性和推广潜力。 展开更多
关键词 大语言模型 检索增强生成 文本生成 上下文学习
在线阅读 下载PDF
基于大语言模型和数据增强的中文毒性言论检测 被引量:1
5
作者 陈慧 朱奕竹 +2 位作者 刘明宇 陈镜宇 吴越 《情报杂志》 北大核心 2025年第4期99-107,116,共10页
[研究目的]研究中文毒性言论检测模型,不仅有助于提高网络舆情监测的准确性,还有利于推动网络空间环境的现代化治理。[研究方法]在明确无毒、隐毒和显毒标注规则的基础上,构建了三类标签均匀分布的中文毒性言论数据集ImToxCN,搭建了基... [研究目的]研究中文毒性言论检测模型,不仅有助于提高网络舆情监测的准确性,还有利于推动网络空间环境的现代化治理。[研究方法]在明确无毒、隐毒和显毒标注规则的基础上,构建了三类标签均匀分布的中文毒性言论数据集ImToxCN,搭建了基于大语言模型和数据增强方法的毒性言论检测组合模型。[研究结果/结论]实验结果表明,在ImToxCN数据集上,大语言模型RoBERTa与数据增强方法GeniusAug的组合较其他基线模型的毒性言论检测准确率更高,准确率达到84.34%。此外,该组合模型还能准确地检测隐毒和显毒言论,在其他3个公开数据集上也表现出了最优的毒性检测效果。 展开更多
关键词 毒性言论检测 毒性文本 大语言模型 数据增强 检测模型
在线阅读 下载PDF
大语言模型生成与学者撰写摘要的对比研究——以情报学领域为例 被引量:1
6
作者 王伟正 乔鸿 +2 位作者 李肖俊 王静静 陈晗睿 《情报杂志》 北大核心 2025年第8期180-189,共10页
[研究目的]探索大语言模型生成与学者撰写的论文摘要之间的差异,为人机交互写作提供新的研究视角,为辅助AI生成学术文本检测提供借鉴与参考。[研究方法]收集情报学领域近三年内的992篇高被引论文,基于收集论文的标题使用ChatGPT生成对... [研究目的]探索大语言模型生成与学者撰写的论文摘要之间的差异,为人机交互写作提供新的研究视角,为辅助AI生成学术文本检测提供借鉴与参考。[研究方法]收集情报学领域近三年内的992篇高被引论文,基于收集论文的标题使用ChatGPT生成对应的论文摘要,共同组成研究数据集,将大语言模型生成与学者撰写摘要进行对比分析,探索两类摘要在词汇、语篇、主题的异同;采用文本特征、ROUGE、Jaccard和余弦相似度来分析两类文本内容方面的差异性,采用BERTopic主题模型进行主题提取,并从主题间关系、主题与主题词关系2个角度进行主题差异性分析。[研究结果/结论]研究表明,学者撰写摘要停用词占比更低、复杂程度较高,可读性也较差。大语言模型生成摘要的ROUGE指标分数均较低,其Jaccard和余弦相似度分别为14.66%与38.66%,表明两类摘要文本词汇层面的重合度较低,同时生成摘要与学者撰写摘要之间主要存在“形似”现象,但是重合单元数目较少;两类摘要文本在主题间存在空间分布、语义相似度差异和层次结构划分相似等特征,在主题与主题间存在语义表征差异与主题内容、次序结构相似等特征。 展开更多
关键词 大语言模型 生成式人工智能 文本特征 论文摘要 情报学 BERTopic
在线阅读 下载PDF
基于离散扩散模型的序列到序列文本生成方法
7
作者 蒋航 蔡国永 李思慧 《计算机科学与探索》 北大核心 2025年第3期764-773,共10页
扩散语言模型是目前非自回归模型中最具潜力的语言模型,有望取代饱受推理速度缓慢问题拖累的自回归语言模型,实现高效且无损于质量的文本生成。文本摘要生成、机器翻译、对话生成等序列到序列的生成任务是扩散语言模型经常遇到的实际应... 扩散语言模型是目前非自回归模型中最具潜力的语言模型,有望取代饱受推理速度缓慢问题拖累的自回归语言模型,实现高效且无损于质量的文本生成。文本摘要生成、机器翻译、对话生成等序列到序列的生成任务是扩散语言模型经常遇到的实际应用场景,如何更好更快地实现序列到序列的文本生成一直是自然语言处理领域的研究重点。为了实现上述目标,通过推导离散扩散模型训练目标的上界简化了扩散模型的训练过程,随后引入并改造了条件掩码语言模型的遮掩-预测解码策略作为扩散模型的推理算法,提升了模型的生成质量。为了进一步提升离散扩散模型在推理的前几轮生成文本的质量,还提出了正弦噪音调度,相比于原来的线性噪音调度,时间步中高噪音区间变得更大了,模型将更专注于学习如何从高噪音数据中恢复数据,从而提升在推理的前几轮中生成文本的质量。受到课程学习策略的启发,设计了新的时间步采样分布,通过操纵时间步的采样实现由易到难的学习。在公开数据集上的实验表明,提出的方法能有效提升模型的性能,在WMT16 EN-RO数据集上,扩散模型仅用自回归基线一半的推理时间,就能推理出相同生成质量的文本。 展开更多
关键词 扩散模型 语言模型 文本生成 序列到序列 非自回归模型
在线阅读 下载PDF
Pobe:一种基于生成式模型的分布外文本检测方法 被引量:2
8
作者 欧阳亚文 高源 +2 位作者 宗石 鲍宇 戴新宇 《软件学报》 EI CSCD 北大核心 2024年第9期4365-4376,共12页
对于安全可靠的机器学习系统,具备检测训练集分布外(out-of-distribution,OOD)样本的能力十分必要.基于似然的生成式模型由于训练时不需要样本标签,是一类非常受欢迎的OOD检测方法.然而,近期研究表明通过似然来检测OOD样本往往会失效,... 对于安全可靠的机器学习系统,具备检测训练集分布外(out-of-distribution,OOD)样本的能力十分必要.基于似然的生成式模型由于训练时不需要样本标签,是一类非常受欢迎的OOD检测方法.然而,近期研究表明通过似然来检测OOD样本往往会失效,并且失效原因与解决方案的探究仍较少,尤其是对于文本数据.从模型层面和数据层面分析文本上失效的原因:生成式模型的泛化性不足和文本先验概率的偏差.在此基础上,提出一种新的OOD文本检测方法Pobe.针对生成式模型泛化性不足的问题,引入KNN检索的方式,来提升模型的泛化性.针对文本先验概率偏差的问题,设计一种偏差校准策略,借助预训练语言模型改善概率偏差对OOD检测的影响,并通过贝叶斯定理证明策略的合理性.通过在广泛的数据集上进行实验,证明所提方法的有效性,其中,在8个数据集上的平均AUROC值超过99%,FPR95值低于1%. 展开更多
关键词 机器学习 分布外检测 生成模型 文本检索 预训练语言模型
在线阅读 下载PDF
自然语言处理模型与文本图像生成技术驱动下的包装设计 被引量:10
9
作者 卢世主 闵子怡 +1 位作者 黄秋雨 王泓睿 《包装工程》 CAS 北大核心 2024年第22期232-241,258,共11页
目的针对传统包装设计耗时过长且面临多次修改迭代的问题,探究自然语言处理模型和文本图像生成技术在包装设计环节中的介入模式和衍生效果,寻求包装设计行业与AIGC技术的协同发展新路径。方法以传统包装设计流程为基础,构建了基于AIGC... 目的针对传统包装设计耗时过长且面临多次修改迭代的问题,探究自然语言处理模型和文本图像生成技术在包装设计环节中的介入模式和衍生效果,寻求包装设计行业与AIGC技术的协同发展新路径。方法以传统包装设计流程为基础,构建了基于AIGC的包装设计全流程模型,形成可循环动态迭代系统。采用实证研究和设计评估法,从视觉设计、心理属性和社会维度三个维度对两种方案分别进行评估,来验证此模型的可行性和有效性。结果基于包装设计方法要素,运用自然语言处理模型和文本图像生成技术,共同构建了全新的包装设计流程范式,并将其应用于具体的商业实践中,有效缩短了设计周期,为包装的创新表达提供了新的路径。结论在市场竞争日益加剧的情形下,基于AIGC的包装设计模型构建能够在最大程度满足设计目标的同时,高效实现从设计创意到设计落地的转化并进行多次快速的迭代,为商业包装实际应用领域提供了丰富的探索空间。 展开更多
关键词 AIGC 自然语言处理 文本图像生成 包装设计 模型构建
在线阅读 下载PDF
基于节点中心性和大模型的漏洞检测数据增强方法 被引量:1
10
作者 张学旺 卢荟 谢昊飞 《信息网络安全》 北大核心 2025年第4期550-563,共14页
智能系统源代码漏洞是影响其安全的重要因素,基于深度学习的源代码漏洞检测存在因数据集不平衡、规模小、质量低而引发的模型检测能力与泛化能力不足的问题。虽然采样技术和数据增强技术可改善一部分问题,但在真实数据集上效果不佳。为... 智能系统源代码漏洞是影响其安全的重要因素,基于深度学习的源代码漏洞检测存在因数据集不平衡、规模小、质量低而引发的模型检测能力与泛化能力不足的问题。虽然采样技术和数据增强技术可改善一部分问题,但在真实数据集上效果不佳。为解决这些问题,文章提出基于节点中心性和大模型的漏洞检测数据增强方法DA_GLvul。该方法首先利用代码属性图将源代码抽象为图结构,并借助图节点中心性分析计算代码优先级值,将最大值对应节点的对应代码行作为关键代码语句,以实现在无已知漏洞语句信息的原始数据集的前提下定位关键代码语句。其次定义一个包含全面的变异规则的变异指令模板,填入原始样本与关键代码后输入至不同的大模型中以生成增强后的代码样本,最终使用增强代码样本与原始样本共同训练漏洞检测模型。实验结果表明,该方法生成的数据中有效样本占73.82%,较两个主流的基于图神经网络的漏洞检测模型在各项评估指标上均对原始结果有优化,其中F1值相比无增强方法平均提升168.85%,相比最优基线方法平均提升8.21%。 展开更多
关键词 漏洞检测 代码生成 数据增强 大语言模型
在线阅读 下载PDF
基于大语言模型的肺癌中药处方推荐研究
11
作者 周宗桢 王欣宇 +1 位作者 杨涛 胡孔法 《南京中医药大学学报》 北大核心 2025年第7期980-986,共7页
目的针对中医处方推荐问题,利用中医专家的肺癌临床病案来自动化生成处方,为用药规律研究、中医临床辅助决策提供参考。方法将中药处方推荐任务转化为文本生成任务,利用基于GLM结构的CHATGLM3模型对肺癌病案进行训练,学习中医专家治疗... 目的针对中医处方推荐问题,利用中医专家的肺癌临床病案来自动化生成处方,为用药规律研究、中医临床辅助决策提供参考。方法将中药处方推荐任务转化为文本生成任务,利用基于GLM结构的CHATGLM3模型对肺癌病案进行训练,学习中医专家治疗肺癌的内在经验知识,提升模型处方生成的效果,并与传统的生成式模型进行比较。结果将肺癌病案内的中医知识融入大语言模型中可有效提升模型的处方生成能力,特别是在生成中医专家常用核心药物方面,模型表现出了较高的倾向性,能够提供丰富且有价值的参考信息。肺癌中药处方推荐模型在BLEU、ROUGE、METEOR指标上取得了64.62%、55.78%、47.39%的效果,并且在前5、10、15、20味中药处方中取得67.79%、63.66%、56.76%、51.93%的准确率,优于基线模型。结论肺癌中药处方推荐模型相较于传统生成式模型取得了较好的处方生成效果,表明其可以从病案中学习肺癌诊疗方面的知识,从而生成符合中医治疗原则的中药处方,也为未来辅助临床决策等提供可能的方向。 展开更多
关键词 大语言模型 处方推荐 中医药 文本生成 肺癌 GLM结构 CHATGLM3模型
在线阅读 下载PDF
面向语言学习者的跨语言反馈评语生成方法
12
作者 安纪元 朱琳 杨尔弘 《中文信息学报》 北大核心 2025年第7期148-161,共14页
反馈评语生成是近年来自然语言处理研究的一个热点任务,旨在为语言学习者的作文提供纠偏及解释性的评价,以帮助学习者理解并内化语言规则,从而提高写作水平。现有研究主要聚焦于单一语言的反馈评语生成,忽略了非母语学习者可能面临的理... 反馈评语生成是近年来自然语言处理研究的一个热点任务,旨在为语言学习者的作文提供纠偏及解释性的评价,以帮助学习者理解并内化语言规则,从而提高写作水平。现有研究主要聚焦于单一语言的反馈评语生成,忽略了非母语学习者可能面临的理解障碍,以及评语中存在陌生语言知识等问题。该文提出了一种新的跨语言反馈评语生成(CLFCG)任务,其目的是为汉语母语者学习英语提供汉语的反馈评语。首先,通过构建首个英-汉跨语言反馈评语数据集,探索了大语言模型(如GPT-4)和预训练语言模型(如mBART、mT5)在该任务上的性能,并针对预训练语言模型,分析了修正编辑、线索词语和语法术语等附加信息对反馈评语生成效果的影响。其次,该文提出了一种基于大语言模型的评估方法,以更加准确地评估反馈评语生成效果。实验结果显示,基于微调的预训练语言模型能够更好地对齐人类教师的评语,但其生成的准确性略逊于采用少样本学习策略的GPT-4模型。最后,该文对实验结果进行了深入讨论和分析,以期为跨语言反馈评语生成任务提供更多思路和见解。 展开更多
关键词 智能辅助语言学习 反馈评语生成 语言文本生成 预训练语言模型 大语言模型
在线阅读 下载PDF
基于大语言模型的模糊测试研究综述 被引量:1
13
作者 李岩 杨文章 +1 位作者 张翼 薛吟兴 《软件学报》 北大核心 2025年第6期2404-2431,共28页
模糊测试是一种自动化的软件测试方法,通过向目标软件系统输入大量自动生成的测试数据,以发现系统潜在的安全漏洞、软件缺陷或异常行为.然而,传统模糊测试技术受限于自动化程度低、测试效率低、代码覆盖率低等因素,无法应对现代的大型... 模糊测试是一种自动化的软件测试方法,通过向目标软件系统输入大量自动生成的测试数据,以发现系统潜在的安全漏洞、软件缺陷或异常行为.然而,传统模糊测试技术受限于自动化程度低、测试效率低、代码覆盖率低等因素,无法应对现代的大型软件系统.近年来,大语言模型的迅猛发展不仅为自然语言处理领域带来重大突破,也为模糊测试领域带来了新的自动化方案.因此,为了更好地提升模糊测试技术的效果,现有的工作提出了多种结合大语言模型的模糊测试方法,涵盖了测试输入生成、缺陷检测、后模糊处理等模块.但是现有工作缺乏对基于大语言模型的模糊测试技术的系统性调研和梳理讨论,为了填补上述综述方面的空白,对现有的基于大语言模型的模糊测试技术的研究发展现状进行全面的分析和总结.主要内容包括:(1)概述模糊测试的整体流程和模糊测试研究中常用的大语言模型相关技术;(2)讨论大模型时代之前的基于深度学习的模糊测试方法的局限性;(3)分析大语言模型在模糊测试方法中不同环节的应用方式;(4)探讨大语言模型技术在模糊测试中的主要挑战和今后可能的发展方向. 展开更多
关键词 大语言模型 模糊测试 测试输入生成 缺陷检测 后模糊处理
在线阅读 下载PDF
生成式大语言模型在中文放射医学领域的应用研究 被引量:7
14
作者 陈龙飞 高鑫 +3 位作者 侯皓天 叶初阳 刘亚欧 张美慧 《计算机科学与探索》 CSCD 北大核心 2024年第9期2337-2348,共12页
在中文放射医学领域中,影像学报告是临床决策的重要依据。因此,利用自然语言处理(NLP)技术来理解和学习影像学报告的文本内容,并以此辅助完成放射科临床工作,已成为该领域的重要研究方向。然而,在使用传统方法处理基于中文影像学报告的... 在中文放射医学领域中,影像学报告是临床决策的重要依据。因此,利用自然语言处理(NLP)技术来理解和学习影像学报告的文本内容,并以此辅助完成放射科临床工作,已成为该领域的重要研究方向。然而,在使用传统方法处理基于中文影像学报告的自然语言分类与生成任务时,仍然面临训练语料匮乏且涉及隐私、模型泛化能力较差等限制导致的综合性能不足的情况。针对上述问题,提出了一种基于本地高效微调大语言模型的中文放射医学领域自然语言任务解决方案。通过收集并构建大规模高质量中文影像学报告自然语言任务数据集,采用LoRA高效微调方法对开源大语言模型Baichuan2进行有监督微调训练,提出了能够同时解决四种中文放射医学领域临床任务的“龙影大模型”。提出了一套中文放射医学领域自然语言分类与生成任务评价体系。在来自两家中心的三个医学影像种类的报告数据集上进行了多组实验,并与几种典型现有方法进行了对比,结果显示所提方法在分类性能、文本总结与扩充能力和模型泛化性上表现更好。 展开更多
关键词 大语言模型 影像学报告 文本分类 文本生成 高效微调策略
在线阅读 下载PDF
基于大语言模型的科幻成语解释研究
15
作者 李硕 张寒 +3 位作者 姜丹 肖克晶 杨彦红 曹少中 《印刷与数字媒体技术研究》 北大核心 2025年第5期58-67,共10页
现代成语教学面临着内容抽象、形式单一等问题,人工创作符合现代思维的情景化案例需耗费大量人力物力。为了解决这一问题,本研究利用大型语言模型(Large Language Models,LLMs)为成语生成科幻文本解释。LLMs在通用文本生成领域中表现突... 现代成语教学面临着内容抽象、形式单一等问题,人工创作符合现代思维的情景化案例需耗费大量人力物力。为了解决这一问题,本研究利用大型语言模型(Large Language Models,LLMs)为成语生成科幻文本解释。LLMs在通用文本生成领域中表现突出,然而在需要结合领域知识的复杂任务中仍存在不足。为了提升LLMs在科幻情景下解释成语的能力,本研究首先构建包含12976条样本的成语解析样本和4675部中文科幻作品作为原始数据,经过数据清洗后的数据集用LoRA、DoRA、AdaLoRA三种微调方法对四种大模型进行微调,随后综合评估模型性能。实验表明,三种微调方法均能显著提升模型在科幻语境下的成语解释能力,其中DeepSeek-7B经过AdaLoRA微调后表现最好。本研究为提升大语言模型的跨领域文本生成能力提供了可借鉴的方法。 展开更多
关键词 成语解释 科幻文本生成 大语言模型 微调
在线阅读 下载PDF
基于知识增强大语言模型的零样本电力设备本体缺陷等级识别方法
16
作者 陈佳琦 盛爽 +3 位作者 林嘉曦 李勇乐 彭艳开 许冲 《高技术通讯》 北大核心 2025年第4期429-439,共11页
知识检索增强技术通过引入外部知识库有效缓解了大语言模型(large language models,LLM)的幻觉问题与知识滞后性,成为提升领域任务性能的关键范式。本文针对电网设备缺陷等级识别任务中标注样本缺乏、知识利用率低与可解释性不足的问题... 知识检索增强技术通过引入外部知识库有效缓解了大语言模型(large language models,LLM)的幻觉问题与知识滞后性,成为提升领域任务性能的关键范式。本文针对电网设备缺陷等级识别任务中标注样本缺乏、知识利用率低与可解释性不足的问题,提出了一种零样本的知识增强的大语言模型协同推理框架。构建了层次化树状知识库,设计语义最相关的二阶段检索算法提升知识获取效率,并创新性地融合大语言模型先验知识与检索知识进行多阶段推理验证。该方法在218例测试数据上取得54.17%的分类准确率,较无知识检索方法提升了14.26%,同时通过思维链提示生成可验证的解释文本。此外,该方法为零样本,不需要标注数据进行训练。实验结果表明,本方法有效发挥了专业领域知识与通用知识的协同作用,为电力设备缺陷自动检测提供了准确与可解释的解决方案。 展开更多
关键词 检索增强生成 大语言模型 电网设备缺陷检测 知识库构建 多阶段推理
在线阅读 下载PDF
面向中国海关进出口商品税率检测的预训练语言模型CC-BERT
17
作者 周成杰 车超 +1 位作者 张强 周东生 《中文信息学报》 CSCD 北大核心 2024年第10期155-164,共10页
判定商品税率以便进行税收是海关最重要的职能之一,其肩负着国家财政收入与再分配的重要作用。预训练语言模型(BERT)的提出,刷新了众多自然语言处理任务的最优结果。但是由于海关文本数据的特殊性,导致BERT在海关进出口商品税率检测(文... 判定商品税率以便进行税收是海关最重要的职能之一,其肩负着国家财政收入与再分配的重要作用。预训练语言模型(BERT)的提出,刷新了众多自然语言处理任务的最优结果。但是由于海关文本数据的特殊性,导致BERT在海关进出口商品税率检测(文本分类)任务中表现较差。针对这个问题,该文提出一种新的预训练语言模型CC-BERT。在模型预训练阶段,提出了全要素掩蔽策略以及预测规格型号与申报要素是否对齐(NCA)两种全新的预训练策略。CC-BERT可以降低既定文本顺序对模型性能的负反馈,以及加强规格型号与申报要素之间的联系。在真实的海关税率检测任务上的实验结果表明,该方法具有更强的鲁棒性,分类性能指标优于基线模型,F_(1)值在两个数据集上分别达到90.52%和80.10%。 展开更多
关键词 预训练语言模型 税率检测 结构化文本
在线阅读 下载PDF
基于预训练语言模型和标签指导的文本复述生成方法 被引量:2
18
作者 梁佳音 谢志鹏 《计算机科学》 CSCD 北大核心 2023年第8期150-156,共7页
文本复述生成是自然语言处理中一项重要且具有挑战性的任务。最近很多工作将句子不同粒度的句法结构信息用于指导复述生成过程,取得了一定的效果,然而这些方法大多比较复杂,迁移使用困难。另外,预训练语言模型因学习到大量语言知识而在... 文本复述生成是自然语言处理中一项重要且具有挑战性的任务。最近很多工作将句子不同粒度的句法结构信息用于指导复述生成过程,取得了一定的效果,然而这些方法大多比较复杂,迁移使用困难。另外,预训练语言模型因学习到大量语言知识而在各项自然语言处理任务中表现出了较好的性能,然而将其用在复述生成任务中的工作较少。针对这些问题,文中提出了基于预训练语言模型和标签指导的复述生成方法。该方法在复述任务上微调预训练语言模型以提升效果,同时用简单的标签插入方式为复述生成模型提供句法结构指导。实验结果表明,这种标签插入结合预训练语言模型的方法在ParaNMT和Quora数据集上的性能优于传统Seq2Seq方法,并且用该方法做数据增强能为下游任务带来效果提升。 展开更多
关键词 文本复述生成 预训练语言模型 数据增强
在线阅读 下载PDF
问答篇章生成系统中的用户模型和文本规划 被引量:4
19
作者 吴华 黄泰翼 《中文信息学报》 CSCD 北大核心 2001年第4期28-34,共7页
在问答生成系统中 ,如果系统首先了解用户对问题所涉及的领域知识的掌握程度 ,系统则能根据这些知识组织文本 ,生成符合用户需要的内容 ,更好地进行人机交互。本文以花卉知识查询系统为基础 ,探索了用户知识对生成结果的影响 ,以及用户... 在问答生成系统中 ,如果系统首先了解用户对问题所涉及的领域知识的掌握程度 ,系统则能根据这些知识组织文本 ,生成符合用户需要的内容 ,更好地进行人机交互。本文以花卉知识查询系统为基础 ,探索了用户知识对生成结果的影响 ,以及用户模型与文本规划之间的相互作用。实验结果表明 :用户知识模型不但影响生成的内容 ,而且影响生成内容的风格。在此系统中 ,我们采取两种基本生成策略 :Schema方法和Process方法 。 展开更多
关键词 用户模型 文本规划 汉语生成 问答篇章生成系统 自然语言处理 Schema方法 Process方法
在线阅读 下载PDF
基于扩散生成对抗网络的文本生成图像模型研究 被引量:6
20
作者 赵宏 李文改 《电子与信息学报》 EI CSCD 北大核心 2023年第12期4371-4381,共11页
文本生成图像是一项结合计算机视觉(CV)和自然语言处理(NLP)领域的综合性任务。以生成对抗网络(GANs)为基础的方法在文本生成图像方面取得了显著进展,但GANs方法的模型存在训练不稳定的问题。为解决这一问题,该文提出一种基于扩散Wasser... 文本生成图像是一项结合计算机视觉(CV)和自然语言处理(NLP)领域的综合性任务。以生成对抗网络(GANs)为基础的方法在文本生成图像方面取得了显著进展,但GANs方法的模型存在训练不稳定的问题。为解决这一问题,该文提出一种基于扩散Wasserstein生成对抗网络(WGAN)的文本生成图像模型(D-WGAN)。在DWGAN中,利用向判别器中输入扩散过程中随机采样的实例噪声,在实现模型稳定训练的同时,生成高质量和多样性的图像。考虑到扩散过程的采样成本较高,引入一种随机微分的方法,以简化采样过程。为了进一步对齐文本与图像的信息,提出使用基于对比学习的语言-图像预训练模型(CLIP)获得文本与图像信息之间的跨模态映射关系,从而提升文本和图像的一致性。在MSCOCO,CUB-200数据集上的实验结果表明,D-WGAN在实现稳定训练的同时,与当前最好的方法相比,FID分数分别降低了16.43%和1.97%,IS分数分别提升了3.38%和30.95%,说明D-WGAN生成的图像质量更高,更具有实用价值。 展开更多
关键词 文本生成图像 生成对抗网络 扩散过程 对比学习的语言-图像预训练模型 语义匹配
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部