期刊文献+
共找到604篇文章
< 1 2 31 >
每页显示 20 50 100
Event-driven process execution model for process virtual machine 被引量:3
1
作者 WU Dong-yao WEI Jun GAO Chu-shu DOU Wen-shen 《计算机集成制造系统》 EI CSCD 北大核心 2012年第8期1675-1685,共11页
Current orchestration and choreography process engines only serve with dedicate process languages.To solve these problems,an Event-driven Process Execution Model(EPEM) was developed.Formalization and mapping principle... Current orchestration and choreography process engines only serve with dedicate process languages.To solve these problems,an Event-driven Process Execution Model(EPEM) was developed.Formalization and mapping principles of the model were presented to guarantee the correctness and efficiency for process transformation.As a case study,the EPEM descriptions of Web Services Business Process Execution Language(WS-BPEL) were represented and a Process Virtual Machine(PVM)-OncePVM was implemented in compliance with the EPEM. 展开更多
关键词 business process modeling event-driven architecture process virtual machine service orchestration process execution language
在线阅读 下载PDF
大语言模型综述与展望 被引量:17
2
作者 秦小林 古徐 +1 位作者 李弟诚 徐海文 《计算机应用》 北大核心 2025年第3期685-696,共12页
大语言模型(LLM)是由具有大量参数(通常数十亿个权重或更多)的人工神经网络组成的一类语言模型,使用自监督学习或半监督学习对大量未标记文本进行训练,是当前生成式人工智能(AI)技术的核心。与传统语言模型相比,LLM通过大量的算力、参... 大语言模型(LLM)是由具有大量参数(通常数十亿个权重或更多)的人工神经网络组成的一类语言模型,使用自监督学习或半监督学习对大量未标记文本进行训练,是当前生成式人工智能(AI)技术的核心。与传统语言模型相比,LLM通过大量的算力、参数和数据支持,展现出更强的语言理解与生成能力,广泛应用于机器翻译、问答系统、对话生成等众多任务中并表现卓越。现有的综述大多侧重于LLM的理论架构与训练方法,对LLM的产业级应用实践及技术生态演进的系统性探讨仍显不足。因此,在介绍LLM的基础架构、训练技术及发展历程的基础上,分析当前通用的LLM关键技术和以LLM为底座的先进融合技术。通过归纳总结现有研究,进一步阐述LLM在实际应用中面临的挑战,包括数据偏差、模型幻觉和计算资源消耗等问题,并对LLM的持续发展趋势进行展望。 展开更多
关键词 大语言模型 智能体 自然语言处理 检索增强生成 模型幻觉
在线阅读 下载PDF
医疗领域的大型语言模型综述 被引量:1
3
作者 肖建力 许东舟 +4 位作者 王浩 刘敏 周雷 朱林 顾松 《智能系统学报》 北大核心 2025年第3期530-547,共18页
深度学习是人工智能领域的热门研究方向之一,它通过构建多层人工神经网络模仿人脑对数据的处理机制。大型语言模型(large language model,LLM)基于深度学习的架构,在无需编程指令的情况下,能通过分析大量数据以获得理解和生成人类语言... 深度学习是人工智能领域的热门研究方向之一,它通过构建多层人工神经网络模仿人脑对数据的处理机制。大型语言模型(large language model,LLM)基于深度学习的架构,在无需编程指令的情况下,能通过分析大量数据以获得理解和生成人类语言的能力,被广泛应用于自然语言处理、计算机视觉、智慧医疗、智慧交通等诸多领域。文章总结了LLM在医疗领域的应用,涵盖了LLM针对医疗任务的基本训练流程、特殊策略以及在具体医疗场景中的应用。同时,进一步讨论了LLM在应用中面临的挑战,包括决策过程缺乏透明度、输出准确性以及隐私、伦理问题等,随后列举了相应的改进策略。最后,文章展望了LLM在医疗领域的未来发展趋势,及其对人类健康事业发展的潜在影响。 展开更多
关键词 人工智能 深度学习 TRANSFORMER 大型语言模型 智慧医疗 数据分析 图像处理 计算机视觉
在线阅读 下载PDF
自然语言处理的深度学习模型综述 被引量:4
4
作者 何雪锋 周洁 +1 位作者 陈德光 廖海 《计算机应用与软件》 北大核心 2025年第2期1-19,101,共20页
模型作为自然语言处理的关键,直接关系到最终性能。该文介绍自然语言处理中涉及到的模型。按照规则与统计的方法从发布时间、特点、优缺点与适用范围等方面对传统自然语言处理模型进行介绍;重点将神经网络依据不同的技术划分为不同的类... 模型作为自然语言处理的关键,直接关系到最终性能。该文介绍自然语言处理中涉及到的模型。按照规则与统计的方法从发布时间、特点、优缺点与适用范围等方面对传统自然语言处理模型进行介绍;重点将神经网络依据不同的技术划分为不同的类型,对每种类型进行介绍并总结其相应特性;对以BERT为基础的两大类改进模型进行具体介绍并对每种模型进行归纳;分析目前自然语言处理模型面临的挑战与对应的解决办法;对未来工作进行展望。 展开更多
关键词 自然语言处理 语言模型 人工智能
在线阅读 下载PDF
大语言模型参数高效微调技术综述 被引量:1
5
作者 秦董洪 李政韬 +3 位作者 白凤波 董路宽 张慧 徐晨 《计算机工程与应用》 北大核心 2025年第16期38-63,共26页
近年来,自然语言处理领域的训练范式和模型规模发生显著变化,从特定任务的监督学习转向全量微调大规模预训练模型。然而,模型参数的激增导致全量微调计算成本高昂。“参数高效微调”技术应运而生,通过仅微调部分参数或引入少量新参数,... 近年来,自然语言处理领域的训练范式和模型规模发生显著变化,从特定任务的监督学习转向全量微调大规模预训练模型。然而,模型参数的激增导致全量微调计算成本高昂。“参数高效微调”技术应运而生,通过仅微调部分参数或引入少量新参数,显著降低成本并保持性能。对近年来参数高效微调技术中最具代表性和最前沿的方法进行了简要介绍和系统分析,涵盖设计理念与核心算法,并对不同方法的特性、优势、不足以及适用场景进行了归纳和分析,并进一步对比了不同种类中同系列的多种方法,分析了同系列方法在设计理念上的演进趋势,提供了当前研究现状的全面概述。最后对参数高效微调技术进行整体的分析与展望,提出未来该技术可能的优化方向,并结合实践提出该技术在实际工程应用中可行的技术方案。 展开更多
关键词 参数高效微调技术 深度学习 自然语言处理 模型优化
在线阅读 下载PDF
基于大语言模型的中文多义词义项融合技术研究 被引量:1
6
作者 尹宝生 宗辰 《计算机科学》 北大核心 2025年第S1期53-59,共7页
针对中文的一词多义特点,基于现有各类汉语词典资源构建一个义项全面、描述规范的中文多义词知识库,对于汉语语义分析、智能问答、机器翻译以及大语言模型消歧能力调优和评估等具有重要意义。文中针对《现代汉语词典》和《现代汉语规范... 针对中文的一词多义特点,基于现有各类汉语词典资源构建一个义项全面、描述规范的中文多义词知识库,对于汉语语义分析、智能问答、机器翻译以及大语言模型消歧能力调优和评估等具有重要意义。文中针对《现代汉语词典》和《现代汉语规范词典》等资源整合过程中“词条义项含义相同但描述不同”等问题进行了深入分析,并创新性地提出了基于大语言模型和提示学习的多义词义项融合技术,即充分利用大语言模型对常识知识的分析理解和辅助决策能力,通过有效的问题分解策略和提示模版设计,以及义项关系交叉验证等手段完成了多义词义项的自动化融合工作。实验结果表明,在通过正态分布抽取50个多义词共754个义项对的评测数据上,基于上述算法的义项融合的正确率达96.26%,Dice系数为0.973 3。该项研究验证了利用大语言模型开展中文知识资源自动化加工的可行性和有效性,与传统依赖语言专家加工模式相比,在保证较高质量的前提下,显著提升了知识加工效率。 展开更多
关键词 多义词 义项融合 大语言模型 提示学习 中文信息处理
在线阅读 下载PDF
面向古籍文献智能处理的大语言模型效能测评
7
作者 文玉锋 林伟杰 +1 位作者 夏翠娟 周文杰 《图书馆论坛》 北大核心 2025年第8期52-60,共9页
古籍文献是中华优秀传统文化的重要载体,对其内容结构进行有效揭示具有重要意义。大语言模型为古籍文献的“活化”提供了技术潜力,但其能力需通过科学严谨的测评加以验证。文章选取豆包、DeepSeek等14种大语言模型,以2022-2024年高考语... 古籍文献是中华优秀传统文化的重要载体,对其内容结构进行有效揭示具有重要意义。大语言模型为古籍文献的“活化”提供了技术潜力,但其能力需通过科学严谨的测评加以验证。文章选取豆包、DeepSeek等14种大语言模型,以2022-2024年高考语文试卷文言文题目为语料,对古籍文献基础智能处理能力进行测评。由于知识图谱构建受基础能力的影响,基于测评结果,选择排名靠前的豆包和DeepSeek,以《史记·朝鲜列传》为语料,对两个大模型在知识图谱构建的信度、效度方面进行测评。研究发现,大语言模型具备基本古籍文献内容理解的能力,综合断句、逻辑判断、翻译和总结归纳四个维度,豆包与DeepSeek表现较为突出;豆包和DeepSeek的古籍文献知识图谱构建信效度检验结果显示,豆包大模型表现更优。 展开更多
关键词 古籍文献 大语言模型 智能处理 效能测评
在线阅读 下载PDF
深层语义特征增强的ReLM中文拼写纠错模型
8
作者 张伟 牛家祥 +1 位作者 马继超 沈琼霞 《计算机应用》 北大核心 2025年第8期2484-2490,共7页
ReLM(Rephrasing Language Model)是当前性能领先的中文拼写纠错(CSC)模型。针对它在复杂语义场景中存在特征表达不足的问题,提出深层语义特征增强的ReLM——FeReLM(Feature-enhanced Rephrasing Language Model)。该模型利用深度可分... ReLM(Rephrasing Language Model)是当前性能领先的中文拼写纠错(CSC)模型。针对它在复杂语义场景中存在特征表达不足的问题,提出深层语义特征增强的ReLM——FeReLM(Feature-enhanced Rephrasing Language Model)。该模型利用深度可分离卷积(DSC)技术融合特征提取模型BGE(BAAI General Embeddings)生成的深层语义特征与ReLM生成的整体特征,从而有效提升模型对复杂上下文的解析力和拼写错误的识别纠正精度。首先,在Wang271K数据集上训练FeReLM,使模型持续学习句子中的深层语义和复杂表达;其次,迁移训练好的权重,从而将模型学习到的知识应用于新的数据集并进行微调。实验结果表明,在ECSpell和MCSC数据集上与ReLM、MCRSpell(Metric learning of Correct Representation for Chinese Spelling Correction)和RSpell(Retrieval-augmented Framework for Domain Adaptive Chinese Spelling Check)等模型相比,FeReLM的精确率、召回率、F1分数等关键指标的提升幅度可达0.6~28.7个百分点。此外,通过消融实验验证了所提方法的有效性。 展开更多
关键词 自然语言处理 特征增强 中文拼写纠错 语义融合 文本纠错 预训练语言模型
在线阅读 下载PDF
土木工程专业知识驱动大语言模型构建与评测体系
9
作者 周颖 孟诗乔 +1 位作者 徐灏然 冷皓 《同济大学学报(自然科学版)》 北大核心 2025年第6期831-840,共10页
为解决通用大语言模型在土木工程领域应用中缺乏专业知识而导致的局限性问题,提出了一种专为土木工程领域设计的知识大模型―CivilGPT。通过多步骤的技术路线构建了CivilGPT模型,包括数据预处理、建立专业知识图谱、生成和优化自动化数... 为解决通用大语言模型在土木工程领域应用中缺乏专业知识而导致的局限性问题,提出了一种专为土木工程领域设计的知识大模型―CivilGPT。通过多步骤的技术路线构建了CivilGPT模型,包括数据预处理、建立专业知识图谱、生成和优化自动化数据集、分阶段预训练和微调,以及与工程任务的对齐,确保模型能够在土木工程领域实现准确的知识表达和推理能力。此外,建立了基于土木工程资格考试的标准化评测框架Civil-Bench,涵盖13类注册工程师考试题目,包含14823道客观题和269道主观题。通过测试15个国内外语言模型,结果显示CivilGPT在土木工程知识理解、推理能力和复杂问题解决方面具有显著优势。该研究为土木工程领域智能化发展奠定了技术基础,为其他专业领域模型开发提供了重要参考。 展开更多
关键词 土木工程 大语言模型 CivilGPT 领域知识图谱 Civil-Bench评测框架
在线阅读 下载PDF
基于抽象标签序列与大语言模型的业务过程自动生成
10
作者 朱锐 肖鸿浩 +4 位作者 李文鑫 胡泉舟 宋俊巧 胡胜男 陈晔婷 《计算机集成制造系统》 北大核心 2025年第5期1639-1650,共12页
大语言模型的迅速发展对企业领域的业务过程管理产生了提高效率、降低成本、增强客户体验和促进创新等显著影响。业务过程管理(BPM)中的业务过程自动生成具有模拟业务过程进行业务改进以及将复杂的业务过程可视化等重大意义。所提出的... 大语言模型的迅速发展对企业领域的业务过程管理产生了提高效率、降低成本、增强客户体验和促进创新等显著影响。业务过程管理(BPM)中的业务过程自动生成具有模拟业务过程进行业务改进以及将复杂的业务过程可视化等重大意义。所提出的业务过程自动生成方法能够整合到实际业务场景中,以帮助改善业务过程并提高效率。所提方法分为以下几个部分,首先将业务过程文本经过信号词库转化为抽象标签序列,其次构建提示模板从大语言模型中得到抽象标签的邻接表从而确定抽象标签之间的连接关系得到一张初始图,随后将初始图输入到归纳式图神经网络进行监督学习训练,最后预测出活动间直接时序关系并将其转化为过程图。实验表明,所提方法在预测活动间时序关系的总体F1-分数达到了0.67,在预测顺序、并发和无关系的时序关系上领先基线方法和大语言模型的方法,在选择关系上能够领先基线方法但落后于大语言模型的方法。 展开更多
关键词 大语言模型 业务过程管理 业务过程自动生成 图神经网络
在线阅读 下载PDF
智慧教育中的大语言模型综述
11
作者 肖建力 黄星宇 姜飞 《智能系统学报》 北大核心 2025年第5期1054-1070,共17页
近年来,人工智能技术在教育领域的广泛应用正逐步革新现代教育的模式,教育面临新的机遇和挑战。特别是随着大语言模型的兴起,人工智能有望融入到教与学的过程中,教育模式由传统的师−生二元模式正转变为师−生−机三元模式。文章以教育领... 近年来,人工智能技术在教育领域的广泛应用正逐步革新现代教育的模式,教育面临新的机遇和挑战。特别是随着大语言模型的兴起,人工智能有望融入到教与学的过程中,教育模式由传统的师−生二元模式正转变为师−生−机三元模式。文章以教育领域内应用的大语言模型为研究焦点,介绍了大语言模型在教育中的特点。以当前主流的几种大语言模型为例,详细阐述这些模型在教育中的实际应用情况,总结了目前教育大模型的共性以及差异性特点。还探讨了如何开发和训练满足教育需求的定制化大语言模型,这一过程对实际应用至关重要。基于训练完成的教育大模型,进一步阐释了其存在的局限性,并展望了未来教育领域可能出现的新型大模型及其发展趋势。 展开更多
关键词 人工智能 智慧教育 大模型 教育技术 自然语言处理 教育应用 多模态学习 学习分析
在线阅读 下载PDF
基于GTM和指标评估的技术机会智能识别与预测方法
12
作者 张辉 姚茹 +3 位作者 赵静娟 贾倩 齐世杰 串丽敏 《情报杂志》 北大核心 2025年第11期136-145,共10页
[研究目的]准确识别技术创新机会,能够为政府部门制定学科发展政策、优化科研资助方向提供决策参考,为科研机构和企业优化科研布局、推动技术研发与科技创新提供方向指引。[研究方法]基于自然语言处理技术、深度学习、生成式拓扑映射(Ge... [研究目的]准确识别技术创新机会,能够为政府部门制定学科发展政策、优化科研资助方向提供决策参考,为科研机构和企业优化科研布局、推动技术研发与科技创新提供方向指引。[研究方法]基于自然语言处理技术、深度学习、生成式拓扑映射(Generative Topographic Mapping,GTM)等方法,对学术文献内容进行挖掘与分析,识别关键技术词语与技术空白组合,并从可用性、新颖性、增长性、关联性、共现性等5个维度对技术空白组合的创新机会进行科学合理的评估,并选取基因编辑技术在作物育种中的技术机会进行识别与预测。[研究结果/结论]研究结果表明,基因功能和调控机理的研究策略,抗病解析和非生物胁迫分子遗传生物学的完整研究链条,基因功能解析、调控机制以及植物对生物逆境的响应等方向,具有较高的技术创新机会,验证了方法的可行性,为揭示基因编辑技术在作物育种领域发展趋势及技术创新提供了支撑。 展开更多
关键词 技术创新 GTM模型 指标特征 技术机会识别 技术机会预测 自然语言处理 深度学习
在线阅读 下载PDF
大模型在垂直领域应用的现状与挑战 被引量:5
13
作者 籍欣萌 昝红英 +1 位作者 崔婷婷 张坤丽 《计算机工程与应用》 北大核心 2025年第12期1-11,共11页
近年来,以ChatGPT为代表的大语言模型在多个领域受到广泛的关注,并取得优异的表现,推动了人工智能技术的新一轮发展浪潮。目前国产大模型数量已有上百个,覆盖多个行业领域,应用场景也不断扩展。为了更好地应对大模型在自然语言处理中的... 近年来,以ChatGPT为代表的大语言模型在多个领域受到广泛的关注,并取得优异的表现,推动了人工智能技术的新一轮发展浪潮。目前国产大模型数量已有上百个,覆盖多个行业领域,应用场景也不断扩展。为了更好地应对大模型在自然语言处理中的发展及其对通用任务和领域应用带来的冲击,对自然语言处理和大模型的发展历程进行回顾,阐述了当前大模型的相关技术以及大模型在医疗、法律、金融等垂直领域的应用,并对大模型在应用过程中面临的挑战如能力缺陷、协同问题等作出分析。最后,针对这些问题探讨了大模型在实际应用中的未来研究方向。 展开更多
关键词 自然语言处理 人工智能 大语言模型 垂直领域
在线阅读 下载PDF
大模型时代下的汉语自然语言处理研究与探索 被引量:7
14
作者 黄施洋 奚雪峰 崔志明 《计算机工程与应用》 北大核心 2025年第1期80-97,共18页
自然语言处理是实现人机交互的关键步骤,而汉语自然语言处理(Chinese natural language processing,CNLP)是其中的重要组成部分。随着大模型技术的发展,CNLP进入了一个新的阶段,这些汉语大模型具备更强的泛化能力和更快的任务适应性。然... 自然语言处理是实现人机交互的关键步骤,而汉语自然语言处理(Chinese natural language processing,CNLP)是其中的重要组成部分。随着大模型技术的发展,CNLP进入了一个新的阶段,这些汉语大模型具备更强的泛化能力和更快的任务适应性。然而,相较于英语大模型,汉语大模型在逻辑推理和文本理解能力方面仍存在不足。介绍了图神经网络在特定CNLP任务中的优势,进行了量子机器学习在CNLP发展潜力的调查。总结了大模型的基本原理和技术架构,详细整理了大模型评测任务的典型数据集和模型评价指标,评估比较了当前主流的大模型在CNLP任务中的效果。分析了当前CNLP存在的挑战,并对CNLP任务的未来研究方向进行了展望,希望能帮助解决当前CNLP存在的挑战,同时为新方法的提出提供了一定的参考。 展开更多
关键词 汉语自然语言处理 图神经网络 量子机器学习 汉语大模型
在线阅读 下载PDF
大语言模型GPT在医疗文本中的应用综述 被引量:1
15
作者 田崇腾 刘静 +1 位作者 王晓燕 李明 《计算机科学与探索》 北大核心 2025年第8期2043-2056,共14页
医疗文本是医学知识记录与传递的重要载体,但随着医疗数据的迅猛增长,传统的人工处理方式已难以满足日益增长的效率与准确性需求。近年来,以GPT为代表的大语言模型在自然语言处理领域取得突破,具备强大的语言理解与生成能力,为高效处理... 医疗文本是医学知识记录与传递的重要载体,但随着医疗数据的迅猛增长,传统的人工处理方式已难以满足日益增长的效率与准确性需求。近年来,以GPT为代表的大语言模型在自然语言处理领域取得突破,具备强大的语言理解与生成能力,为高效处理医疗文本提供了新思路。介绍了大语言模型GPT的核心技术原理,并重点分析其在医疗数据处理、辅助医患沟通、医学教育支持、疾病预防管理以及多模态综合应用等五大领域中的实际应用;系统总结了大语言模型GPT在医疗文本处理方面所展现出的信息整合效率高、医学知识储备丰富等方面的优势;深入探讨了其在实际应用中暴露的问题,并给出了具有可行性的解决思路与技术优化方向;结合当前技术发展趋势,展望了大语言模型在医疗领域的未来应用前景。 展开更多
关键词 大语言模型 医疗文本 GPT 自然语言处理
在线阅读 下载PDF
基于大语言模型的智能问答系统研究综述 被引量:28
16
作者 任海玉 刘建平 +4 位作者 王健 顾勋勋 陈曦 张越 赵昌顼 《计算机工程与应用》 北大核心 2025年第7期1-24,共24页
智能问答是自然语言处理中的一个核心的子领域,旨在理解并回答用户提出的自然语言问题的系统。传统的问答系统通常依赖于预定义的规则和有限的语料库,无法处理复杂的多轮对话。大语言模型是一种基于深度学习技术的自然语言处理模型,拥... 智能问答是自然语言处理中的一个核心的子领域,旨在理解并回答用户提出的自然语言问题的系统。传统的问答系统通常依赖于预定义的规则和有限的语料库,无法处理复杂的多轮对话。大语言模型是一种基于深度学习技术的自然语言处理模型,拥有数十亿甚至上千亿个参数,不仅能够理解和生成自然语言,还能显著提升问答系统的准确性和效率,推动智能问答技术的发展。近年来,基于大模型技术的智能问答逐渐成为研究热点,但对该领域的系统性综述仍然较为欠缺。因此,针对大模型的智能问答系统进行系统综述,介绍了问答系统的基本概念和数据集及其评价指标;介绍了基于大模型的问答系统,其中包括基于提示学习的问答系统、基于知识图谱的问答系统、基于检索增强生成的问答系统和基于智能代理的问答系统以及微调在问答任务中的技术路线,并对比了五种方法在问答系统中的优缺点和应用场景;对于当前基于大语言模型的问答系统面临的研究挑战和未来发展趋势进行了总结。 展开更多
关键词 大语言模型 智能问答 自然语言处理 检索增强生成 提示学习 知识图谱
在线阅读 下载PDF
基于大语言模型的业务流程自动建模方法 被引量:1
17
作者 刘瑞祥 柳先辉 +1 位作者 赵卫东 朱城林 《计算机集成制造系统》 北大核心 2025年第6期2001-2014,共14页
为了提高项目或企业在业务流程模型构建过程的自动化程度并有效利用流程的非结构数据,提出一种基于大语言模型(LLMs)的业务流程自动建模方法。在该建模方法框架中,采用大语言模型构建输入采集模块,接受自然语言文本等非结构化形式输入;... 为了提高项目或企业在业务流程模型构建过程的自动化程度并有效利用流程的非结构数据,提出一种基于大语言模型(LLMs)的业务流程自动建模方法。在该建模方法框架中,采用大语言模型构建输入采集模块,接受自然语言文本等非结构化形式输入;以一种简单标记语言对业务流程进行中间表示,通过构造序列转换规则数据集对大语言模型进行微调,使其学习如何使用该标记语言,完成自然语言输入到中间表示的转换过程。为了纠正结果的语法错误并改善建模结果,引入多智能体纠错模块对结果进行自动检查与修正。最后,针对具有不同特点的业务流程进行建模实验,验证了所提建模方法的自动性以及在提取隐性循环结构方面的有效性。 展开更多
关键词 业务流程建模 自动化建模 大语言模型 多智能体 循环结构识别
在线阅读 下载PDF
基于大语言模型的陆路交通基础设施设计规范智能抽取 被引量:1
18
作者 谢浩 姚洪锡 +2 位作者 钟晶 陈瓴 蒲建伟 《铁道标准设计》 北大核心 2025年第11期17-25,共9页
陆路交通基础设施领域设计规范具有结构化程度低、标注数据稀缺、嵌套实体难以学习等特点,为实现设计规范知识的智能化抽取,提高规范检索和应用的智能化水平,在调研大量文献的基础上,以线路、路基、桥梁、隧道等结构物的相关设计规范为... 陆路交通基础设施领域设计规范具有结构化程度低、标注数据稀缺、嵌套实体难以学习等特点,为实现设计规范知识的智能化抽取,提高规范检索和应用的智能化水平,在调研大量文献的基础上,以线路、路基、桥梁、隧道等结构物的相关设计规范为例,提出“主语+条件+措施”的规范条文知识抽取规则,采用正则表达式对规范文本进行数据清洗,根据规范的格式特点定义规范的关键语义信息与待抽取关系的类型。基于清华大学大语言模型ChatGLM2-6B,采用LoRA微调方法进行人类反馈的强化学习模型训练,应用标注的数据集进行有监督学习,引入相似度算法自动打分排序进行奖励学习,采用KL散度算法,构建强化学习模型,并对抽取结果进行质量分析和结构化数据整合,建立规范知识图谱。结果表明,该强化学习模型训练收敛效果较好,质量评分超过90分,相对原大语言模型提升35%~99%。用于设计规范文本知识抽取任务时,可以较准确地抽取出规范条文中的“主语”“条件”“措施”的关键语义信息,挖掘嵌套文本语句中的逻辑或序列关系,抽取效果显著。建立了规范知识的非结构化数据治理方法,实现陆路交通领域设计规范知识的智能高效抽取,为知识图谱构建和知识应用的研发奠定基础。 展开更多
关键词 大语言模型 陆路交通 设计规范 知识抽取 语义信息 相似度算法 强化学习模型
在线阅读 下载PDF
基于大语言模型的社交媒体文本立场检测 被引量:1
19
作者 李居昊 石磊 +3 位作者 丁锰 雷永升 赵东越 陈泷 《计算机科学与探索》 北大核心 2025年第5期1302-1312,共11页
立场检测旨在分析文本对给定目标的态度。当前社交媒体的文本通常简短且话题演变迅速,传统立场检测方法面临着语义信息稀少和立场特征表示不充分等挑战,且许多现有方法往往忽略了情感信息对立场检测的影响。为了应对上述两方面挑战,提... 立场检测旨在分析文本对给定目标的态度。当前社交媒体的文本通常简短且话题演变迅速,传统立场检测方法面临着语义信息稀少和立场特征表示不充分等挑战,且许多现有方法往往忽略了情感信息对立场检测的影响。为了应对上述两方面挑战,提出了一种基于大语言模型的社交媒体文本立场检测方法。通过设计包含明确任务指令的立场检测提示模板,调用模型在预训练阶段获得的与立场检测相关的知识,解决语义信息稀少的问题;通过在任务指令中加入情感分析任务,引导模型关注情感信息,为立场检测提供更多的语义线索,解决情感信息利用不足的问题。在此基础上,在模型内部添加针对立场检测任务的适配器,专注于提取和表示立场特征,增强模型对立场特征的表示能力,实现了更好的立场检测效果;将不同架构的大语言模型的结果进行集成投票提高预测结果的稳定性。为验证该方法,构建多组对比实验,实验结果表明该方法在SemEval-2016 Task 6A数据集上的有效性显著优于现有基准方法。 展开更多
关键词 立场检测 大语言模型 自然语言处理 多策略优化
在线阅读 下载PDF
影响预训练语言模型数据泄露的因素研究 被引量:1
20
作者 钱汉伟 彭季天 +4 位作者 袁明 高光亮 刘晓迁 王群 朱景羽 《信息安全研究》 北大核心 2025年第2期181-188,共8页
当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2... 当前广泛使用的预训练语言模型是从海量训练语料中学习通用的语言表示.自然语言处理领域的下游任务在使用预训练语言模型后性能得到显著提升,但是深度神经网络过拟合现象使得预训练语言模型可能存在泄露训练语料隐私的风险.选用T5,GPT-2,OPT等广泛使用的预训练语言模型作为研究对象,利用模型反演攻击探索影响预训练语言模型数据泄露的因素.实验过程中利用预训练语言模型生成大量样本,以困惑度等指标选取最有可能发生数据泄露风险的样本进行验证,证明了T5等不同模型均存在不同程度的数据泄露问题;同一种模型,模型规模越大数据泄露可能性越大;添加特定前缀更容易获取泄露数据等问题.对未来数据泄露问题及其防御方法进行了展望. 展开更多
关键词 自然语言处理 预训练语言模型 隐私数据泄露 模型反演攻击 模型架构
在线阅读 下载PDF
上一页 1 2 31 下一页 到第
使用帮助 返回顶部