土木工程行业在信息化转型中面临着大量的非结构化的文本信息,大语言模型(large language models,LLMs)由于其强大的自然语言处理能力,为行业领域的智能化变革提供了新的机遇。采用系统性文献回顾的方法,在梳理LLMs的技术架构及在垂直...土木工程行业在信息化转型中面临着大量的非结构化的文本信息,大语言模型(large language models,LLMs)由于其强大的自然语言处理能力,为行业领域的智能化变革提供了新的机遇。采用系统性文献回顾的方法,在梳理LLMs的技术架构及在垂直领域研究现状的基础上,提出了LLMs在土木工程领域的四大应用场景及技术路线、面临的挑战及研究趋势。研究发现,LLMs已在土木工程领域有探索性的研究与应用,目前主要集中在内容生成类、智能问答类、文本摘要类及分析推理类四大应用场景,覆盖土木工程项目全生命周期阶段,并具有跨学科、跨模态融合的特性。然而,LLMs的应用仍面临知识专业性低、信息时效性差、数据质量及交互性低等挑战。基于此,提出了一系列未来研究机遇,在模型优化方面,利用参数高效微调技术注入专业知识,增强LLMs在土木工程领域应用的广度和深度;与知识图谱结合,提升LLMs在回答中的精准性、可解释性与时效性;融合多模态的数据类型,扩展LLMs在土木工程领域的应用场景;开发适用的模型评估方法,量化LLMs在土木工程领域应用的价值及性能表现。在应用场景方面,结合LLMs和土木工程领域特点,可以拓展LLMs在文档生成、问答系统、信息抽取、合规性审查等复杂任务中的应用,提高从业者与数据间的交互效率。研究旨在为学术界和企业界进一步将LLMs应用于土木工程领域提供借鉴与参考。展开更多
问题生成(Question Generation,QG)研究是自然语言处理(Natural Language Processing,NLP)中文本生成的一个研究方向,该研究旨在给机器输入一段文本和答案,机器据此进行处理,输出一个或多个与当前文本和答案有关的问题。目前,该研究可...问题生成(Question Generation,QG)研究是自然语言处理(Natural Language Processing,NLP)中文本生成的一个研究方向,该研究旨在给机器输入一段文本和答案,机器据此进行处理,输出一个或多个与当前文本和答案有关的问题。目前,该研究可以应用于教育、医学、自动问答等多个领域中。然而,研究表明当前基于有监督学习的问题生成策略仍然存在很多缺陷。该文首先介绍问题生成的发展过程、求解及处理过程,然后对当前的研究现状进行分析,将问题生成方法分为四类,对每一类方法中具有代表性的模型架构进行分析与对比,最后总结问题生成技术面临的技术难题以及未来的发展方向。展开更多
义原作为最小的语义单位对于标题生成任务至关重要。尽管义原驱动的神经语言模型(SDLM)是主流模型之一,但它在处理长文本序列时编码能力有限,未充分考虑位置关系,易引入噪声知识进而影响生成标题的质量。针对上述问题,提出一种基于Trans...义原作为最小的语义单位对于标题生成任务至关重要。尽管义原驱动的神经语言模型(SDLM)是主流模型之一,但它在处理长文本序列时编码能力有限,未充分考虑位置关系,易引入噪声知识进而影响生成标题的质量。针对上述问题,提出一种基于Transformer的生成式标题模型Tran-A-SDLM(Transformer Adaption based Sememe-Driven Language Model with positional embedding and knowledge reasoning)。该模型充分结合自适应位置编码和知识推理机制的优势。首先,引入Transformer模型以增强模型对文本序列的编码能力;其次,利用自适应位置编码机制增强模型的位置感知能力,从而增强对上下文义原知识的学习;此外,引入知识推理模块,用于表示义原知识,并指导模型生成准确标题;最后,为验证Tran-A-SDLM的优越性,在大规模中文短文本摘要(LCSTS)数据集上进行实验。实验结果表明,与RNN-context-SDLM相比,Tran-A-SDLM在ROUGE-1、ROUGE-2和ROUGE-L值上分别提升了0.2、0.7和0.5个百分点。消融实验结果进一步验证了所提模型的有效性。展开更多
近年来,大语言模型(large language model,LLM)在一系列下游任务中得到了广泛应用,并在多个领域表现出了卓越的文本理解、生成与推理能力.然而,越狱攻击正成为大语言模型的新兴威胁.越狱攻击能够绕过大语言模型的安全机制,削弱价值观对...近年来,大语言模型(large language model,LLM)在一系列下游任务中得到了广泛应用,并在多个领域表现出了卓越的文本理解、生成与推理能力.然而,越狱攻击正成为大语言模型的新兴威胁.越狱攻击能够绕过大语言模型的安全机制,削弱价值观对齐的影响,诱使经过对齐的大语言模型产生有害输出.越狱攻击带来的滥用、劫持、泄露等问题已对基于大语言模型的对话系统与应用程序造成了严重威胁.对近年的越狱攻击研究进行了系统梳理,并基于攻击原理将其分为基于人工设计的攻击、基于模型生成的攻击与基于对抗性优化的攻击3类.详细总结了相关研究的基本原理、实施方法与研究结论,全面回顾了大语言模型越狱攻击的发展历程,为后续的研究提供了有效参考.对现有的安全措施进行了简略回顾,从内部防御与外部防御2个角度介绍了能够缓解越狱攻击并提高大语言模型生成内容安全性的相关技术,并对不同方法的利弊进行了罗列与比较.在上述工作的基础上,对大语言模型越狱攻击领域的现存问题与前沿方向进行探讨,并结合多模态、模型编辑、多智能体等方向进行研究展望.展开更多
文摘土木工程行业在信息化转型中面临着大量的非结构化的文本信息,大语言模型(large language models,LLMs)由于其强大的自然语言处理能力,为行业领域的智能化变革提供了新的机遇。采用系统性文献回顾的方法,在梳理LLMs的技术架构及在垂直领域研究现状的基础上,提出了LLMs在土木工程领域的四大应用场景及技术路线、面临的挑战及研究趋势。研究发现,LLMs已在土木工程领域有探索性的研究与应用,目前主要集中在内容生成类、智能问答类、文本摘要类及分析推理类四大应用场景,覆盖土木工程项目全生命周期阶段,并具有跨学科、跨模态融合的特性。然而,LLMs的应用仍面临知识专业性低、信息时效性差、数据质量及交互性低等挑战。基于此,提出了一系列未来研究机遇,在模型优化方面,利用参数高效微调技术注入专业知识,增强LLMs在土木工程领域应用的广度和深度;与知识图谱结合,提升LLMs在回答中的精准性、可解释性与时效性;融合多模态的数据类型,扩展LLMs在土木工程领域的应用场景;开发适用的模型评估方法,量化LLMs在土木工程领域应用的价值及性能表现。在应用场景方面,结合LLMs和土木工程领域特点,可以拓展LLMs在文档生成、问答系统、信息抽取、合规性审查等复杂任务中的应用,提高从业者与数据间的交互效率。研究旨在为学术界和企业界进一步将LLMs应用于土木工程领域提供借鉴与参考。
文摘问题生成(Question Generation,QG)研究是自然语言处理(Natural Language Processing,NLP)中文本生成的一个研究方向,该研究旨在给机器输入一段文本和答案,机器据此进行处理,输出一个或多个与当前文本和答案有关的问题。目前,该研究可以应用于教育、医学、自动问答等多个领域中。然而,研究表明当前基于有监督学习的问题生成策略仍然存在很多缺陷。该文首先介绍问题生成的发展过程、求解及处理过程,然后对当前的研究现状进行分析,将问题生成方法分为四类,对每一类方法中具有代表性的模型架构进行分析与对比,最后总结问题生成技术面临的技术难题以及未来的发展方向。
文摘义原作为最小的语义单位对于标题生成任务至关重要。尽管义原驱动的神经语言模型(SDLM)是主流模型之一,但它在处理长文本序列时编码能力有限,未充分考虑位置关系,易引入噪声知识进而影响生成标题的质量。针对上述问题,提出一种基于Transformer的生成式标题模型Tran-A-SDLM(Transformer Adaption based Sememe-Driven Language Model with positional embedding and knowledge reasoning)。该模型充分结合自适应位置编码和知识推理机制的优势。首先,引入Transformer模型以增强模型对文本序列的编码能力;其次,利用自适应位置编码机制增强模型的位置感知能力,从而增强对上下文义原知识的学习;此外,引入知识推理模块,用于表示义原知识,并指导模型生成准确标题;最后,为验证Tran-A-SDLM的优越性,在大规模中文短文本摘要(LCSTS)数据集上进行实验。实验结果表明,与RNN-context-SDLM相比,Tran-A-SDLM在ROUGE-1、ROUGE-2和ROUGE-L值上分别提升了0.2、0.7和0.5个百分点。消融实验结果进一步验证了所提模型的有效性。
文摘近年来,大语言模型(large language model,LLM)在一系列下游任务中得到了广泛应用,并在多个领域表现出了卓越的文本理解、生成与推理能力.然而,越狱攻击正成为大语言模型的新兴威胁.越狱攻击能够绕过大语言模型的安全机制,削弱价值观对齐的影响,诱使经过对齐的大语言模型产生有害输出.越狱攻击带来的滥用、劫持、泄露等问题已对基于大语言模型的对话系统与应用程序造成了严重威胁.对近年的越狱攻击研究进行了系统梳理,并基于攻击原理将其分为基于人工设计的攻击、基于模型生成的攻击与基于对抗性优化的攻击3类.详细总结了相关研究的基本原理、实施方法与研究结论,全面回顾了大语言模型越狱攻击的发展历程,为后续的研究提供了有效参考.对现有的安全措施进行了简略回顾,从内部防御与外部防御2个角度介绍了能够缓解越狱攻击并提高大语言模型生成内容安全性的相关技术,并对不同方法的利弊进行了罗列与比较.在上述工作的基础上,对大语言模型越狱攻击领域的现存问题与前沿方向进行探讨,并结合多模态、模型编辑、多智能体等方向进行研究展望.
