面向研究生招生咨询的中文Text-to-SQL模型

1

作者 王庆丰 李旭 +1 位作者 姚春龙 程腾腾 《计算机工程》 北大核心 2025年第3期362-368,共7页

研究生招生咨询是一种具有代表性的短时间高频次问答应用场景。针对现有基于词向量等方法的招生问答系统返回答案不够精确,以及每年需要更新问题库的问题,引入了基于文本转结构化查询语言(Text-to-SQL)技术的RESDSQL模型,可将自然语言... 研究生招生咨询是一种具有代表性的短时间高频次问答应用场景。针对现有基于词向量等方法的招生问答系统返回答案不够精确,以及每年需要更新问题库的问题,引入了基于文本转结构化查询语言(Text-to-SQL)技术的RESDSQL模型,可将自然语言问题转化为SQL语句后到结构化数据库中查询答案并返回。搜集了研究生招生场景中的高频咨询问题,根据3所高校真实招生数据,构建问题与SQL语句模板,通过填充模板的方式构建数据集,共有训练集1501条、测试集386条。将RESDSQL的RoBERTa模型替换为具有更强多语言生成能力的XLM-RoBERTa模型、T5模型替换为mT5模型,并在目标领域数据集上进行微调,在招生领域问题上取得了较高的准确率,在mT5-large模型上执行正确率为0.95,精确匹配率为1。与基于ChatGPT3.5模型、使用零样本提示的C3SQL方法对比,该模型性能与成本均更优。 展开更多

关键词 中文文本转结构化查询语言 自然语言查询 中文SQL语句生成 预训练模型 Text-to-SQL数据集

在线阅读 下载PDF 职称材料

基于语句聚类识别的知识动态提取方法研究 被引量：9

2

作者 苏牧 肖人彬 《计算机学报》 EI CSCD 北大核心 2001年第5期487-495,共9页

根据自然语言的群集现象和对知识体系动态更新的要求 ,该文提出了一种基于语句聚类识别的知识动态提取方法 .文中首先给出了知识动态提取方法的研究框架 ,该框架描述了由自然语言文卷到面向对象知识体系的转换过程 .研究了语句矢量化的... 根据自然语言的群集现象和对知识体系动态更新的要求 ,该文提出了一种基于语句聚类识别的知识动态提取方法 .文中首先给出了知识动态提取方法的研究框架 ,该框架描述了由自然语言文卷到面向对象知识体系的转换过程 .研究了语句矢量化的有关问题 ,给出了若干基本定义和一个判定定理 ,讨论了句元属性矢量的后置处理 .提出了基于神经网络的语句聚类识别方法 ,采用前信度概念作为语句识别结果可信性的一种度量 ,利用 Matlab编写了一个 ART2神经网络仿真程序 ,给出了该神经网络对语句识别的效果且作了相应分析 .根据 ART2网络对语句进行识别的结果 ,需将聚类后的各个语句进行知识形式的转换 ,为此提出了中间代码生成的宽度优先方法 ,并定义后信度作为对语句识别及语义模型构造可信性的一个最终评价指标 ;进而针对合取规则句型 ,具体介绍了该方法的实现步骤 .最后运用结构建模新方法生成结构化的派生关系 ,从而完成了由自然语言文卷到面向对象知识体系的知识提取过程 .作者将一个以机械 CAD为背景的应用实例贯穿全文 ,演示了该实例的具体实现 。 展开更多

关键词 自然语言处理 知识提取 语句聚类识别 神经网络 面向对象 机械设计 CAD

在线阅读 下载PDF 职称材料

多语种自然语言生成系统中的语言模型 被引量：3

3

作者 张冬茉 葛永 姚天昉 《上海交通大学学报》 EI CAS CSCD 北大核心 2000年第7期944-947,共4页

介绍了在多语种自然语言生成系统中如何用统一的模型来表示各语种的语言知识 .本文将语言知识分为语义资源和语法资源两个部分 .前者通过 Schema和优化规则确定文本的内容 ;后者根据句子结构类、句法规则和词典确定文本的具体形式 .该... 介绍了在多语种自然语言生成系统中如何用统一的模型来表示各语种的语言知识 .本文将语言知识分为语义资源和语法资源两个部分 .前者通过 Schema和优化规则确定文本的内容 ;后者根据句子结构类、句法规则和词典确定文本的具体形式 .该模型以复杂特征集为语言知识的载体 。 展开更多

关键词 语言模型 语义资源 多语种自然语言生成系统

在线阅读 下载PDF 职称材料

基于树状语料库的中文短语相似度计算 被引量：4

4

作者 费洪晓 莫天池 +3 位作者 林青 杨艳群 谭叶清 严星俊 《计算机应用与软件》 CSCD 北大核心 2013年第8期18-20,42,共4页

在诸如文件摘要、个性化搜索、学术诚信检测、常见问题自动解答、自动翻译等领域,短语相似度计算是核心算法。通过引入树状语料库,精确定义、计算词汇相似度,对基于抽取关键词序列的中文短语相似度算法做进一步改进。实验证明,该方法在... 在诸如文件摘要、个性化搜索、学术诚信检测、常见问题自动解答、自动翻译等领域,短语相似度计算是核心算法。通过引入树状语料库,精确定义、计算词汇相似度,对基于抽取关键词序列的中文短语相似度算法做进一步改进。实验证明,该方法在提高中文短语相似度计算的准确率上达到了预期效果,更符合人的直观感觉。 展开更多

关键词 自然语言处理 文件摘要 中文短语相似度计算 树状语料库 关键词序列

在线阅读 下载PDF 职称材料

多特征融合的语句相似度计算模型 被引量：19

5

作者 张培颖 《计算机工程与应用》 CSCD 北大核心 2010年第26期136-137,157,共3页

句子的相似度计算在自然语言处理的各个领域都占有十分重要的地位。提出了一种多特征融合的句子相似度计算模型,该计算方法把句子的词形、词序、结构、长度、距离和语义这6种特征相似度考虑进来,通过对不同的特征赋予不同的权重来调节... 句子的相似度计算在自然语言处理的各个领域都占有十分重要的地位。提出了一种多特征融合的句子相似度计算模型,该计算方法把句子的词形、词序、结构、长度、距离和语义这6种特征相似度考虑进来,通过对不同的特征赋予不同的权重来调节各个特征对于句子相似度的贡献,从而使计算结果得到最优。实验结果表明,该方法与其他方法相比,描述句子的信息更加全面,在计算句子相似度方面具有较高的准确率。 展开更多

关键词 自然语言处理 句子相似度 多特征融合 结构相似度 语义相似度

在线阅读 下载PDF 职称材料

融合LSTM的自然语言转结构化查询语句算法的研究与设计 被引量：4

6

作者 孙红 黄瓯严 《小型微型计算机系统》 CSCD 北大核心 2023年第1期63-67,共5页

自然语言转结构化查询语句(Natural Language to SQL,NL2SQL)是信息领域一个重要课题.目前前沿的NL2SQL工作都是针对英文数据集,而处理英文数据的方法直接应用到中文上往往难以取得很好的效果.本文首先对传统的SQLNet模型进行了改进,在... 自然语言转结构化查询语句(Natural Language to SQL,NL2SQL)是信息领域一个重要课题.目前前沿的NL2SQL工作都是针对英文数据集,而处理英文数据的方法直接应用到中文上往往难以取得很好的效果.本文首先对传统的SQLNet模型进行了改进,在其中融入了预训练模型,增强了其提取特征的能力;之后又分别对分类模型和条件值模型进行了改进:在分类模型中增加了LSTM进一步捕捉特征,在条件值模型中使用正则表达式等手段对特殊的条件子句进行了预处理.实验表明,本文对分类模型和条件值模型所做的改进都能有效提升模型的表达效果. 展开更多

关键词 自然语言处理 自然语言转结构化查询语句 长短时记忆网络 预训练模型 查询化结构语言网络模型

在线阅读 下载PDF 职称材料

自然语言生成多表SQL查询语句技术研究 被引量：18

7

作者 曹金超 黄滔 +2 位作者 陈刚 吴晓凡 陈珂 《计算机科学与探索》 CSCD 北大核心 2020年第7期1133-1141,共9页

自然语言生成SQL查询不仅是构建智能数据库查询系统的一个重要组成部分,亦是新型供电轨道交通系统混合时态大数据个性化运维的难点之一。目前利用深度学习模型的方法专注于数据库中单表SQL查询生成,无法解决数据库中多表SQL查询生成。... 自然语言生成SQL查询不仅是构建智能数据库查询系统的一个重要组成部分,亦是新型供电轨道交通系统混合时态大数据个性化运维的难点之一。目前利用深度学习模型的方法专注于数据库中单表SQL查询生成,无法解决数据库中多表SQL查询生成。针对这个问题,采用一种基于SQL语句模板填充的方法,将序列生成问题转化为多个分类问题,在训练深度学习模型的过程中充分利用SQL子句不同预测成分之间的依赖关系。在FROM子句的多表JOIN路径生成方面,将其建模为斯坦纳树问题,采用一种全局最优的算法来进行求解。在一个开放的文本生成SQL数据集Spider上对模型和算法进行实验验证,实验结果表明该方法能有效地提升多表SQL查询生成的查询匹配准确率。 展开更多

关键词 自然语言 SQL查询生成 多表 模板填充 深度学习

在线阅读 下载PDF 职称材料

一种基于图数据库的代码结构解析与搜索方法 被引量：9

8

作者 林泽琦 赵俊峰 谢冰 《计算机研究与发展》 EI CSCD 北大核心 2016年第3期531-540,共10页

软件复用是在软件开发中避免重复劳动的解决方案.在复用一个已有的软件项目时,软件开发人员通常需要理解某些代码元素以及其间的关联关系,称之为代码结构.软件开发人员一般通过浏览软件源代码的方式理解代码结构.由于源代码往往规模较... 软件复用是在软件开发中避免重复劳动的解决方案.在复用一个已有的软件项目时,软件开发人员通常需要理解某些代码元素以及其间的关联关系,称之为代码结构.软件开发人员一般通过浏览软件源代码的方式理解代码结构.由于源代码往往规模较大且结构复杂,理解代码结构通常会耗费大量的时间与精力.因此,将软件开发人员想要理解的代码结构自动、清晰地展示出来是很有帮助的.提出一种基于图数据库的代码结构解析与搜索方法以实现这一目的.这一方法可对软件的代码结构进行解析,并在图数据库中对其进行有效的组织和管理.搜索时,软件开发人员输入自然语言查询语句,该方法中的搜索机制会分析查询语句,并从图数据库中截取出与其相对应的代码结构进行展示.该方法具有高度的可扩展性:不同粒度的结点与多样化的关联关系可以容易地存储进图数据库中,且面向不同搜索目的的代码结构搜索算法亦可以容易地集成进搜索机制中.这一方法已在相应的工具中得到了实现,其有效性在一个商业案例研究中得到了验证. 展开更多

关键词 代码结构 图数据库 自然语言查询 搜索机制 软件复用

在线阅读 下载PDF 职称材料

基于词性及词性依存的句子结构相似度计算 被引量：6

9

作者 蓝雁玲 陈建超 《计算机工程》 CAS CSCD 北大核心 2011年第10期47-49,共3页

为提高句子相似度的准确率,从结构相似度出发,提出基于词性及词性依存关系的句子结构相似度计算方法。该方法从正向和逆向比较句子的词性序列,获得2个句子词性及词性依存关系的最优匹配,从而计算句子结构相似度。实验结果表明,该方法能... 为提高句子相似度的准确率,从结构相似度出发,提出基于词性及词性依存关系的句子结构相似度计算方法。该方法从正向和逆向比较句子的词性序列,获得2个句子词性及词性依存关系的最优匹配,从而计算句子结构相似度。实验结果表明,该方法能使句子结构相似度计算更合理。 展开更多

关键词 句子结构 词性依存 结构相似度 自然语言处理

在线阅读 下载PDF 职称材料

基于强化学习与自注意力机制的朝鲜语重要句子结构识别 被引量：2

10

作者 杨飞扬 崔荣一 +2 位作者 赵亚慧 金晶 李飞雨 《中文信息学报》 CSCD 北大核心 2021年第9期66-74,共9页

针对构建朝鲜语语料库的人工标注工作过于费时费力,少数民族语言难以与各家资源融合的这一问题,该文从表征学习的角度,意图构建有效的朝鲜语句子结构表示,用来提升后续自然语言处理任务的效果。我们将深度强化学习与自注意力机制相结合... 针对构建朝鲜语语料库的人工标注工作过于费时费力,少数民族语言难以与各家资源融合的这一问题,该文从表征学习的角度,意图构建有效的朝鲜语句子结构表示,用来提升后续自然语言处理任务的效果。我们将深度强化学习与自注意力机制相结合,提出了一种分层结构的自注意力模型(Hierarchically Structured Korean, HS-K)。模型利用强化学习中的Actor-Critic思想,将文本分类效果作为强化学习的标签反馈信息,把文本的结构划分任务转化为序列决策任务。实验结果表明,模型可以识别出接近人工标注的朝鲜语重要句子结构,对朝鲜语信息化与智能化有着良好的辅助作用。 展开更多

关键词 朝鲜语自然语言处理 深度强化学习 自注意力机制 句子结构化

在线阅读 下载PDF 职称材料

面向英汉机器翻译的英语特征语义块处理 被引量：1

11

作者 董凌冲 李颖 池毓焕 《计算机工程与设计》 CSCD 北大核心 2010年第14期3260-3263,3267,共5页

针对当前英汉机器翻译软件未能充分理解源语句的问题,基于概念层次网络理论(hierarchical network of concepts,HNC理论),详细分析了在语句理解中起重要作用的英语特征语义块,分类讨论了其核心部分构成特点,并提出了相应的计算机处理算... 针对当前英汉机器翻译软件未能充分理解源语句的问题,基于概念层次网络理论(hierarchical network of concepts,HNC理论),详细分析了在语句理解中起重要作用的英语特征语义块,分类讨论了其核心部分构成特点,并提出了相应的计算机处理算法。与在线机器翻译结果的比较表明,该算法对源语句进行了更加深入的分析与理解,能够为英汉机器翻译提供技术支持。 展开更多

关键词 特征语义块构成 概念层次网络理论 英汉机器翻译 自然语言处理 句类分析

在线阅读 下载PDF 职称材料

利用问句语义结构构建旅游领域数据库查询

12

作者 王凤林 余正涛 +1 位作者 毛存礼 郭剑毅 《广西师范大学学报（自然科学版）》 CAS 北大核心 2009年第1期185-188,共4页

为了提高数据库查询的准确率,提出一种利用问句语义结构构建领域自然语言数据库查询方法。该方法通过定义问句语义模板,借助领域知识,对领域问句进行语义分析,提取问句语义块,并通过语义模式匹配实现问句语义模板向SQL的转换,从而实现... 为了提高数据库查询的准确率,提出一种利用问句语义结构构建领域自然语言数据库查询方法。该方法通过定义问句语义模板,借助领域知识,对领域问句进行语义分析,提取问句语义块,并通过语义模式匹配实现问句语义模板向SQL的转换,从而实现自然语言数据库查询。在云南旅游领域实验的结果表明,该方法取得了较好的效果。 展开更多

关键词 问句语义结构 自然语言查询 数据库查询

在线阅读 下载PDF 职称材料

基于自裁剪异构图的NL2SQL模型 被引量：1

13

作者 黄君扬 王振宇 +1 位作者 梁家卿 肖仰华 《计算机工程》 CAS CSCD 北大核心 2022年第9期71-77,88,共8页

自然语言转换为结构化查询语言(NL2SQL)是语义解析领域的重要任务,其核心为对数据库模式和自然语言问句进行联合学习。现有研究通过将整个数据库模式和自然语言问句联合编码构建异构图,使得异构图中引入大量无用信息,并且忽略了数据库... 自然语言转换为结构化查询语言(NL2SQL)是语义解析领域的重要任务,其核心为对数据库模式和自然语言问句进行联合学习。现有研究通过将整个数据库模式和自然语言问句联合编码构建异构图,使得异构图中引入大量无用信息,并且忽略了数据库模式中不同信息的重要性。为提高NL2SQL模型的逻辑与执行准确率,提出一种基于自裁剪异构图与相对位置注意力机制的NL2SQL模型(SPRELA)。采用序列到序列的框架,使用ELECTRA预训练语言模型作为骨干网络。引入专家知识,对数据库模式和自然语言问句构建初步异构图。基于自然语言问句对初步异构图进行自裁剪,并使用多头相对位置注意力机制编码自裁剪后的数据库模式与自然语言问句。利用树型解码器和预定义的SQL语法,解码生成SQL语句。在Spider数据集上的实验结果表明,SPRELA模型执行准确率达到71.1%,相比于相同参数量级别的RaSaP模型提升了1.1个百分点,能够更好地将数据库模式与自然语言问句对齐,从而理解自然语言查询中的语义信息。 展开更多

关键词 自然语言转换为结构化查询语言 异构图 自裁剪机制 语义解析 预训练语言模型

在线阅读 下载PDF 职称材料