基于对齐查询的跨语言信息检索方法

1

作者 李俊文 宋雨秋 +3 位作者 张维彦 阮彤 刘井平 朱焱 《计算机科学》 北大核心 2025年第8期259-267,共9页

跨语言信息检索是自然语言处理中一项重要的信息获取任务。最近,基于大语言模型的检索方法在这一任务中获得了广泛关注并取得了显著的进展。然而,现有基于提示大语言模型的无监督检索方法在效果和效率上仍有不足。对此,提出了一种全新... 跨语言信息检索是自然语言处理中一项重要的信息获取任务。最近,基于大语言模型的检索方法在这一任务中获得了广泛关注并取得了显著的进展。然而,现有基于提示大语言模型的无监督检索方法在效果和效率上仍有不足。对此,提出了一种全新的基于对齐查询的跨语言信息检索方法。具体而言,采用“预训练-微调”范式,基于预训练多语言模型提出了一种自适应的自指导编码器,通过同一语言内的检索学习指导跨语言检索学习。该方法引入与文档语种相同的语义对齐的查询,并设计了一种自适应的自指导机制,利用不同语种视角下的单语言检索结果的概率分布来指导跨语言检索。在22对语言组合上进行了广泛的实验来评估所提模型的有效性和效率,结果表明,所提方法的MRR指标达到了当前最先进水平。具体而言,其在高资源语种组合上相较于次优基线的平均MRR提高了15.45%,在低资源语种组合上相较于次优基线提高了18.9%。此外,相比基于大语言模型的方法,该方法在训练时间和推理时间上均更短,并且显著提升了收敛性能。相关代码已公开1)。 展开更多

关键词 跨语言信息检索 对齐查询 自指导 自适应层级系数

在线阅读 下载PDF 职称材料

基于英汉机译实现跨语言信息检索 被引量：10

2

作者 张玥杰 郭依昆 +1 位作者 连理 吴立德 《小型微型计算机系统》 CSCD 北大核心 2004年第7期1135-1140,共6页

随着日益增长的大量信息成为可利用的、用户面对查询一个多语种文本集合的情形 ,变得越来越普遍 .这就产生一个非常重要的问题—以一种语言描述的用户查询与以不同语言书写的文本之间的匹配问题 ,也就是一种如何跨越语言界限的问题 ,即... 随着日益增长的大量信息成为可利用的、用户面对查询一个多语种文本集合的情形 ,变得越来越普遍 .这就产生一个非常重要的问题—以一种语言描述的用户查询与以不同语言书写的文本之间的匹配问题 ,也就是一种如何跨越语言界限的问题 ,即跨语言信息检索 (Cross- L anguage Information Retrieval,CL IR) .针对该项任务建立了一个面向英汉的跨语言信息检索系统 ,并以此为基础提交了相关的几组运行结果 .同时 ,结合所构建的汉语 IR系统 ,实现完整的英—汉 CL 展开更多

关键词 信息检索 跨语言信息检索 机器翻译 语料库 语言学资源

在线阅读 下载PDF 职称材料

跨语言信息检索研究进展 被引量：17

3

作者 张俊林 曲为民 +1 位作者 杜林 孙玉芳 《计算机科学》 CSCD 北大核心 2004年第7期16-19,共4页

随着互联网资源的多语言性和用户所使用语言的日益多样性,跨语言信息检索成为越来越重要的研究领域。本文介绍了该领域为解决语言间的翻译障碍而研究的各种解决方法并且对汉英跨语言信息检索所面对的独特难点进行了分析,同时本文对国际... 随着互联网资源的多语言性和用户所使用语言的日益多样性,跨语言信息检索成为越来越重要的研究领域。本文介绍了该领域为解决语言间的翻译障碍而研究的各种解决方法并且对汉英跨语言信息检索所面对的独特难点进行了分析,同时本文对国际上重要的跨语言信息检索系统评测会议进行了简单介绍。 展开更多

关键词 跨语言信息检索 汉英跨语言检索 中文信息处理 受控词汇检索

在线阅读 下载PDF 职称材料

基于本体的跨语言信息检索模型 被引量：10

4

作者 王进 陈恩红 +1 位作者 张振亚 王煦法 《中文信息学报》 CSCD 北大核心 2004年第3期1-8,60,共9页

随着网络信息的日益丰富和用户需求的提高 ,人们已经不能满足于仅仅在同一语种中进行检索 ,跨语言的信息检索 (CLIR)因而受到人们越来越多的关注。为此 ,本文提出了一种新的基于语义的跨语言信息检索模型Onto CLIR ,该模型在传统信息检... 随着网络信息的日益丰富和用户需求的提高 ,人们已经不能满足于仅仅在同一语种中进行检索 ,跨语言的信息检索 (CLIR)因而受到人们越来越多的关注。为此 ,本文提出了一种新的基于语义的跨语言信息检索模型Onto CLIR ,该模型在传统信息检索技术的基础上 ,利用本体来刻画不同语言中对应的领域知识 ,以解决从查询语言到检索语言之间转换过程中出现的语义损失和曲解等问题 ,从而保证在检索过程中能够有效地遵循用户的查询意图 ,获得预期的检索信息。本文以体育新闻检索为背景 ,以英文查询作为查询请求 ,检索来自新浪网的体育类新闻 ,结果表明采用基于本体的跨语言信息检索方法之后检索的查全率和查准率平均提高 10个百分点左右 ,有效地改善了检索性能。 展开更多

关键词 计算机应用 中文信息处理 本体 跨语言信息检索 语义

在线阅读 下载PDF 职称材料

结合本体论和统计方法的跨语言信息检索模型 被引量：5

5

作者 郑德权 李生 +1 位作者 赵铁军 于浩 《哈尔滨工业大学学报》 EI CAS CSCD 北大核心 2008年第1期77-80,共4页

为了更有效地提高跨语言信息检索的性能,结合本体论和统计方法的特性,提出一种混合的跨语言信息检索模型.在该语言模型的结构上,提出一种本体描述框架,构造了一个形式化的语言本体知识表示,通过典型语料学习,融合了语法、语义、句法等... 为了更有效地提高跨语言信息检索的性能,结合本体论和统计方法的特性,提出一种混合的跨语言信息检索模型.在该语言模型的结构上,提出一种本体描述框架,构造了一个形式化的语言本体知识表示,通过典型语料学习,融合了语法、语义、句法等多元信息,建立了源语言本体知识库.在跨语言信息检索的实际应用中,利用本体表示,获得初始的检索文档集,再基于源语言本体知识库,对全部候选文档重新排序,以提高TopN排列的精确度.利用NTCIR-3Workshop中的中英文跨语言信息检索数据集对该语言模型进行了评价,相关实验结果表明,该方法取得了较满意的实验效果. 展开更多

关键词 跨语言信息检索 本体 统计方法 语言模型 知识获取

在线阅读 下载PDF 职称材料

跨语言信息检索中的双语主题相关模型 被引量：8

6

作者 罗远胜 王明文 +1 位作者 勒中坚 张华伟 《小型微型计算机系统》 CSCD 北大核心 2013年第12期2758-2763,共6页

如何通过双语平行语料库提取语言之间的语义对信息,对改善跨语言信息检索的性能有着十分重要的意义.双语平行文档拥有相同的主题,这些双语主题在具体模型上可体现为语义相关.本文首先将双语平行文档看作同一语义内容的两种语言表示,从... 如何通过双语平行语料库提取语言之间的语义对信息,对改善跨语言信息检索的性能有着十分重要的意义.双语平行文档拥有相同的主题,这些双语主题在具体模型上可体现为语义相关.本文首先将双语平行文档看作同一语义内容的两种语言表示,从双语平行语料库构造每种语言的潜在语义空间,从而提出一种新的双语主题模型,即双语偏最小二乘主题相关模型.新模型克服了跨语言潜在语义索引模型没有充分考虑双语语义联系的不足.在中英双语新闻语料集上实验结果显示,新模型的文档配对搜索和伪查询跨语言检索性能明显优于跨语言潜在语义索引模型;在使用Google翻译得到的TREC-9双语平行语料库上,新模型也获得了较好的检索性能. 展开更多

关键词 跨语言信息检索 双语平行文档 主题模型 双语偏最小二乘主题相关模型

在线阅读 下载PDF 职称材料

跨语言信息检索中的命名实体识别与翻译 被引量：7

7

作者 吴丹 何大庆 陆伟 《图书情报知识》 CSSCI 北大核心 2012年第3期13-19,共7页

综述命名实体识别与翻译研究现状,提出基于信息抽取的命名实体识别与翻译方法,以及对该方法进行一系列集成优化处理,并实现了基于命名实体识别与翻译的跨语言信息检索实验。实验结果显示出命名实体识别与翻译在跨语言信息检索中的重要性... 综述命名实体识别与翻译研究现状,提出基于信息抽取的命名实体识别与翻译方法,以及对该方法进行一系列集成优化处理,并实现了基于命名实体识别与翻译的跨语言信息检索实验。实验结果显示出命名实体识别与翻译在跨语言信息检索中的重要性,并证明了所提出的翻译加权和网络挖掘未登录命名实体方法的应用能显著提高跨语言信息检索的性能。 展开更多

关键词 命名实体 跨语言信息检索 识别 翻译

在线阅读 下载PDF 职称材料

重新审视跨语言信息检索 被引量：10

8

作者 闵金明 孙乐 张俊林 《中文信息学报》 CSCD 北大核心 2006年第4期33-40,共8页

阻碍互联网资源在世界范围内广泛共享的一个主要障碍是多语言问题,而跨语言信息检索是解决这个问题的有效方法之一。本文从定义跨语言信息检索系统开始,给出了一个标准的跨语言信息检索系统框架和评价方法,对主流研究方法进行了重新审视... 阻碍互联网资源在世界范围内广泛共享的一个主要障碍是多语言问题,而跨语言信息检索是解决这个问题的有效方法之一。本文从定义跨语言信息检索系统开始,给出了一个标准的跨语言信息检索系统框架和评价方法,对主流研究方法进行了重新审视,进一步明确指出了跨语言信息检索中必须解决的核心问题,最后通过分析研究现状给出了未来可能的重点研究方向。 展开更多

关键词 计算机应用 中文信息处理 跨语言信息检索 未登录词 词义消歧 多语言信息检索

在线阅读 下载PDF 职称材料

个性化跨语言信息检索中结果重排序研究 被引量：8

9

作者 周栋 赵文玉 +1 位作者 伍璇 刘建勋 《计算机工程与科学》 CSCD 北大核心 2017年第10期1923-1929,共7页

目前,Web的不断发展使得针对其内容搜索的精确度有所降低,尤其在不同的语言中进行搜索时,情况变得愈发复杂。跨语言信息检索提供了一种跨越语言障碍、获取信息的有效方法。以往的跨语言信息检索研究大多采取以检索系统为中心的研究方法... 目前,Web的不断发展使得针对其内容搜索的精确度有所降低,尤其在不同的语言中进行搜索时,情况变得愈发复杂。跨语言信息检索提供了一种跨越语言障碍、获取信息的有效方法。以往的跨语言信息检索研究大多采取以检索系统为中心的研究方法,并未考虑到用户在翻译和检索过程中发挥的作用。结果重排序技术已经广泛应用于单语个性化信息检索,但是在个性化跨语言信息检索中还较少有相关研究。通过结果重排序技术来研究个性化跨语言信息检索,提出了两种个性化跨语言结果重排序方法。一种基于隐含语义,而另外一种则基于外部语义进行,将首轮搜索结果根据用户的偏好进一步进行处理和优化,使用户感兴趣的内容置于搜索结果列表的前列。在真实用户搜索日志数据上的实验结果表明,结果重排序能够有效提高个性化跨语言信息检索的搜索准确率。 展开更多

关键词 结果重排序 个性化 跨语言信息检索 隐含语义 外部语义

在线阅读 下载PDF 职称材料

基于Lucene的英汉跨语言信息检索 被引量：13

10

作者 陈士杰 张玥杰 《计算机工程》 EI CAS CSCD 北大核心 2005年第13期62-64,共3页

描述了一个英汉跨语言检索系统的设计与实现,其主要研究目的在于寻找更为有效的英汉查询翻译方法,以及提高汉语检索系统的性能。在英汉查询翻译方面,以英汉双语词典为基础,建立了查询翻译算法。在汉语检索方面,分析不同索引单元对于检... 描述了一个英汉跨语言检索系统的设计与实现,其主要研究目的在于寻找更为有效的英汉查询翻译方法,以及提高汉语检索系统的性能。在英汉查询翻译方面,以英汉双语词典为基础,建立了查询翻译算法。在汉语检索方面,分析不同索引单元对于检索性能的影响,基于Lucene全文索引工具包建立了搜索引擎。在系统评测方面,提出了一种根据主题,快速构建评测数据的方法。 展开更多

关键词 信息检索 跨语言信息检索 自然语言处理 机器翻译

在线阅读 下载PDF 职称材料

一种基于相关反馈的跨语言信息检索查询翻译优化技术研究 被引量：8

11

作者 吴丹 何大庆 王惠临 《情报学报》 CSSCI 北大核心 2012年第4期398-406,共9页

本文提出了一种新的基于相关反馈的跨语言信息检索查询翻译优化技术,就实现该技术的关键步骤＂估计检索词在相关文献集合中的翻译概率＂设计了4种不同的算法,并通过伪相关反馈实验比较了这4种算法,验证了查询翻译优化技术的有效性.实验... 本文提出了一种新的基于相关反馈的跨语言信息检索查询翻译优化技术,就实现该技术的关键步骤＂估计检索词在相关文献集合中的翻译概率＂设计了4种不同的算法,并通过伪相关反馈实验比较了这4种算法,验证了查询翻译优化技术的有效性.实验结果显示,4种翻译优化算法都能够提高检索结果的精度,其中基于词对齐的翻译算法相对更优越.此外,查询式的长度和检索主题的特征对不同查询翻译优化算法产生着不同程度的影响. 展开更多

关键词 相关反馈 翻译优化 跨语言信息检索 查询翻译

在线阅读 下载PDF 职称材料

跨语言信息检索研究与应用 被引量：9

12

作者 郭华庚 赵英 《现代情报》 北大核心 2008年第9期142-145,共4页

本文在介绍跨语言信息检索(CLIR)的相关概念、实现步骤和方式的基础上,重点阐述CLIR的关键问题和对策以及相关翻译技术,并就其在元搜索引擎中的应用进行探讨,将CLIR的技术平台与元搜索引擎的系统结构相结合,设计出基于CLIR的元搜索引擎... 本文在介绍跨语言信息检索(CLIR)的相关概念、实现步骤和方式的基础上,重点阐述CLIR的关键问题和对策以及相关翻译技术,并就其在元搜索引擎中的应用进行探讨,将CLIR的技术平台与元搜索引擎的系统结构相结合,设计出基于CLIR的元搜索引擎系统模型。 展开更多

关键词 跨语言信息检索 CLIR 元搜索引擎

在线阅读 下载PDF 职称材料

跨语言信息检索模型应用研究 被引量：4

13

作者 刘伟成 孙吉红 《情报杂志》 CSSCI 北大核心 2007年第10期55-57,共3页

信息检索过程自始至终都涉及相关性问题和检索模型,跨语言信息检索(CLIR)也不例外。对检索模型进行了分类,论述了各模型在CLIR中的应用,并对各模型进行了比较。

关键词 跨语言信息检索 检索模型 应用研究 比较

在线阅读 下载PDF 职称材料

一种新型的跨语言信息检索技术 被引量：2

14

作者 张玥杰 连理 吴立德 《计算机科学》 CSCD 北大核心 2002年第8期66-72,共7页

1.前言 随着科学技术迅猛发展,信息交流量与日俱增,人们开始广泛应用高速度、大容量的现代化工具--计算机进行信息处理.为使计算机能够应用于更广泛的用户,利用计算机高效率地进行各种语言信息处理已成为一个迫切需要研究的课题.由此,... 1.前言 随着科学技术迅猛发展,信息交流量与日俱增,人们开始广泛应用高速度、大容量的现代化工具--计算机进行信息处理.为使计算机能够应用于更广泛的用户,利用计算机高效率地进行各种语言信息处理已成为一个迫切需要研究的课题.由此,语言信息处理应运而生,成为一门新兴学科,其相关理论和方法研究在计算机科学与人工智能领域也显得尤其重要.自动的信息检索(Informatton Retrieval,IR)也作为语言信息处理研究领域的重要课题,越来越引起人们的兴趣与重视.人们希望用机器来实现信息自动检索,以解决人工方式带来的困难与复杂,如今正随着人们在语言信息处理领域里所取得的成果而变为现实. 展开更多

关键词 语言信息处理 计算机 信息检索系统 跨语言信息检索

在线阅读 下载PDF 职称材料

跨语言信息检索中查询语句翻译转换算法 被引量：1

15

作者 张孝飞 黄河燕 +1 位作者 陈肇雄 代六玲 《计算机工程》 CAS CSCD 北大核心 2007年第11期166-167,212,共3页

跨语言信息检索中,输入的查询语句往往是一系列关键词组合,而不是一个完整意义上的句子,致使查询关键词序列缺乏必要的语法、语境信息,难以实现查询语句的精确翻译。该文基于大规模双语语料库,以向量空间模型和词汇同现互信息为理论基础... 跨语言信息检索中,输入的查询语句往往是一系列关键词组合,而不是一个完整意义上的句子,致使查询关键词序列缺乏必要的语法、语境信息,难以实现查询语句的精确翻译。该文基于大规模双语语料库,以向量空间模型和词汇同现互信息为理论基础,运用传统单语信息检索技术,将查询语句的翻译问题转换为查询关键词词典义项的boost值计算,重构目标语查询语句。 展开更多

关键词 跨语言信息检索 查询语句 翻译转换 双语语料库

在线阅读 下载PDF 职称材料

跨语言信息检索实现方法与关键技术探讨 被引量：15

16

作者 王昊 《情报杂志》 CSSCI 北大核心 2005年第7期46-49,共4页

着重论述了国内外跨语言信息检索技术(CLIR)的研究进展。介绍了CLIR技术的基本概念及相关技术;对国内外现存和设想的实现CLIR的方法进行总结并加以评论;探讨了CLIR技术各种实现方法中所使用的关键技术;简要介绍了现存、成功应用、著名的... 着重论述了国内外跨语言信息检索技术(CLIR)的研究进展。介绍了CLIR技术的基本概念及相关技术;对国内外现存和设想的实现CLIR的方法进行总结并加以评论;探讨了CLIR技术各种实现方法中所使用的关键技术;简要介绍了现存、成功应用、著名的CLIR系统;阐明了CLIR技术的应用领域并展望其发展前景。 展开更多

关键词 跨语言信息检索技术 CLIR 实现方法 机器翻译

在线阅读 下载PDF 职称材料

跨语言信息检索技术与应用研究 被引量：4

17

作者 郝天侠 《情报杂志》 CSSCI 北大核心 2007年第12期130-132,共3页

介绍了跨语言信息检索理论的提出及发展,简介了相关的国际会议;阐述了跨语言信息检索的主要技术方法,并对跨语言信息检索理论应用研究进行了探讨,展望了跨语言信息检索的发展前景。

关键词 跨语言信息检索 信息检索 语料库 机器翻译 多语种

在线阅读 下载PDF 职称材料

信息检索模型及其在跨语言信息检索中的应用进展 被引量：7

18

作者 吴丹 齐和庆 《现代情报》 2009年第7期215-221,共7页

信息检索发展中的一个重要理论问题是如何对查询与文档进行匹配,由此形成了不同的信息检索模型。跨语言信息检索是信息检索研究的一个分支,也是近年来的热点问题。本文主要对信息检索模型的研究进展,及其在跨语言信息检索中的应用进展... 信息检索发展中的一个重要理论问题是如何对查询与文档进行匹配,由此形成了不同的信息检索模型。跨语言信息检索是信息检索研究的一个分支,也是近年来的热点问题。本文主要对信息检索模型的研究进展,及其在跨语言信息检索中的应用进展进行分析与综述。 展开更多

关键词 信息检索 跨语言信息检索 检索模型

在线阅读 下载PDF 职称材料

近年来我国跨语言信息检索研究的统计分析 被引量：1

19

作者 张雪梅 过仕明 《现代情报》 CSSCI 2013年第7期112-117,共6页

以CNKI数字出版平台所收录的文献为依据,对近年来我国跨语言信息检索(CLIR:Cross Language Information Re-trieval)的文献进行文献计量学统计,选取2001-2012年间研究成果作为数据样本,并从文献年代分布、文献被引情况、文献情报源分布... 以CNKI数字出版平台所收录的文献为依据,对近年来我国跨语言信息检索(CLIR:Cross Language Information Re-trieval)的文献进行文献计量学统计,选取2001-2012年间研究成果作为数据样本,并从文献年代分布、文献被引情况、文献情报源分布、研究人员及机构分布、获得资助情况、关键词及论文主题分布进行统计分析,对2001-2012年关于跨语言信息检索的研究现状进行了梳理和总结,从而为进一步的研究和发展提供参考。 展开更多

关键词 跨语言信息检索 跨语言检索 多语言检索 多语言信息检索 统计分析

在线阅读 下载PDF 职称材料

基于跨语言信息检索的可比语料库构建方法研究 被引量：1

20

作者 司莉 史雅莉 《国家图书馆学刊》 CSSCI 北大核心 2016年第6期64-70,共7页

为满足用户对多语言信息表达与获取的迫切需求,可比语料库的研究和开发逐渐成为信息检索领域研究者和系统开发人员的关注重点。从跨语言信息检索视角出发,可比语料库的构建方法主要有提问式翻译法、特征过滤法、中间语言翻译法、文本翻... 为满足用户对多语言信息表达与获取的迫切需求,可比语料库的研究和开发逐渐成为信息检索领域研究者和系统开发人员的关注重点。从跨语言信息检索视角出发,可比语料库的构建方法主要有提问式翻译法、特征过滤法、中间语言翻译法、文本翻译法和同源匹配法等。我国可比语料库的建设,应在充分考虑系统整体性能的前提下,根据用户需求选择适用的构建方法,完善文本翻译及术语抽取技术,并优化文本对齐方式。 展开更多

关键词 可比语料库 构建方法 跨语言信息检索

在线阅读 下载PDF 职称材料