近似检索的一些处理方法 被引量：11

1

作者 杨宪泽 《计算机工程》 EI CAS CSCD 北大核心 1998年第1期34-36,共3页

提高MIS检索能力是计算机应用的一个新课题。文章提出了容错近似检索算法和同音近似检索算法，介绍了近似检索的词义辅助分析的原理。

关键词 MIS 近似检索 词义辅助分析 办公自动化

在线阅读 下载PDF 职称材料

结合对象属性与近似检索的协同过滤算法 被引量：1

2

作者 陈乐 余粟 《小型微型计算机系统》 CSCD 北大核心 2021年第5期972-976,共5页

为解决传统协同过滤算法中评分数据高维稀疏、用户评分偏好属性和物品类别偏好属性缺失,而导致推荐效率较低和推荐质量较差的问题,本文提出一种结合对象属性和近似检索的协同过滤算法.首先,算法基于物品和用户的自有属性分别建立物品类... 为解决传统协同过滤算法中评分数据高维稀疏、用户评分偏好属性和物品类别偏好属性缺失,而导致推荐效率较低和推荐质量较差的问题,本文提出一种结合对象属性和近似检索的协同过滤算法.首先,算法基于物品和用户的自有属性分别建立物品类别偏好模型和用户评分偏好模型,并将两种模型线性融合,用以修正原始评分数据.其次,算法采用基于p稳态分布的局部敏感哈希对修正评分数据进行降维与索引,以快速获取目标用户的近邻用户集合.最后,算法通过用户相似性度量计算最近邻用户集合,并基于最近邻用户集合计算目标用户的预测评分.实验结果表明,在不同近邻用户数下,所提算法的准确率和召回率均优于传统的协同过滤算法,且运行效率更高.因此所提算法具有更好的推荐质量和更高效的运行效率. 展开更多

关键词 推荐系统 协同过滤 类别偏好 评分偏好 局部敏感哈希 近似最近邻检索

在线阅读 下载PDF 职称材料

面向大规模图像检索的哈希学习综述 被引量：1

3

作者 张雪凝 刘兴波 +3 位作者 宋井宽 聂秀山 王少华 尹义龙 《软件学报》 北大核心 2025年第1期79-106,共28页

随着互联网空间中图像数据的爆发式增长和图像应用领域的拓宽,大规模图像检索的需求与日俱增.哈希学习为大规模图像检索提供显著的存储与检索效率,并成为近年来一个研究热点.现有哈希学习综述存在着时效性弱与技术路线不清晰的问题,即... 随着互联网空间中图像数据的爆发式增长和图像应用领域的拓宽,大规模图像检索的需求与日俱增.哈希学习为大规模图像检索提供显著的存储与检索效率,并成为近年来一个研究热点.现有哈希学习综述存在着时效性弱与技术路线不清晰的问题,即多总结5–10年前的研究成果,且较少总结哈希学习算法各组成部分间的关联关系.鉴于此,通过总结近20年公开发表的哈希学习文献,对面向大规模图像检索的哈希学习进行系统的综述性研究.首先,介绍哈希学习的技术路线和哈希学习算法的主要组成部分,包括损失函数、优化策略及样本外扩展映射.其次,将面向图像检索的哈希学习算法分为无监督哈希方法和监督哈希方法两类,并分别梳理每类方法的研究现状和演化过程.然后,介绍哈希学习算法评估通用的图像数据集与评估指标,并通过对比实验分析部分经典算法的性能.最后,结合哈希学习的局限性与新挑战对其发展前景进行阶段性总结与展望. 展开更多

关键词 图像检索 大规模数据 近似最近邻检索 哈希学习 相似性保持

在线阅读 下载PDF 职称材料

基于相对编辑相似度的近似重复视频检索和定位 被引量：6

4

作者 赵清杰 王浩 +1 位作者 刘浩 张聪 《北京理工大学学报》 EI CAS CSCD 北大核心 2018年第1期85-90,共6页

为有效对近似重复视频进行检索和定位,提出了一种基于相对编辑相似度的检索和定位算法.算法包括基于局部特征的视频编码和基于相对编辑相似度的在线检索和定位两部分.基于局部特征的视频编码首先提取数据库视频的关键帧,然后在关键帧中... 为有效对近似重复视频进行检索和定位,提出了一种基于相对编辑相似度的检索和定位算法.算法包括基于局部特征的视频编码和基于相对编辑相似度的在线检索和定位两部分.基于局部特征的视频编码首先提取数据库视频的关键帧,然后在关键帧中提取Root-SIFT特征描述符并应用层次K-Means聚类算法构建词典,之后将关键帧量化至词袋模型的单词并编码.基于相对编辑相似度的在线检索和定位首先对查询视频进行编码,然后应用相对编辑相似度算法,筛选近似重复视频并对近似重复片段进行定位.实验结果表明,LD算法比Yeh等提出的算法在平均F1评价准则上效果要高8.55%,并且NDCR降低为原来的29%,效果提升明显. 展开更多

关键词 近似重复视频检索 近似重复视频定位 相对编辑相似度

在线阅读 下载PDF 职称材料

基于深度学习的视频近似拷贝检索 被引量：2

5

作者 冯兆华 朱允斌 李卫强 《计算机应用与软件》 北大核心 2018年第1期160-163,182,共5页

随着网络和多媒体技术的发展,越来越多的视频数据充斥着互联网,对视频进行有效的管理,尽可能排除其中的重复内容已经成为一项很重要的工作。基于这种现状,设计了一套快速而有效的视频近似拷贝检索系统。不同于传统的视频近似检测方法,... 随着网络和多媒体技术的发展,越来越多的视频数据充斥着互联网,对视频进行有效的管理,尽可能排除其中的重复内容已经成为一项很重要的工作。基于这种现状,设计了一套快速而有效的视频近似拷贝检索系统。不同于传统的视频近似检测方法,该系统采用深度学习的方法,使用深度卷积神经网络快速地为采样帧提取特征,使用k-d树为视频库中的特征值建立索引,从而提高相似查找的速度,最后计算输入视频与所有候选视频的相似度,并按相似度对候选视频排序输出。 展开更多

关键词 近似拷贝检索 特征值提取 深度学习 K-D树 相似度度量

在线阅读 下载PDF 职称材料

一种支持非度量空间中近似查询的索引技术

6

作者 彭敦陆 徐文杰 +1 位作者 霍欢 江平 《计算机应用研究》 CSCD 北大核心 2014年第7期1965-1971,共7页

多媒体信息系统通常使用索引技术加快检索,现有索引技术绝大多数都是基于度量空间建立的,其中广泛应用度量空间的三角不等性。在非度量空间中,面向度量空间的索引技术难以快速而准确地完成检索任务。针对多媒体数据对象进行研究,发现其... 多媒体信息系统通常使用索引技术加快检索,现有索引技术绝大多数都是基于度量空间建立的,其中广泛应用度量空间的三角不等性。在非度量空间中,面向度量空间的索引技术难以快速而准确地完成检索任务。针对多媒体数据对象进行研究,发现其具有非度量空间的属性,在建立多媒体数据索引时,采用非度量空间中的计算方法使得所建索引更加有效。结合聚类和pivots技术,提出一种支持非度量空间中的对象索引结构——M+-tree。给出了M+-tree的建立、维护及采用M+-tree进行快速KNN检索的相关算法。实验表明,M+-tree在检索性能和检索效果上比现有的非度量空间的索引结构具有明显优势。 展开更多

关键词 索引结构 非度量空间 近似检索 树结构 聚类

在线阅读 下载PDF 职称材料

开放环境多分布特性的局部敏感哈希检索方法 被引量：13

7

作者 张仕 赖会霞 +3 位作者 肖如良 潘淼鑫 张路路 陈伟林 《软件学报》 EI CSCD 北大核心 2022年第4期1200-1217,共18页

基于局部敏感哈希的检索方法能够较好地解决高维大规模数据的近似近邻检索问题.但在开放环境下针对多种分布特性时,迄今尚未有令人满意的解决方案.利用Laplacian算子对数据分布剧烈变化敏感的特性,提出一种具有全局性、适用于开放环境... 基于局部敏感哈希的检索方法能够较好地解决高维大规模数据的近似近邻检索问题.但在开放环境下针对多种分布特性时,迄今尚未有令人满意的解决方案.利用Laplacian算子对数据分布剧烈变化敏感的特性,提出一种具有全局性、适用于开放环境下多种分布特性的基于Laplacian算子的局部敏感哈希搜索方法(LPLSH).该方法把Laplacian算子应用于数据投影的概率密度分布,找到数据投影分布的剧烈变化位置作为超平面的偏移量.从理论上证明了精简维度的哈希函数能够保持局部敏感性及低投影密度区间分割的有效性,分析了利用Laplacian算子计算的二阶导数对超平面偏移量设置的指导意义.与其他8种方法对比,LPLSH算法的F1值是其他方法最优值的0.8倍-5倍,耗费时间也大幅减少.通过对具有多种分布特性数据集上的实验验证,结果表明:LPLSH方法能够同时兼顾效率、精度和召回率,可满足开放环境下多分布特性的大规模高维检索的鲁棒性需求. 展开更多

关键词 开放环境 近似近邻检索 数据多分布特性 局部敏感哈希 数据检索

在线阅读 下载PDF 职称材料

基于随机森林的哈希检索算法 被引量：6

8

作者 花强 郭欣欣 +1 位作者 张峰 董春茹 《计算机科学与探索》 CSCD 北大核心 2019年第7期1174-1183,共10页

从海量数据中进行近似数据的检索是数据挖掘领域许多应用的关键。尤其近年来,数据的规模出现爆炸式增长,数据检索需面对海量数据和“维度灾难”的叠加考验,这使得传统最近邻算法效率降低,而近似最近邻算法发挥了越来越重要的作用。其中... 从海量数据中进行近似数据的检索是数据挖掘领域许多应用的关键。尤其近年来,数据的规模出现爆炸式增长,数据检索需面对海量数据和“维度灾难”的叠加考验,这使得传统最近邻算法效率降低,而近似最近邻算法发挥了越来越重要的作用。其中哈希算法以其在存储空间和计算时间上的优势受到了广泛关注。提出了一种基于随机森林的哈希算法。该算法通过构建随机森林,将原始空间的样本映射为海明空间的二进制哈希码,并在哈希空间上定义了顺序敏感的海明距离,以最大程度保持数据在原空间的近邻关系不变。由于随机森林中不同决策树所使用的特征空间和学习过程是独立的,可以以增量的方式灵活地确定哈希码的长度。此外基于随机森林的哈希编码算法天然适合并行部署,从而可以大大提高算法速度。最后,在MNIST和CIFAR-10数据集对所提算法进行了实验验证,结果表明了算法的有效性和出色性能。 展开更多

关键词 近似近邻检索(ANNS) 哈希编码 随机森林 顺序敏感的海明距离

在线阅读 下载PDF 职称材料

基于卷积神经网络和监督核哈希的图像检索方法 被引量：37

9

作者 柯圣财 赵永威 +1 位作者 李弼程 彭天强 《电子学报》 EI CAS CSCD 北大核心 2017年第1期157-163,共7页

当前主流的图像检索方法采用的视觉特征,缺乏自主学习能力,导致其图像表达能力不强,此外,传统的特征索引方法检索效率较低,难以适用于大规模图像数据.针对这些问题,本文提出了一种基于卷积神经网络和监督核哈希的图像检索方法.首先,利... 当前主流的图像检索方法采用的视觉特征,缺乏自主学习能力,导致其图像表达能力不强,此外,传统的特征索引方法检索效率较低,难以适用于大规模图像数据.针对这些问题,本文提出了一种基于卷积神经网络和监督核哈希的图像检索方法.首先,利用卷积神经网络的学习能力挖掘训练图像内容的内在隐含关系,提取图像深层特征,增强特征的视觉表达能力和区分性;然后,利用监督核哈希方法对高维图像深层特征进行监督学习,并将高维特征映射到低维汉明空间中,生成紧致的哈希码;最后,在低维汉明空间中完成对大规模图像数据的有效检索.在Image Net-1000和Caltech-256数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,提高图像检索效率,优于当前主流方法. 展开更多

关键词 深度学习 图像检索 卷积神经网络 近似近邻检索 监督核哈希

在线阅读 下载PDF 职称材料

高维空间近邻检索的双层组合量化GPU加速算法 被引量：5

10

作者 邓理睿 包涵 +2 位作者 陈靓 全成斌 赵有健 《小型微型计算机系统》 CSCD 北大核心 2019年第2期390-394,共5页

在大规模视频、图像、文本检索等许多实际应用中,高维空间内海量数据的索引及近邻检索一直是难点和关键问题之一.传统的K-D树等树形索引方法在高维空间中容易陷入"维度灾难",而主流的哈希散列方法(如局部敏感哈希)空间复杂度... 在大规模视频、图像、文本检索等许多实际应用中,高维空间内海量数据的索引及近邻检索一直是难点和关键问题之一.传统的K-D树等树形索引方法在高维空间中容易陷入"维度灾难",而主流的哈希散列方法(如局部敏感哈希)空间复杂度较高,在大规模数据下难以应用.本文总结了近年来基于向量量化的检索算法的相关研究,提出了一种基于GPU优化的高维数据近似近邻检索算法,在组合量化算法的基础上融合双层索引树结构与局部子空间最优化思想,在提高算法准确率的同时针对GPU模型优化算法,极大改善了检索性能,在单张GPU上实现了十亿量级高维数据的高效近似近邻检索. 展开更多

关键词 近似近邻检索 组合量化 GPU 高维索引

在线阅读 下载PDF 职称材料

量化编码的分层可通航小世界图算法 被引量：1

11

作者 李秋珍 白兴强 +1 位作者 李立夏 王赢 《计算机工程与科学》 CSCD 北大核心 2019年第4期618-625,共8页

随着大数据和人工智能的高速发展,针对多媒体数据的结构化处理与基于内容的检索受到极大的关注,面对多媒体数据结构化后的海量高维特征向量,如何快速、准确地检索是人工智能处理大规模数据所必须解决的问题。最近提出的分层可通航小世界... 随着大数据和人工智能的高速发展,针对多媒体数据的结构化处理与基于内容的检索受到极大的关注,面对多媒体数据结构化后的海量高维特征向量,如何快速、准确地检索是人工智能处理大规模数据所必须解决的问题。最近提出的分层可通航小世界图HNSW检索算法在多个公开数据集取得了最佳的性能表现,但该算法存在内存开销大的问题。而基于量化编码的检索算法能够压缩数据集向量,大幅度降低内存占用。将量化编码和分层可通航小世界图算法结合,提出了2种基于量化编码改进的HNSW算法,分别是使用标量量化编码向量的HNSWSQ算法和使用乘积量化编码向量的HNSWPQ算法,2种算法使用不同的量化策略存储原始向量编码,以降低内存开销,再通过HNSW算法建立索引达到缩短检索耗时的目的。其中HNSWSQ算法在多个数据集上获得了与HNSW算法相近的查全率和平均检索耗时,而内存开销大幅降低。实验结果表明,HNSWSQ算法在SIFT-1M和GIST-1M数据集上的内存开销比HNSW算法分别降低了45.1%和70.4%。 展开更多

关键词 近似最近邻检索 分层可通航小世界图算法 乘积量化 标量量化 相似性搜索 高维数据索引

在线阅读 下载PDF 职称材料