-
题名基于分区层次图的海量高维数据学习索引构建方法
- 1
-
-
作者
华悦琳
周晓磊
范强
王芳潇
严浩
-
机构
南京信息工程大学计算机学院、网络空间安全学院
国防科技大学第六十三研究所
国防科技大学大数据与决策实验室
-
出处
《计算机工程与科学》
CSCD
北大核心
2024年第7期1193-1201,共9页
-
文摘
学习索引是破解海量高维数据近似最近邻搜索问题的关键。然而,现有学习索引技术结果仅局限于单个分区中,且依赖于近邻图的构建。随着数据维度和规模的增长,索引难以对分区边界数据进行精确判断,并且构建时间复杂度增大,可扩展性难以保障。针对上述问题,提出了基于分区层次图的学习索引方法PBO-HNSW。该方法对分区边界数据进行重新分配,并行构建分布式图索引结构,从而有效应对近似最近邻搜索问题所面临的挑战。实验结果表明,该方法能够在百万级海量高维数据上实现毫秒级的索引构建。当召回率为0.93时,PBO-HNSW方法构建时间仅为基线方法的36.4%。
-
关键词
近似最近邻搜索
学习索引
层次可导航小世界图
分区学习
索引结构
-
Keywords
approximate nearest neighbor search
learning to index
hierarchical navigable small world(HNSW)
partition learning
index structure
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
