摘要
标准Bloom Filters在操作前需要知道数据集合中不同元素数目才能确定最佳的Hash函数数目,但是数据集的分布情况并不容易事先获得.本文提出一种多阶段Hash函数数目动态优化的Bloom Filters(Multi-stage Dynamicoptimization Bloom Filters,MDBF),它将元素插入过程分为多个阶段,在每个阶段根据比特向量的使用情况分析插入元素的分布,动态调整最优的Hash函数数目.实验表明MDBF能够适应元素多样性和偏斜分布的复杂情况,选择最优的Hash函数数目,获得更低的误检率.
Standard Bloom Filters needs to know the number of different elements in data set in order to determine the optimal number of hash functions.However,the data distribution information is not easy to obtain prior.This paper proposes a multistage dynamic optimization for Bloom Filters hash functions number（MDBF）.It splits element insertion procedure into several stages,and in each stage of element insertion,MDBF decides the optimal hash function number by analyzing the inserted data distribution with bit vector usage situation.The experimental results show that MDBF can select the optimal number of hash functions to obtain low false positive probability in complicated applications,which have element multiplicity and skewed distribution.
出处
《电子学报》
EI
CAS
CSCD
北大核心
2011年第4期877-881,共5页
Acta Electronica Sinica
基金
国家自然科学基金(No.60973193
61003039
61003236)
江苏省自然科学基金(No.BK2008451)
省级现代服务业发展专项基金(No.0801019C)
国家博士后基金(No.20090451241)
江苏高校科技创新计划项目(No.CX09B-153Z
CX10B-260Z
CX10B-261Z
CX10B-262Z)
江苏省六大高峰人才项目(No.2008118)
江苏省计算机信息处理技术重点实验室基金(2010)
作者简介
张伟 男，1973年9月出生于江苏泰兴，南京邮电大学副教授，博士．现为南京邮电大学通信与信息工程流动站博士后，主要研究方向是网络异常检测及恶意代码分析等．E-mail：zhangw@njupt．edu．cn
王汝传 男，1943年9月出生于安徽合肥，南京邮电大学教授、博士生导师．主要研究方向是计算机软件、计算机网络和网格、对等计算、信息安全、无线传感器网络、移动代理等．E-mail：wangle@njupt．edu．cn
