-
题名大型数据库重复记录检测与优化研究
被引量：2
- 1
-
-
作者
唐吉深
覃少华
-
机构
河池学院教务处
广西多源信息挖掘与安全重点实验室
广西师范大学计算机科学与信息工程学院
-
出处
《现代电子技术》
北大核心
2020年第17期77-81,共5页
-
基金
广西民族大学中国-东盟研究中心(广西科学实验中心)2014年度开放课题项目(KT201431)。
-
文摘
研究大型数据库重复记录检测与优化,利用Jaro算法以及TF-IDF算法计算大型数据库不同记录字段相似度量函数,所获取字段相似度量函数作为记录特征向量,经过人工标记后设置为BP神经网络期望输出。构建BP神经网络学习样本,设置变参数量子粒子群初始连接权值与阈值作为粒子,利用BP神经网络依据学习训练样本获取量子粒子群适应度函数值,确定粒子此刻最优位置以及全局最优位置。将全局最优位置粒子设置为BP神经网络初始连接阈值以及权值,重复更新粒子位置,利用所获取训练集学习结果建立大型数据库重复记录检测模型,检测模型输出结果大于检测门限值时,该记录为大型数据库内重复记录,否则为非重复记录。实验结果表明,采用该方法检测包含100 000条记录的大型数据库,检测召回率以及准确率均高于98.5%。
-
关键词
大型数据库
重复记录检测
重复记录优化
学习样本构建
最优位置确定
权值设置
-
Keywords
large database
duplicated record detection
duplicated record optimization
learning sample construction
optimal position determination
weight setup
-
分类号
TN911.1-34
[电子电信—通信与信息系统]
TP311
[自动化与计算机技术—计算机软件与理论]
-
