-
题名不确定噪声下海量文本数据的模糊挖掘算法研究
被引量：2
- 1
-
-
作者
潘大胜
-
机构
百色学院信息工程学院
-
出处
《微电子学与计算机》
CSCD
北大核心
2017年第9期129-132,共4页
-
文摘
针对传统的数据挖掘方法一直存在挖掘精度低、运行时间长的问题,提出基于小波变换与关联规则的不确定噪声下海量文本数据的模糊数据挖掘算法,首先利用小波变换对不确定噪声下海量文本数据的模糊数据进行预处理,将模糊海量文本数据时间序列转换至频谱空间中,获得频谱空间内距离最小、类间聚类最大的变换基系数,并将其作为海量文本模糊数据特征系数,利用数据特征系数计算出其从属于各类别的隶属度,确定模糊文本数据集的关联规则,依据多维海量数据集之间的相关程度进行区间划分,由此实现对不确定噪声下海量文本数据的有效挖掘.实验结果证明,所提算法能有效提高海量文本数据挖掘精度,且挖掘效率较高.
-
关键词
不确定噪声
海量文本数据
模糊数据挖掘算法
特征系数
关联规则
-
Keywords
Key words： uncertain noise
massive text data
the fuzzy data mining algorithm
characteristics of the coefficient of
association rules
-
分类号
TN391
[电子电信—物理电子学]
-
-
题名基于位置敏感哈希的海量文本数据查询算法研究
被引量：1
- 2
-
-
作者
蒋巍
-
机构
哈尔滨金融学院
-
出处
《科技通报》
北大核心
2013年第10期70-72,共3页
-
基金
黑龙江省教育厅2013年度科学技术研究(面上)项目(12531089)
-
文摘
提出了一种基于位置敏感哈希算法的海量文本数据查询算法,通过位置敏感哈希算法将文本数据的特征向量映射到哈希桶中,从而有效地降低了计算复杂度并提高了数据检索的效率。首先,利用TF-IDF特征表示文本的特征向量,并根据给定的哈希函数集把文本的特征向量映射至哈希桶;接下来,利用哈希表为给定的文本计算出与之对应的直方图,通过直方图距离计算文本的相似度;最后,通过计算目标文本集中的文本与待查询文本的相似度进行文本排序,排序分值高的文本作为相关文本返回给用户。实验结果表明,对比已有方法文本提出的算法在MAP以及查全率-查准率曲线两个测度上都获得了较好的性能。
-
关键词
位置敏感哈希
海量文本数据
哈希桶
排序
-
Keywords
locality sensitive hashing
massive text data
hash bucket
ranking
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
