期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
基于信息熵的高维稀疏大数据降维算法研究 被引量:20
1
作者 何兴高 李蝉娟 +2 位作者 王瑞锦 邓伏虎 刘行 《电子科技大学学报》 EI CAS CSCD 北大核心 2018年第2期235-241,共7页
数据降维是从高维数据中挖掘有效信息的必要步骤。传统的主成分分析(PCA)算法应用于超高维稀疏数据降维时,存在着无法将所有数据特征一次性读入内存以进行分析计算的问题,而之后提出的分块处理PCA算法由于耗时太长,并不能满足实际需求... 数据降维是从高维数据中挖掘有效信息的必要步骤。传统的主成分分析(PCA)算法应用于超高维稀疏数据降维时,存在着无法将所有数据特征一次性读入内存以进行分析计算的问题,而之后提出的分块处理PCA算法由于耗时太长,并不能满足实际需求。本文引入信息熵的思想对PCA算法进行改进,提出E-PCA算法,先利用信息熵对数据进行特征筛选,剔除大部分无用特征,再使用PCA算法对处理后的超高维稀疏数据进行降维。通过实验结果表明,在保留相同比例原数据信息的情况下,本文提出的基于信息熵的E-PCA算法在内存占用、运行时间以及降维结果都优于分块处理PCA算法。 展开更多
关键词 分块处理 降维处理 高维稀疏大数据 信息熵 主成分分析
在线阅读 下载PDF
混合云存储中网络稀疏大数据渗透迁移算法 被引量:7
2
作者 王娜娜 《计算机工程与设计》 北大核心 2021年第3期719-725,共7页
当前方法没有考虑到特殊样本数据筛查的问题,导致数据渗透迁移完整度不高,所用时间较长,为此提出一种混合云存储中网络稀疏大数据渗透迁移算法。在主成分分析算法中引入信息熵的思想,对网络稀疏大数据进行降维处理,将降维结果与信息熵... 当前方法没有考虑到特殊样本数据筛查的问题,导致数据渗透迁移完整度不高,所用时间较长,为此提出一种混合云存储中网络稀疏大数据渗透迁移算法。在主成分分析算法中引入信息熵的思想,对网络稀疏大数据进行降维处理,将降维结果与信息熵进行结合;筛选网络稀疏大数据的特征,将网络稀疏大数据中存在的无用特征进行剔除;计算网络稀疏大数据的敏感度、时间长度和访问频率,通过以上3个迁移因子构建网络稀疏大数据重组模型,实现混合云存储中网络稀疏大数据的渗透迁移。实验结果表明,提出算法在数据迁移完整性与效率方面明显优于传统方法,说明所提算法能够实现对网络稀疏大数据的有效迁移,为相关研究提供一定参考价值。 展开更多
关键词 混合云存储 稀疏大数据 数据迁移 迁移因子 敏感度
在线阅读 下载PDF
面向稀疏高维大数据的扩展增量模糊聚类算法 被引量:19
3
作者 钱雪忠 姚琳燕 《计算机工程》 CAS CSCD 北大核心 2019年第6期75-81,88,共8页
模糊C均值(FCM)聚类算法对初始中心点敏感,不考虑类别间中心点的相互影响,且仅能处理低维数据。为此,设计一种改进的初始中心点选择方法,并基于条件模糊聚类思想,将传统FCM算法中的欧氏距离替换为余弦距离后提出wHFCLM算法。将该算法与... 模糊C均值(FCM)聚类算法对初始中心点敏感,不考虑类别间中心点的相互影响,且仅能处理低维数据。为此,设计一种改进的初始中心点选择方法,并基于条件模糊聚类思想,将传统FCM算法中的欧氏距离替换为余弦距离后提出wHFCLM算法。将该算法与扩展增量聚类算法spFCM、oFCM和rseFCM相结合,得到对应的扩展增量模糊聚类算法spHF(c+l)M、oHF(c+l)M以及rseHF(c+l)M。实验结果表明,与spFCM算法、oFCM算法和rseFCM算法相比,扩展增量模糊聚类算法对初始中心点的选择敏感性较低,能较好地处理大规模稀疏高维数据集,且在合适的分块大小下具有更优的聚类性能。 展开更多
关键词 扩展聚类算法 条件聚类 稀疏高维大数据 模糊聚类 初始中心点
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部