期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
大数据随机样本划分模型及相关分析计算技术 被引量:18
1
作者 黄哲学 何玉林 +1 位作者 魏丞昊 张晓亮 《数据采集与处理》 CSCD 北大核心 2019年第3期373-385,共13页
设计了一种新的适用于大数据的管理和分析模型大数据随机样本划分(Random samplepartition,RSP)模型,它是将大数据文件表达成一系列RSP数据块文件的集合,分布存储在集群节点上。RSP的生成操作使每个RSP数据块的分布与大数据的分布保持... 设计了一种新的适用于大数据的管理和分析模型大数据随机样本划分(Random samplepartition,RSP)模型,它是将大数据文件表达成一系列RSP数据块文件的集合,分布存储在集群节点上。RSP的生成操作使每个RSP数据块的分布与大数据的分布保持统计意义上的一致,因此,每个RSP数据块是大数据的一个随机样本数据,可以用来估计大数据的统计特征,或建立大数据的分类和回归模型。基于RSP模型,大数据的分析任务可以通过对RSP数据块的分析来完成,不需要对整个大数据进行计算,极大地减少了计算量,降低了对计算资源的要求,提高了集群系统的计算能力和扩展能力。本文首先给出RSP模型的定义、理论基础和生成方法;然后介绍基于RSP数据块的渐近式集成学习Alpha计算框架;之后讨论基于RSP模型和Alpha框架的大数据分析相关计算技术,包括:数据探索与清洗、概率密度函数估计、有监督子空间学习、半监督集成学习、聚类集成和异常点检测;最后讨论RSP模型在分而治之大数据分析和抽样方法上的创新,以及RSP模型和Alpha计算框架实现大规模数据分析的优势。 展开更多
关键词 大数据 随机样本划分 渐近式集成学习 人工智能
在线阅读 下载PDF
基于统计感知的大数据系统计算框架 被引量:5
2
作者 魏丞昊 黄哲学 何玉林 《深圳大学学报(理工版)》 EI CAS CSCD 北大核心 2018年第5期441-443,共3页
为在一定计算资源条件下实现大数据可计算化,本研究提出一种基于统计感知思想的Tbyte级大数据系统计算框架Bigdata-α,该框架的核心为大数据随机样本划分模型和逼近式集成学习模型.前者保证了划分后每个子数据块所包含的样本与大数据总... 为在一定计算资源条件下实现大数据可计算化,本研究提出一种基于统计感知思想的Tbyte级大数据系统计算框架Bigdata-α,该框架的核心为大数据随机样本划分模型和逼近式集成学习模型.前者保证了划分后每个子数据块所包含的样本与大数据总体概率分布的一致性.后者通过分析若干个随机样本数据块替代了Tbyte级全量数据分析.使用1 Tbyte模拟数据集验证随机样本划分模型的有效性,通过逐渐增加随机样本块的个数,提升了Higgs数据集基分类器的分类准确度,证明该方法能克服大数据分析中计算资源的限制瓶颈. 展开更多
关键词 计算机系统结构 大数据 随机样本划分 逼近式集成学习 并行分布式计算 分布式处理系统
在线阅读 下载PDF
一种改进的可适应变宽核密度估计器 被引量:2
3
作者 金会赏 何玉林 +2 位作者 常秀颖 王晓兰 蒋捷 《深圳大学学报(理工版)》 EI CAS CSCD 北大核心 2019年第6期709-717,共9页
可适应变宽核密度估计器(kernel density estimator with adaptive varying bandwidth,KDE-AVB)是一种基于单个数据点的概率密度估计方法,它以单个数据点为处理对象,利用置信区间交叉法则确定核密度估计器的最优窗口宽度.为加快可适应... 可适应变宽核密度估计器(kernel density estimator with adaptive varying bandwidth,KDE-AVB)是一种基于单个数据点的概率密度估计方法,它以单个数据点为处理对象,利用置信区间交叉法则确定核密度估计器的最优窗口宽度.为加快可适应变宽核密度估计器对最优窗口宽度的寻找,通过引入一种可变的标准差项因子去确定置信区间的上下边界,提出一种改进的可适应变宽核密度估计器(improved kernel density estimator with adaptive varying bandwidth,IKDE-AVB).可变标准差项因子的引入不仅加快了可适应变宽核密度估计器搜索最优窗口宽度的速度,且在一定程度上降低了“过平滑”概率密度估计现象发生的风险.对KDE-AVB和IKDE-AVB的仿真结果表明,IKDE-AVB不仅获得了更快的训练速度(最高降低64%),同时提升了概率密度的估计精度(估计误差最高降低63%). 展开更多
关键词 人工智能 概率密度 核密度估计 可适应变宽 最优窗口宽度
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部