期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
SHELL:一种面向流数据的实时基数估计算法
1
作者
刘尚东
张殿超
+4 位作者
尧海昌
姚橹
叶青
季一木
王汝传
《南京邮电大学学报（自然科学版）》
北大核心
2017年第4期91-96,共6页
基数计算在流数据查询优化、网络安全、数据压缩等领域具有重要的应用价值。现有的基于概率统计原理的基数估计算法需要通过扫描历史静态数据才能进行基数统计,由于流数据具有持续、快速和实时等特点,不可能先持久化再处理分析,因而传...
基数计算在流数据查询优化、网络安全、数据压缩等领域具有重要的应用价值。现有的基于概率统计原理的基数估计算法需要通过扫描历史静态数据才能进行基数统计,由于流数据具有持续、快速和实时等特点,不可能先持久化再处理分析,因而传统的基数估计算法无法直接应用在大数据流处理中。通过研究Spark、Storm实时分布式流处理机制和传统基数估计算法,设计和实现了实时的流数据基数估计算法SHELL(Streaming HypErLogLog),实验表明,SHELL在保证精确度不降低的情况下,单位滑动时间窗口内处理的消息量达到6.0×10~5~6.8×10~5,满足实时性处理的要求。
展开更多
关键词
大数据处理技术
流数据
基数估计
并行化算法
在线阅读
下载PDF
职称材料
题名
SHELL:一种面向流数据的实时基数估计算法
1
作者
刘尚东
张殿超
尧海昌
姚橹
叶青
季一木
王汝传
机构
南京
邮电大学
计算机
学院
南京工业职业技术学院计算机学院
南京
邮电大学江苏省无线传感网高
技术
研究重点实验室
南京
邮电大学先进
技术
研究院
南京
理工大学高维信息智能感知与系统教育部重点实验室
出处
《南京邮电大学学报（自然科学版）》
北大核心
2017年第4期91-96,共6页
基金
国家重点研发计划(2017YFB0202200)
国家自然科学基金(61170065
+5 种基金
61373017)
江苏省重点研发计划(BE2017166)
江苏省自然科学基金优秀青年基金(BK20170100)
南京理工大学高维信息智能感知与系统教育部重点实验室开放基金
江苏省无线传感网高技术研究重点实验室开放基金(WSNLBZY201514)
南京邮电大学校级科研基金(NY214067)资助项目
文摘
基数计算在流数据查询优化、网络安全、数据压缩等领域具有重要的应用价值。现有的基于概率统计原理的基数估计算法需要通过扫描历史静态数据才能进行基数统计,由于流数据具有持续、快速和实时等特点,不可能先持久化再处理分析,因而传统的基数估计算法无法直接应用在大数据流处理中。通过研究Spark、Storm实时分布式流处理机制和传统基数估计算法,设计和实现了实时的流数据基数估计算法SHELL(Streaming HypErLogLog),实验表明,SHELL在保证精确度不降低的情况下,单位滑动时间窗口内处理的消息量达到6.0×10~5~6.8×10~5,满足实时性处理的要求。
关键词
大数据处理技术
流数据
基数估计
并行化算法
Keywords
big data processing techniques
stream data
cardinality evaluation
paralleling algorithm
分类号
TP311.11 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
SHELL:一种面向流数据的实时基数估计算法
刘尚东
张殿超
尧海昌
姚橹
叶青
季一木
王汝传
《南京邮电大学学报（自然科学版）》
北大核心
2017
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
