期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
基于结构化P2P的分布式数据流系统的查询处理模型 被引量:1
1
作者 刘云生 赵海谊 《计算机应用研究》 CSCD 北大核心 2007年第12期74-76,共3页
分析了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束问题(主要是内存),提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。
关键词 分布式数据流管理系统 结构化覆盖网 分布式散列表 滑动窗口
在线阅读 下载PDF
一种分布式数据流有效数据识别方法研究
2
作者 王金栋 戎晓霞 丁秋林 《中国海洋大学学报(自然科学版)》 CAS CSCD 北大核心 2006年第6期885-888,1012,共5页
针对分布式数据流应用中,如何在高速、海量的输入数据中识别重要数据单元的问题,给出了有效数据的概念,并提出了1种有效数据识别算法。该算法以缩略图技术为基础,能够在用户给定的误差范围内,以接近1的概率输出有效数据,而且占用较少内... 针对分布式数据流应用中,如何在高速、海量的输入数据中识别重要数据单元的问题,给出了有效数据的概念,并提出了1种有效数据识别算法。该算法以缩略图技术为基础,能够在用户给定的误差范围内,以接近1的概率输出有效数据,而且占用较少内存。实验和算法分析验证了算法的有效性。 展开更多
关键词 数据流 分布式数据流系统 频繁数据 有效数据
在线阅读 下载PDF
分布式数据流处理系统管理中负载均衡问题建模与求解 被引量:4
3
作者 唐颖峰 陈世平 《运筹与管理》 CSSCI CSCD 北大核心 2021年第4期155-162,共8页
对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;... 对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;然后采用蚁群算法对模型进行求解,并针对分布式数据流处理系统实时性的需求对算法进行改进;最后用实验证明本文所建立的模型及其求解方法对于解决分布式数据流处理系统管理中节点负载均衡问题的有效性。 展开更多
关键词 系统管理 分布式数据流处理系统 负载均衡 组合优化问题 蚁群算法
在线阅读 下载PDF
应对倾斜数据流在线连接方法 被引量:2
4
作者 王春凯 孟小峰 《软件学报》 EI CSCD 北大核心 2018年第3期869-882,共14页
并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销.相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源.基于完全二部图的连接模型可支持分布式数据流的连接操作.因为... 并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销.相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源.基于完全二部图的连接模型可支持分布式数据流的连接操作.因为连接操作的每个关系仅存放于二部图模型的一侧处理单元,无需复制数据,且处理单元相互独立,因此该模型具有内存高效、易伸缩和可扩展等特性.然而,由于数据流速的不稳定性和属性值分布的不均衡性,导致倾斜数据流的连接操作易出现集群负载不均衡的现象.针对倾斜数据流的连接操作,模型无法动态分配查询节点,并需要人工干预数据分组的参数设置.尤其是应对全部历史数据的连接查询,模型效率更低.基于上述问题,提出了管理倾斜数据流连接的框架,使用基于键值和元组混合的划分样式,有效应对二部图模型的各侧倾斜数据.设计了重新动态分配查询节点的策略和状态迁移算法,以支持全历史数据的连接查询和自适应的资源管理.针对合成数据和真实数据的实验结果表明,该方案可有效应对倾斜数据的连接操作,并进一步提升分布式数据流管理系统的吞吐率,特别是降低云环境中的计算成本. 展开更多
关键词 分布式数据流管理系统 在线连接 数据倾斜 状态迁移 二部图连接模型
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部