一种分布式数据流系统负载平衡算法

1

作者 王金栋 戎晓霞 丁秋林 《计算机工程》 CAS CSCD 北大核心 2008年第4期51-53,59,共4页

分布式数据流系统中,当输入数据流速发生较大波动时,会引起部分节点过载,从而影响整个系统的数据处理能力。针对这个问题,该文分析了分布式数据流系统的特点以及现有负载平衡算法的局限性,提出了一种利用多层重叠结构进行负载信息收集... 分布式数据流系统中,当输入数据流速发生较大波动时,会引起部分节点过载,从而影响整个系统的数据处理能力。针对这个问题,该文分析了分布式数据流系统的特点以及现有负载平衡算法的局限性,提出了一种利用多层重叠结构进行负载信息收集和负载分配的平衡算法。该算法利用虚拟树形结构进行负载信息的收集和负载分配,具有较好的扩展性能。以环形虚拟结构中保存的节点相对位置信息为依据进行负载移动,从而有效降低系统的响应时间。实验结果表明该算法具有良好的负载平衡能力和一定的应用价值。 展开更多

关键词 数据流 数据流系统 负载平衡 重叠网络

在线阅读 下载PDF 职称材料

数据流系统降载研究综述

2

作者 陈军 周明天 杨晓燕 《计算机应用研究》 CSCD 北大核心 2008年第10期2898-2902,共5页

在介绍数据流及数据流系统的模型后,对降载时的系统约束、输出质量目标进行了正式阐述。提出数据流系统降载策略的分类方法,着重分析了目前一些较为重要的数据流系统降载策略,指出其特征和应用范围,最后总结了好的数据流降载策略应具有... 在介绍数据流及数据流系统的模型后,对降载时的系统约束、输出质量目标进行了正式阐述。提出数据流系统降载策略的分类方法,着重分析了目前一些较为重要的数据流系统降载策略,指出其特征和应用范围,最后总结了好的数据流降载策略应具有的特点以及未来研究的发展趋势。 展开更多

关键词 数据流系统 降载 数据流管理系统 窗口

在线阅读 下载PDF 职称材料

数据流系统连接降载研究

3

作者 陈军 周明天 杨晓燕 《计算机工程与应用》 CSCD 北大核心 2008年第25期16-19,共4页

连接运算在数据流系统中扮演了关键角色,其执行方式与传统DBMS的连接运算不同,流连接降载策略与传统的网络降载也不相同,已开发许多连接降载策略。论文在介绍流连接运算、数据流及数据流系统的模型后,对连接降载时的系统约束、输出质量... 连接运算在数据流系统中扮演了关键角色,其执行方式与传统DBMS的连接运算不同,流连接降载策略与传统的网络降载也不相同,已开发许多连接降载策略。论文在介绍流连接运算、数据流及数据流系统的模型后,对连接降载时的系统约束、输出质量目标进行了正式阐述。提出连接降载策略的分类方法,并着重分析了目前一些较为重要的连接降载策略,指出其特征和应用范围。最后总结了好的连接降载策略应具有的特点及未来研究的发展趋势。 展开更多

关键词 数据流系统 降载 连接 滑动窗口

在线阅读 下载PDF 职称材料

基于结构化P2P的分布式数据流系统的查询处理模型 被引量：1

4

作者 刘云生 赵海谊 《计算机应用研究》 CSCD 北大核心 2007年第12期74-76,共3页

分析了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束问题(主要是内存),提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。

关键词 分布式数据流管理系统 结构化覆盖网 分布式散列表 滑动窗口

在线阅读 下载PDF 职称材料

配电自动化的数据流管理系统设计 被引量：13

5

作者 王永利 徐宏炳 +2 位作者 董逸生 钱江波 刘学军 《电力系统自动化》 EI CSCD 北大核心 2004年第13期85-89,96,共6页

数据采集与监视控制(SCADA)系统采集的各种实时、连续、有序的值序列是典型的数据流,而目前SCADA系统所采用的实时数据库系统对数据流处理的实时性和自适应性要求尚需改进。文中以配电自动化管理为应用背景,提出一个支持配电自动化的数... 数据采集与监视控制(SCADA)系统采集的各种实时、连续、有序的值序列是典型的数据流,而目前SCADA系统所采用的实时数据库系统对数据流处理的实时性和自适应性要求尚需改进。文中以配电自动化管理为应用背景,提出一个支持配电自动化的数据流管理系统,在配电网远方终端加入查询处理层,降低网络传输负载,提高配电网数据处理的实时性和可靠性。文中描述了系统的基本结构、各组成部分的功能和关键技术,探讨了有关分布式连续查询处理、近似计算、归档数据处理等问题,并提出在数据流研究方面的一些新看法。 展开更多

关键词 配电自动化 数据流管理系统 连续查询 近似计算

在线阅读 下载PDF 职称材料

基于数据流管理平台的网络安全事件监控系统 被引量：13

6

作者 沈星星 程学旗 《小型微型计算机系统》 CSCD 北大核心 2006年第2期237-240,共4页

复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件.数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型.本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型.在... 复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件.数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型.本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型.在这个模型中,数据流管理平台有效地支持了对高速网络数据流的实时查询与分析,从而保证基于其上的网络安全事件监控系统能够达到较高的处理性能.利用CQL作为接口语言,精确描述安全事件规则与各种监控查询,具有很强的灵活性与完整性.另外,系统能够整合入侵检测、蠕虫发现、网络交通流量管理等多种监控功能,具有良好的可扩展性. 展开更多

关键词 数据流管理系统 网络安全 入侵检测 监控

在线阅读 下载PDF 职称材料

数据流管理系统研究与进展 被引量：6

7

作者 张玲东 毛宇光 +1 位作者 曹晨光 宋卫东 《计算机应用研究》 CSCD 北大核心 2005年第6期12-15,共4页

综述了数据流管理系统的研究现状及相关的技术,包括相关的基本概念的阐述、现有实验系统的回顾、流式查询中存在的问题及相关的解决方案,并就今后如何进行数据流管理系统的研究提出了一些新的看法。

关键词 数据流 数据流管理系统 连续查询

在线阅读 下载PDF 职称材料

数据流管理系统综述 被引量：9

8

作者 周明中 龚俭 《计算机工程》 EI CAS CSCD 北大核心 2006年第2期10-12,25,共4页

数据流管理系统提出了一种通用结构模型,它采用窗口机制,连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。文章分析了数据流管理系统的框架结构和构成要素,讨论了其适用范围和优缺点,并指出当前研究中存在的问题及可... 数据流管理系统提出了一种通用结构模型,它采用窗口机制,连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。文章分析了数据流管理系统的框架结构和构成要素,讨论了其适用范围和优缺点,并指出当前研究中存在的问题及可能的发展趋势。 展开更多

关键词 数据流 数据流管理系统 窗几机制 连续查询 优化策略

在线阅读 下载PDF 职称材料

多核平台下Esper数据流管理系统性能分析研究 被引量：2

9

作者 王洪亚 张华庆 刘晓强 《计算机工程》 CAS CSCD 北大核心 2016年第9期15-20,共6页

Esper事件处理系统可用于复杂事件处理与数据分析,适用于处理大量历史的或实时的消息和事件流。分析多核计算平台下基于Esper引擎所构建的数据流处理系统,介绍基于Esper引擎实验平台的设计与实现,给出完整的查询语句和测试用例,并使用... Esper事件处理系统可用于复杂事件处理与数据分析,适用于处理大量历史的或实时的消息和事件流。分析多核计算平台下基于Esper引擎所构建的数据流处理系统,介绍基于Esper引擎实验平台的设计与实现,给出完整的查询语句和测试用例,并使用该实验平台对多核平台下Esper引擎的性能进行测试,通过实时监控和离线数据分析给出系统的各项性能指标。实验结果表明,Esper数据流系统对多核平台并不能够提供良好的支持。 展开更多

关键词 事件流处理 复杂事件处理 多核平台 Esper引擎 数据流管理系统

在线阅读 下载PDF 职称材料

面向信息安全的高速数据流管理系统的设计与实现 被引量：1

10

作者 李冬 薛一波 《计算机应用与软件》 CSCD 北大核心 2008年第12期268-270,277,共4页

随着信息安全领域研究和应用的深入,网络行为和流量分析等应用对网络流的处理提出了更高的要求。从数据流管理系统的角度重新诠释了网络流分析,设计并实现了一个能够匹配千兆网络的高速数据流管理系统IS-DSMS(DataS tream Management Sy... 随着信息安全领域研究和应用的深入,网络行为和流量分析等应用对网络流的处理提出了更高的要求。从数据流管理系统的角度重新诠释了网络流分析,设计并实现了一个能够匹配千兆网络的高速数据流管理系统IS-DSMS(DataS tream Management Systemfor Information Security)。系统利用了采样技术、概要技术、滑动窗口等技术对常用的五类聚合查询进行了优化。实验证明,系统具备千兆网络条件下实际使用的性能,可作为网络数据流实时查询和统计分析引擎,为入侵检测、网络监控等系统提供高速有效的支持。 展开更多

关键词 数据流管理系统 聚合查询 信息安全 网络监控

在线阅读 下载PDF 职称材料

高速连续数据流记录系统中并行处理接口的研究 被引量：7

11

作者 郭文秀 董永贵 +3 位作者 孙照焱 马骋 熊剑平 贾惠波 《计算机工程与应用》 CSCD 北大核心 2002年第6期67-69,100,共4页

为了解决高速数据流的连续记录/读取与存储介质速度慢之间的矛盾,文中用FPGA设计了基于RAID结构的并行处理接口,实现了高速数据的分割降速、合并/恢复、纠错重构,解决了高速数据流连续存储中的I/O瓶颈问题。并行处理接口采用了流水线的... 为了解决高速数据流的连续记录/读取与存储介质速度慢之间的矛盾,文中用FPGA设计了基于RAID结构的并行处理接口,实现了高速数据的分割降速、合并/恢复、纠错重构,解决了高速数据流连续存储中的I/O瓶颈问题。并行处理接口采用了流水线的设计方式及动态的逻辑配置,使得系统性能得到很大的优化,解决了高速数据处理中的延迟、数据错误、工作时序不同步等问题。并行处理接口最终在实验系统中实现了对高达160MB/S连续实时数据流的处理。 展开更多

关键词 高速连续数据流记录系统 并行处理接口 数据存储 数据处理

在线阅读 下载PDF 职称材料

EMS数据流管理系统的框架设计 被引量：8

12

作者 何轶璇 罗毅 涂光瑜 《电力系统自动化》 EI CSCD 北大核心 2006年第24期33-38,共6页

针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速... 针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速数据进行分割、降速、筛选,实现了对PMU数据和原有监控与数据采集(SCADA)系统测量值的并行实时处理,并且能够在实现稳态计算功能的同时对系统进行动态监测。文中描述了系统的基本结构、各组成部分的功能和关键技术,并在数据流处理方面提出了一些提高效率的改进措施。 展开更多

关键词 EMS PMU 数据流管理系统 数据流模型 滑动窗口

在线阅读 下载PDF 职称材料

TSS数据流管理系统的设计与实现 被引量：2

13

作者 秦元坤 彭乐 薛一波 《计算机工程与设计》 CSCD 北大核心 2008年第13期3458-3461,共4页

当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求。研究针对信息安全应用的数据流管理系统,提供高效、灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义。设计并实现了TSS数据流管... 当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求。研究针对信息安全应用的数据流管理系统,提供高效、灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义。设计并实现了TSS数据流管理系统,可以对高速的网络数据流进行实时的查询和统计分析,为各种应用提供高速有效的支持。此外,系统特别优化了网络应用中常用的5类聚合查询,使该系统性能可以满足千兆网络条件下的实际使用。 展开更多

关键词 数据流 数据流查询 数据流管理系统 清华数据流管理系统 聚合查询

在线阅读 下载PDF 职称材料

易变数据流的系统资源配置方法 被引量：3

14

作者 王春凯 庄福振 史忠植 《智能系统学报》 CSCD 北大核心 2019年第6期1278-1285,共8页

大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了Ori... 大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了OrientStream+框架。设定以用户自定义查询延迟阈值为间隔片段的微批量数据流传输机制;并利用多级别管道缓存,对相同配置的数据流进行批量处理;然后按照数据流的时间戳计算出精准查询结果;引入基于异常检测的增量学习模型,用于提高OrientStream+的预测精度。最后,在Storm上实现了该资源配置框架,并进行了大量的实验。实验结果表明,OrientStream+框架可进一步降低系统的处理延迟并提高系统的吞吐率。 展开更多

关键词 大规模数据流管理系统 易变数据流 增量学习 模型预测 参数配置 微批处理 系统性能 异常检测

在线阅读 下载PDF 职称材料

分布式数据流处理系统管理中负载均衡问题建模与求解 被引量：4

15

作者 唐颖峰 陈世平 《运筹与管理》 CSSCI CSCD 北大核心 2021年第4期155-162,共8页

对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;... 对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;然后采用蚁群算法对模型进行求解,并针对分布式数据流处理系统实时性的需求对算法进行改进;最后用实验证明本文所建立的模型及其求解方法对于解决分布式数据流处理系统管理中节点负载均衡问题的有效性。 展开更多

关键词 系统管理 分布式数据流处理系统 负载均衡 组合优化问题 蚁群算法

在线阅读 下载PDF 职称材料

申威处理器上数据流运行时系统的设计与实现 被引量：1

16

作者 张鹏飞 陈俊仕 +3 位作者 郑重 沈沛祺 安虹 许乐 《计算机工程》 CAS CSCD 北大核心 2023年第12期46-54,共9页

我国自主研发的新一代神威异构众核计算平台主要采用athread异构编程方法,athread异构编程属于大同步并行模型,难以充分挖掘程序中的细粒度并行性,其采用的同步方式难以实现众核上的任务负载均衡。数据流并行编程模型因其天然并行性、... 我国自主研发的新一代神威异构众核计算平台主要采用athread异构编程方法,athread异构编程属于大同步并行模型,难以充分挖掘程序中的细粒度并行性,其采用的同步方式难以实现众核上的任务负载均衡。数据流并行编程模型因其天然并行性、点对点同步的特点能够很好地解决上述问题。基于Codelet程序执行模型和申威主从核架构特点,设计并实现面向申威处理器的数据流运行时系统swTasklet,通过对Codelet功能的进一步细化和对Codelet机器模型到主从核的映射,避免从核阵列上的同步操作,减少同步开销;由主核完成从核计算任务的调度分配,将计算和同步操作分离,保证运行时系统可以和从核计算库的共用。实验以NPB LU程序和向量-向量加作为测试用例,采用相同的优化方法分别对swTasklet和athread实现进行并行化。实验结果表明:在规模较大情况下,LU程序的swTasklet实现版本比athread版本快16%,向量-向量加swTasklet实现版本比athread版本快1倍;使用swTasklet实现的LU并行版本较主核本取得了平均8倍以上的加速,而向量-向量加swTasklet版本较主核版本取得30倍左右的加速。 展开更多

关键词 申威异构处理器 数据流运行时系统 Codelet程序执行模型 并行编程模型 众核加速

在线阅读 下载PDF 职称材料

数据流技术在电网自动化中的应用研究 被引量：27

17

作者 赵加奎 杨国凤 +3 位作者 沐连顺 樊涛 杨宁 王司博 《电网技术》 EI CSCD 北大核心 2011年第8期6-11,共6页

对近年来信息技术领域提出的数据流技术在电网自动化中的应用进行了充分探讨,目的是利用信息技术来尽可能地提高电网的自动化水平。给出了包含传感与量测、实时数据分析处理和在线决策3个环节的用于实现电网自动化的闭环过程,阐述了用... 对近年来信息技术领域提出的数据流技术在电网自动化中的应用进行了充分探讨,目的是利用信息技术来尽可能地提高电网的自动化水平。给出了包含传感与量测、实时数据分析处理和在线决策3个环节的用于实现电网自动化的闭环过程,阐述了用数据流技术和数据流系统实现其中的实时数据分析处理环节的具体方法。对智能电网环境下便于提高智能电网自动化水平的实时数据处理架构进行了展望。 展开更多

关键词 智能电网 数据流 数据流系统 持续查询 告警

在线阅读 下载PDF 职称材料

数据流管理系统中Max、Min聚集算子的示例概要算法

18

作者 田海生 《计算机应用》 CSCD 北大核心 2008年第8期1986-1990,共5页

Max和Min是数据流管理系统中重要聚集算子。应用基于滑动窗口下的示例概要法在实时数据流场景下计算Max和Min。在本方法中不需要保存所有落入滑动窗口中数据元组,这意味着可以极大地减小存储空间。由于存储元组的减少,系统的处理时间也... Max和Min是数据流管理系统中重要聚集算子。应用基于滑动窗口下的示例概要法在实时数据流场景下计算Max和Min。在本方法中不需要保存所有落入滑动窗口中数据元组,这意味着可以极大地减小存储空间。由于存储元组的减少,系统的处理时间也显著地减少。实验结果表明基于滑动窗口的示例概要法显著降低了时间和空间的开销。 展开更多

关键词 示例概要法 滑动窗口 数据流管理系统

在线阅读 下载PDF 职称材料

支持非等值连接的分布式数据流处理系统

19

作者 陈明珠 王晓桐 +1 位作者 房俊华 张蓉 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2017年第5期11-19,共9页

实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布... 实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现. 展开更多

关键词 数据流处理系统 连接处理 分布式计算

在线阅读 下载PDF 职称材料

一种分布式数据流有效数据识别方法研究

20

作者 王金栋 戎晓霞 丁秋林 《中国海洋大学学报（自然科学版）》 CAS CSCD 北大核心 2006年第6期885-888,1012,共5页

针对分布式数据流应用中,如何在高速、海量的输入数据中识别重要数据单元的问题,给出了有效数据的概念,并提出了1种有效数据识别算法。该算法以缩略图技术为基础,能够在用户给定的误差范围内,以接近1的概率输出有效数据,而且占用较少内... 针对分布式数据流应用中,如何在高速、海量的输入数据中识别重要数据单元的问题,给出了有效数据的概念,并提出了1种有效数据识别算法。该算法以缩略图技术为基础,能够在用户给定的误差范围内,以接近1的概率输出有效数据,而且占用较少内存。实验和算法分析验证了算法的有效性。 展开更多

关键词 数据流 分布式数据流系统 频繁数据 有效数据

在线阅读 下载PDF 职称材料