期刊文献+
共找到19篇文章
< 1 >
每页显示 20 50 100
TSS数据流管理系统的设计与实现 被引量:2
1
作者 秦元坤 彭乐 薛一波 《计算机工程与设计》 CSCD 北大核心 2008年第13期3458-3461,共4页
当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求。研究针对信息安全应用的数据流管理系统,提供高效、灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义。设计并实现了TSS数据流管... 当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求。研究针对信息安全应用的数据流管理系统,提供高效、灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义。设计并实现了TSS数据流管理系统,可以对高速的网络数据流进行实时的查询和统计分析,为各种应用提供高速有效的支持。此外,系统特别优化了网络应用中常用的5类聚合查询,使该系统性能可以满足千兆网络条件下的实际使用。 展开更多
关键词 数据流 数据流查询 数据流管理系统 清华数据流管理系统 聚合查询
在线阅读 下载PDF
配电自动化的数据流管理系统设计 被引量:13
2
作者 王永利 徐宏炳 +2 位作者 董逸生 钱江波 刘学军 《电力系统自动化》 EI CSCD 北大核心 2004年第13期85-89,96,共6页
数据采集与监视控制(SCADA)系统采集的各种实时、连续、有序的值序列是典型的数据流,而目前SCADA系统所采用的实时数据库系统对数据流处理的实时性和自适应性要求尚需改进。文中以配电自动化管理为应用背景,提出一个支持配电自动化的数... 数据采集与监视控制(SCADA)系统采集的各种实时、连续、有序的值序列是典型的数据流,而目前SCADA系统所采用的实时数据库系统对数据流处理的实时性和自适应性要求尚需改进。文中以配电自动化管理为应用背景,提出一个支持配电自动化的数据流管理系统,在配电网远方终端加入查询处理层,降低网络传输负载,提高配电网数据处理的实时性和可靠性。文中描述了系统的基本结构、各组成部分的功能和关键技术,探讨了有关分布式连续查询处理、近似计算、归档数据处理等问题,并提出在数据流研究方面的一些新看法。 展开更多
关键词 配电自动化 数据流管理系统 连续查询 近似计算
在线阅读 下载PDF
数据流管理系统综述 被引量:9
3
作者 周明中 龚俭 《计算机工程》 EI CAS CSCD 北大核心 2006年第2期10-12,25,共4页
数据流管理系统提出了一种通用结构模型,它采用窗口机制,连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。文章分析了数据流管理系统的框架结构和构成要素,讨论了其适用范围和优缺点,并指出当前研究中存在的问题及可... 数据流管理系统提出了一种通用结构模型,它采用窗口机制,连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。文章分析了数据流管理系统的框架结构和构成要素,讨论了其适用范围和优缺点,并指出当前研究中存在的问题及可能的发展趋势。 展开更多
关键词 数据流 数据流管理系统 窗几机制 连续查询 优化策略
在线阅读 下载PDF
数据流管理系统研究与进展 被引量:6
4
作者 张玲东 毛宇光 +1 位作者 曹晨光 宋卫东 《计算机应用研究》 CSCD 北大核心 2005年第6期12-15,共4页
综述了数据流管理系统的研究现状及相关的技术,包括相关的基本概念的阐述、现有实验系统的回顾、流式查询中存在的问题及相关的解决方案,并就今后如何进行数据流管理系统的研究提出了一些新的看法。
关键词 数据流 数据流管理系统 连续查询
在线阅读 下载PDF
多核平台下Esper数据流管理系统性能分析研究 被引量:2
5
作者 王洪亚 张华庆 刘晓强 《计算机工程》 CAS CSCD 北大核心 2016年第9期15-20,共6页
Esper事件处理系统可用于复杂事件处理与数据分析,适用于处理大量历史的或实时的消息和事件流。分析多核计算平台下基于Esper引擎所构建的数据流处理系统,介绍基于Esper引擎实验平台的设计与实现,给出完整的查询语句和测试用例,并使用... Esper事件处理系统可用于复杂事件处理与数据分析,适用于处理大量历史的或实时的消息和事件流。分析多核计算平台下基于Esper引擎所构建的数据流处理系统,介绍基于Esper引擎实验平台的设计与实现,给出完整的查询语句和测试用例,并使用该实验平台对多核平台下Esper引擎的性能进行测试,通过实时监控和离线数据分析给出系统的各项性能指标。实验结果表明,Esper数据流系统对多核平台并不能够提供良好的支持。 展开更多
关键词 事件流处理 复杂事件处理 多核平台 Esper引擎 数据流管理系统
在线阅读 下载PDF
面向信息安全的高速数据流管理系统的设计与实现 被引量:1
6
作者 李冬 薛一波 《计算机应用与软件》 CSCD 北大核心 2008年第12期268-270,277,共4页
随着信息安全领域研究和应用的深入,网络行为和流量分析等应用对网络流的处理提出了更高的要求。从数据流管理系统的角度重新诠释了网络流分析,设计并实现了一个能够匹配千兆网络的高速数据流管理系统IS-DSMS(DataS tream Management Sy... 随着信息安全领域研究和应用的深入,网络行为和流量分析等应用对网络流的处理提出了更高的要求。从数据流管理系统的角度重新诠释了网络流分析,设计并实现了一个能够匹配千兆网络的高速数据流管理系统IS-DSMS(DataS tream Management Systemfor Information Security)。系统利用了采样技术、概要技术、滑动窗口等技术对常用的五类聚合查询进行了优化。实验证明,系统具备千兆网络条件下实际使用的性能,可作为网络数据流实时查询和统计分析引擎,为入侵检测、网络监控等系统提供高速有效的支持。 展开更多
关键词 数据流管理系统 聚合查询 信息安全 网络监控
在线阅读 下载PDF
EMS数据流管理系统的框架设计 被引量:8
7
作者 何轶璇 罗毅 涂光瑜 《电力系统自动化》 EI CSCD 北大核心 2006年第24期33-38,共6页
针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速... 针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速数据进行分割、降速、筛选,实现了对PMU数据和原有监控与数据采集(SCADA)系统测量值的并行实时处理,并且能够在实现稳态计算功能的同时对系统进行动态监测。文中描述了系统的基本结构、各组成部分的功能和关键技术,并在数据流处理方面提出了一些提高效率的改进措施。 展开更多
关键词 EMS PMU 数据流管理系统 数据流模型 滑动窗口
在线阅读 下载PDF
数据流管理系统中Max、Min聚集算子的示例概要算法
8
作者 田海生 《计算机应用》 CSCD 北大核心 2008年第8期1986-1990,共5页
Max和Min是数据流管理系统中重要聚集算子。应用基于滑动窗口下的示例概要法在实时数据流场景下计算Max和Min。在本方法中不需要保存所有落入滑动窗口中数据元组,这意味着可以极大地减小存储空间。由于存储元组的减少,系统的处理时间也... Max和Min是数据流管理系统中重要聚集算子。应用基于滑动窗口下的示例概要法在实时数据流场景下计算Max和Min。在本方法中不需要保存所有落入滑动窗口中数据元组,这意味着可以极大地减小存储空间。由于存储元组的减少,系统的处理时间也显著地减少。实验结果表明基于滑动窗口的示例概要法显著降低了时间和空间的开销。 展开更多
关键词 示例概要法 滑动窗口 数据流管理系统
在线阅读 下载PDF
基于数据流管理平台的网络安全事件监控系统 被引量:13
9
作者 沈星星 程学旗 《小型微型计算机系统》 CSCD 北大核心 2006年第2期237-240,共4页
复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件.数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型.本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型.在... 复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件.数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型.本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型.在这个模型中,数据流管理平台有效地支持了对高速网络数据流的实时查询与分析,从而保证基于其上的网络安全事件监控系统能够达到较高的处理性能.利用CQL作为接口语言,精确描述安全事件规则与各种监控查询,具有很强的灵活性与完整性.另外,系统能够整合入侵检测、蠕虫发现、网络交通流量管理等多种监控功能,具有良好的可扩展性. 展开更多
关键词 数据流管理系统 网络安全 入侵检测 监控
在线阅读 下载PDF
面向流数据的数据管理系统的研究 被引量:6
10
作者 桂浩 冯玉才 李又奎 《计算机应用研究》 CSCD 北大核心 2005年第1期88-90,133,共4页
传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统... 传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能。从整体上分析数据流管理系统的体系结构,重点讨论基于流数据的数据模型和流查询。 展开更多
关键词 数据流管理系统 数据 流查询
在线阅读 下载PDF
基于结构化P2P的分布式数据流系统的查询处理模型 被引量:1
11
作者 刘云生 赵海谊 《计算机应用研究》 CSCD 北大核心 2007年第12期74-76,共3页
分析了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束问题(主要是内存),提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。
关键词 分布式数据流管理系统 结构化覆盖网 分布式散列表 滑动窗口
在线阅读 下载PDF
易变数据流的系统资源配置方法 被引量:3
12
作者 王春凯 庄福振 史忠植 《智能系统学报》 CSCD 北大核心 2019年第6期1278-1285,共8页
大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了Ori... 大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了OrientStream+框架。设定以用户自定义查询延迟阈值为间隔片段的微批量数据流传输机制;并利用多级别管道缓存,对相同配置的数据流进行批量处理;然后按照数据流的时间戳计算出精准查询结果;引入基于异常检测的增量学习模型,用于提高OrientStream+的预测精度。最后,在Storm上实现了该资源配置框架,并进行了大量的实验。实验结果表明,OrientStream+框架可进一步降低系统的处理延迟并提高系统的吞吐率。 展开更多
关键词 大规模数据流管理系统 易变数据流 增量学习 模型预测 参数配置 微批处理 系统性能 异常检测
在线阅读 下载PDF
数据流系统降载研究综述
13
作者 陈军 周明天 杨晓燕 《计算机应用研究》 CSCD 北大核心 2008年第10期2898-2902,共5页
在介绍数据流及数据流系统的模型后,对降载时的系统约束、输出质量目标进行了正式阐述。提出数据流系统降载策略的分类方法,着重分析了目前一些较为重要的数据流系统降载策略,指出其特征和应用范围,最后总结了好的数据流降载策略应具有... 在介绍数据流及数据流系统的模型后,对降载时的系统约束、输出质量目标进行了正式阐述。提出数据流系统降载策略的分类方法,着重分析了目前一些较为重要的数据流系统降载策略,指出其特征和应用范围,最后总结了好的数据流降载策略应具有的特点以及未来研究的发展趋势。 展开更多
关键词 数据流系统 降载 数据流管理系统 窗口
在线阅读 下载PDF
应对倾斜数据流在线连接方法 被引量:2
14
作者 王春凯 孟小峰 《软件学报》 EI CSCD 北大核心 2018年第3期869-882,共14页
并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销.相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源.基于完全二部图的连接模型可支持分布式数据流的连接操作.因为... 并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销.相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源.基于完全二部图的连接模型可支持分布式数据流的连接操作.因为连接操作的每个关系仅存放于二部图模型的一侧处理单元,无需复制数据,且处理单元相互独立,因此该模型具有内存高效、易伸缩和可扩展等特性.然而,由于数据流速的不稳定性和属性值分布的不均衡性,导致倾斜数据流的连接操作易出现集群负载不均衡的现象.针对倾斜数据流的连接操作,模型无法动态分配查询节点,并需要人工干预数据分组的参数设置.尤其是应对全部历史数据的连接查询,模型效率更低.基于上述问题,提出了管理倾斜数据流连接的框架,使用基于键值和元组混合的划分样式,有效应对二部图模型的各侧倾斜数据.设计了重新动态分配查询节点的策略和状态迁移算法,以支持全历史数据的连接查询和自适应的资源管理.针对合成数据和真实数据的实验结果表明,该方案可有效应对倾斜数据的连接操作,并进一步提升分布式数据流管理系统的吞吐率,特别是降低云环境中的计算成本. 展开更多
关键词 分布式数据流管理系统 在线连接 数据倾斜 状态迁移 二部图连接模型
在线阅读 下载PDF
一种支持混合实时查询的数据流操作语言
15
作者 马力 李新 《科学技术与工程》 北大核心 2013年第24期7215-7218,7229,共5页
由于数据流应用中混合查询需求的普遍性,使得对混合实时查询模型,以及描述其操作语言研究变得尤为重要。在已有工作基础上提出了一种声明性、类SQL、能够支持混合实时查询数据流系统的操作语言MixedRT-CQL。该语言包括数据流定义和数据... 由于数据流应用中混合查询需求的普遍性,使得对混合实时查询模型,以及描述其操作语言研究变得尤为重要。在已有工作基础上提出了一种声明性、类SQL、能够支持混合实时查询数据流系统的操作语言MixedRT-CQL。该语言包括数据流定义和数据流操纵语言两部分,可支持周期及非周期性查询请求。典型实例研究表明该语言能够全面地描述数据流系统中的混合实时查询需求,具有重要的研究与实用价值。 展开更多
关键词 数据流 数据流管理系统 操作语言 混合实时查询
在线阅读 下载PDF
基于大纲的数据流自适应聚集算子的实现 被引量:1
16
作者 田海生 陈立军 《计算机应用》 CSCD 北大核心 2007年第10期2383-2387,共5页
采用基于大纲的数据流自适应聚集算子的批处理(Batchingprocessing)算法处理数据流,Batching算法能够随着流速的变化动态调整自己的执行策略,以便更好地利用有限的系统资源提供尽可能好的查询质量,并且可以在Batching算法的基础上根据... 采用基于大纲的数据流自适应聚集算子的批处理(Batchingprocessing)算法处理数据流,Batching算法能够随着流速的变化动态调整自己的执行策略,以便更好地利用有限的系统资源提供尽可能好的查询质量,并且可以在Batching算法的基础上根据不同的流聚集算子提出相应的优化算法,进一步提高查询质量并真正达到或接近实时查询。实验结果已在北大Argus数据流管理系统中得到成功应用。 展开更多
关键词 数据流管理系统 数据流 自适应 批处理 聚集算子 滑动窗口
在线阅读 下载PDF
基于Aurora系统的持续型查询语言设计与实现 被引量:1
17
作者 王洪亚 曹姣 金杰 《计算机工程与应用》 CSCD 2014年第21期133-138,共6页
随着新型数据应用的不断出现,针对流形态数据的数据流管理系统已经成为数据管理领域研究的新热点。针对目前通用数据流管理系统只支持基于操作符流图的查询表达方式这一不足,设计了一种新的持续型数据流查询语言,并在通用数据流处理系统... 随着新型数据应用的不断出现,针对流形态数据的数据流管理系统已经成为数据管理领域研究的新热点。针对目前通用数据流管理系统只支持基于操作符流图的查询表达方式这一不足,设计了一种新的持续型数据流查询语言,并在通用数据流处理系统Aurora上进行了实现。为验证新语言的表达能力,该系统使用新语言定义了数据流基准测试Linear Road Benchmark的查询集,在Aurora系统上部署运行。测试结果表明针对Linear Road Benchmark的测试用例,新语言具有较完备的语义和良好的表达能力。 展开更多
关键词 数据流 数据流管理系统 持续型查询语言
在线阅读 下载PDF
基于延迟时间的实时降载策略
18
作者 季震宇 赵雷 《计算机工程》 CAS CSCD 北大核心 2010年第21期49-51,共3页
降载可以有效地解决数据流流速的突变所引发的系统的过载问题。为此,分析现有降载策略在实时性方面的不足,不仅考虑系统的处理能力,同时结合数据的处理延迟,提出基于延迟时间的降载策略(DSP)。实验结果表明,DSP可以有效地解决系统的过载... 降载可以有效地解决数据流流速的突变所引发的系统的过载问题。为此,分析现有降载策略在实时性方面的不足,不仅考虑系统的处理能力,同时结合数据的处理延迟,提出基于延迟时间的降载策略(DSP)。实验结果表明,DSP可以有效地解决系统的过载,同时具有较高的实时性。 展开更多
关键词 数据流 降载策略 数据流管理系统
在线阅读 下载PDF
Continuous query scheduler based on operators clustering
19
作者 M.Sami Soliman 谭冠政 《Journal of Central South University》 SCIE EI CAS 2011年第3期782-790,共9页
Data stream management system (DSMS) provides convenient solutions to the problem of processing continuous queries on data streams.Previous approaches for scheduling these queries and their operators assume that each ... Data stream management system (DSMS) provides convenient solutions to the problem of processing continuous queries on data streams.Previous approaches for scheduling these queries and their operators assume that each operator runs in separate thread or all operators combine in one query plan and run in a single thread.Both approaches suffer from severe drawbacks concerning the thread overhead and the stalls due to expensive operators.To overcome these drawbacks,a novel approach called clustered operators scheduling (COS) is proposed that adaptively clusters operators of the query plan into a number of groups based on their selectivity and computing cost using S-mean clustering.Experimental evaluation is provided to demonstrate the potential benefits of COS scheduling over the other scheduling strategies.COS can provide adaptive,flexible,reliable,scalable and robust design for continuous query processor. 展开更多
关键词 data stream management systems operators scheduling continuous query CLUSTERING
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部