TSS数据流管理系统的设计与实现 被引量：2

1

作者 秦元坤 彭乐 薛一波 《计算机工程与设计》 CSCD 北大核心 2008年第13期3458-3461,共4页

当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求。研究针对信息安全应用的数据流管理系统,提供高效、灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义。设计并实现了TSS数据流管... 当前信息安全方面的很多应用表现为典型的数据流应用,对数据流查询提出较高的要求。研究针对信息安全应用的数据流管理系统,提供高效、灵活的数据流查询统计分析技术,对于提高这些应用系统的效率具有重大意义。设计并实现了TSS数据流管理系统,可以对高速的网络数据流进行实时的查询和统计分析,为各种应用提供高速有效的支持。此外,系统特别优化了网络应用中常用的5类聚合查询,使该系统性能可以满足千兆网络条件下的实际使用。 展开更多

关键词 数据流 数据流查询 数据流管理系统 清华数据流管理系统 聚合查询

在线阅读 下载PDF 职称材料

配电自动化的数据流管理系统设计 被引量：13

2

作者 王永利 徐宏炳 +2 位作者 董逸生 钱江波 刘学军 《电力系统自动化》 EI CSCD 北大核心 2004年第13期85-89,96,共6页

数据采集与监视控制(SCADA)系统采集的各种实时、连续、有序的值序列是典型的数据流,而目前SCADA系统所采用的实时数据库系统对数据流处理的实时性和自适应性要求尚需改进。文中以配电自动化管理为应用背景,提出一个支持配电自动化的数... 数据采集与监视控制(SCADA)系统采集的各种实时、连续、有序的值序列是典型的数据流,而目前SCADA系统所采用的实时数据库系统对数据流处理的实时性和自适应性要求尚需改进。文中以配电自动化管理为应用背景,提出一个支持配电自动化的数据流管理系统,在配电网远方终端加入查询处理层,降低网络传输负载,提高配电网数据处理的实时性和可靠性。文中描述了系统的基本结构、各组成部分的功能和关键技术,探讨了有关分布式连续查询处理、近似计算、归档数据处理等问题,并提出在数据流研究方面的一些新看法。 展开更多

关键词 配电自动化 数据流管理系统 连续查询 近似计算

在线阅读 下载PDF 职称材料

数据流管理与挖掘研究 被引量：5

3

作者 倪志伟 黄玲 +1 位作者 李锋刚 忻凌 《合肥工业大学学报（自然科学版）》 CAS CSCD 北大核心 2005年第9期1157-1162,共6页

20世纪末,为适应网络监控、商业交易管理和分析等应用的要求,数据流技术应运而生;该文回顾了近年来国内外在该领域的研究进展,总结了数据流的特点、模型及其算法,对数据流管理和挖掘的关键技术进行了分析,并进一步提出了数据流技术研究... 20世纪末,为适应网络监控、商业交易管理和分析等应用的要求,数据流技术应运而生;该文回顾了近年来国内外在该领域的研究进展,总结了数据流的特点、模型及其算法,对数据流管理和挖掘的关键技术进行了分析,并进一步提出了数据流技术研究的方向。 展开更多

关键词 数据流 数据流管理 数据流挖掘 动态

在线阅读 下载PDF 职称材料

基于数据流管理平台的网络安全事件监控系统 被引量：13

4

作者 沈星星 程学旗 《小型微型计算机系统》 CSCD 北大核心 2006年第2期237-240,共4页

复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件.数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型.本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型.在... 复杂而繁多的网络攻击要求监控系统能够在高速网络流量下实时检测发现各种安全事件.数据流管理系统是一种对高速、大流量数据的查询请求进行实时响应的流数据库模型.本文提出了一种将数据流技术应用到网络安全事件监控中的框架模型.在这个模型中,数据流管理平台有效地支持了对高速网络数据流的实时查询与分析,从而保证基于其上的网络安全事件监控系统能够达到较高的处理性能.利用CQL作为接口语言,精确描述安全事件规则与各种监控查询,具有很强的灵活性与完整性.另外,系统能够整合入侵检测、蠕虫发现、网络交通流量管理等多种监控功能,具有良好的可扩展性. 展开更多

关键词 数据流管理系统 网络安全 入侵检测 监控

在线阅读 下载PDF 职称材料

数据流管理系统综述 被引量：9

5

作者 周明中 龚俭 《计算机工程》 EI CAS CSCD 北大核心 2006年第2期10-12,25,共4页

数据流管理系统提出了一种通用结构模型,它采用窗口机制,连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。文章分析了数据流管理系统的框架结构和构成要素,讨论了其适用范围和优缺点,并指出当前研究中存在的问题及可... 数据流管理系统提出了一种通用结构模型,它采用窗口机制,连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。文章分析了数据流管理系统的框架结构和构成要素,讨论了其适用范围和优缺点,并指出当前研究中存在的问题及可能的发展趋势。 展开更多

关键词 数据流 数据流管理系统 窗几机制 连续查询 优化策略

在线阅读 下载PDF 职称材料

数据流管理系统研究与进展 被引量：6

6

作者 张玲东 毛宇光 +1 位作者 曹晨光 宋卫东 《计算机应用研究》 CSCD 北大核心 2005年第6期12-15,共4页

综述了数据流管理系统的研究现状及相关的技术,包括相关的基本概念的阐述、现有实验系统的回顾、流式查询中存在的问题及相关的解决方案,并就今后如何进行数据流管理系统的研究提出了一些新的看法。

关键词 数据流 数据流管理系统 连续查询

在线阅读 下载PDF 职称材料

数据流管理技术 被引量：2

7

作者 刘学军 徐宏炳 +2 位作者 董逸生 王永利 钱江波 《计算机科学》 CSCD 北大核心 2005年第4期6-10,41,共6页

最近,人们已经广泛认识到:在某些新的应用领域中,把数据看作瞬时的数据流比看作持久的关系更为适合。本文首先分析了传统数据库管理系统处理数据流的局限性,然后分析了三个典型的数据流管理系统的基本实现技术,讨论了当前数据流管理技... 最近,人们已经广泛认识到:在某些新的应用领域中,把数据看作瞬时的数据流比看作持久的关系更为适合。本文首先分析了传统数据库管理系统处理数据流的局限性,然后分析了三个典型的数据流管理系统的基本实现技术,讨论了当前数据流管理技术的研究现状和今后的研究方向,最后,给出了一个数据流管理原型系统的体系结构。 展开更多

关键词 管理技术 数据库管理 数据流管理 应用领域 系统处理 实现技术 管理系统 研究方向 研究现状 体系结构 原型系统 局限性

在线阅读 下载PDF 职称材料

多核平台下Esper数据流管理系统性能分析研究 被引量：2

8

作者 王洪亚 张华庆 刘晓强 《计算机工程》 CAS CSCD 北大核心 2016年第9期15-20,共6页

Esper事件处理系统可用于复杂事件处理与数据分析,适用于处理大量历史的或实时的消息和事件流。分析多核计算平台下基于Esper引擎所构建的数据流处理系统,介绍基于Esper引擎实验平台的设计与实现,给出完整的查询语句和测试用例,并使用... Esper事件处理系统可用于复杂事件处理与数据分析,适用于处理大量历史的或实时的消息和事件流。分析多核计算平台下基于Esper引擎所构建的数据流处理系统,介绍基于Esper引擎实验平台的设计与实现,给出完整的查询语句和测试用例,并使用该实验平台对多核平台下Esper引擎的性能进行测试,通过实时监控和离线数据分析给出系统的各项性能指标。实验结果表明,Esper数据流系统对多核平台并不能够提供良好的支持。 展开更多

关键词 事件流处理 复杂事件处理 多核平台 Esper引擎 数据流管理系统

在线阅读 下载PDF 职称材料

面向信息安全的高速数据流管理系统的设计与实现 被引量：1

9

作者 李冬 薛一波 《计算机应用与软件》 CSCD 北大核心 2008年第12期268-270,277,共4页

随着信息安全领域研究和应用的深入,网络行为和流量分析等应用对网络流的处理提出了更高的要求。从数据流管理系统的角度重新诠释了网络流分析,设计并实现了一个能够匹配千兆网络的高速数据流管理系统IS-DSMS(DataS tream Management Sy... 随着信息安全领域研究和应用的深入,网络行为和流量分析等应用对网络流的处理提出了更高的要求。从数据流管理系统的角度重新诠释了网络流分析,设计并实现了一个能够匹配千兆网络的高速数据流管理系统IS-DSMS(DataS tream Management Systemfor Information Security)。系统利用了采样技术、概要技术、滑动窗口等技术对常用的五类聚合查询进行了优化。实验证明,系统具备千兆网络条件下实际使用的性能,可作为网络数据流实时查询和统计分析引擎,为入侵检测、网络监控等系统提供高速有效的支持。 展开更多

关键词 数据流管理系统 聚合查询 信息安全 网络监控

在线阅读 下载PDF 职称材料

数据流管理系统中适应性查询机制的研究

10

作者 宋宝燕 武珊珊 于戈 《计算机科学》 CSCD 北大核心 2005年第7期112-115,共4页

介绍了数据流技术的发展现状,然后讨论了适应性查询在数据管理中的发展演变,特别是在数据流管理中的特殊性。最后,在此基础上,提出了一个支持适应性查询的数据流管理系统RealStream,并详细介绍了其适应性查询处理机制。

关键词 管理系统 适应性 查询机制 数据流管理 发展演变 数据管理 处理机制 详细介绍 流技术 特殊性

在线阅读 下载PDF 职称材料

EMS数据流管理系统的框架设计 被引量：8

11

作者 何轶璇 罗毅 涂光瑜 《电力系统自动化》 EI CSCD 北大核心 2006年第24期33-38,共6页

针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速... 针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速数据进行分割、降速、筛选,实现了对PMU数据和原有监控与数据采集(SCADA)系统测量值的并行实时处理,并且能够在实现稳态计算功能的同时对系统进行动态监测。文中描述了系统的基本结构、各组成部分的功能和关键技术,并在数据流处理方面提出了一些提高效率的改进措施。 展开更多

关键词 EMS PMU 数据流管理系统 数据流模型 滑动窗口

在线阅读 下载PDF 职称材料

实时GNSS数据流管理平台的实现及应用 被引量：6

12

作者 蒋科材 屈利忠 赵齐乐 《测绘通报》 CSCD 北大核心 2016年第4期92-95,共4页

随着互联网技术的发展,利用互联网将观测站的实时GNSS数据高速传输给数据处理中心,可以打破GNSS数据事后处理的传统模式,从而实现GNSS数据的实时处理。对于数据处理中心而言,具备实时GNSS数据流管理功能的软件平台就显得尤为重要。本文... 随着互联网技术的发展,利用互联网将观测站的实时GNSS数据高速传输给数据处理中心,可以打破GNSS数据事后处理的传统模式,从而实现GNSS数据的实时处理。对于数据处理中心而言,具备实时GNSS数据流管理功能的软件平台就显得尤为重要。本文主要对自主实现的实时GNSS数据流管理平台软件的实现及应用进行了介绍。该软件采用C/S框架设计,实现后端服务与前端用户界面相分离的效果,可通过网络与观测站建立连接来获取实时GNSS数据流,支持TCP/IP通信协议及NTRIP通信协议,支持解码RTCM3.X、BINEX等多种数据传输格式,能够汇聚分布在各地的观测站的GNSS数据,为后续的数据实时处理工作提供数据支撑,并在我国所发起的国际GNSS监测评估系统建设中得到应用。 展开更多

关键词 实时GNSS数据流管理 数据传输 数据解码 C/S框架设计 NTRIP协议

在线阅读 下载PDF 职称材料

数据流管理系统中Max、Min聚集算子的示例概要算法

13

作者 田海生 《计算机应用》 CSCD 北大核心 2008年第8期1986-1990,共5页

Max和Min是数据流管理系统中重要聚集算子。应用基于滑动窗口下的示例概要法在实时数据流场景下计算Max和Min。在本方法中不需要保存所有落入滑动窗口中数据元组,这意味着可以极大地减小存储空间。由于存储元组的减少,系统的处理时间也... Max和Min是数据流管理系统中重要聚集算子。应用基于滑动窗口下的示例概要法在实时数据流场景下计算Max和Min。在本方法中不需要保存所有落入滑动窗口中数据元组,这意味着可以极大地减小存储空间。由于存储元组的减少,系统的处理时间也显著地减少。实验结果表明基于滑动窗口的示例概要法显著降低了时间和空间的开销。 展开更多

关键词 示例概要法 滑动窗口 数据流管理系统

在线阅读 下载PDF 职称材料

电子政务系统中数据流转安全管理方法的研究 被引量：1

14

作者 张红光 徐巧丽 《计算机工程与设计》 CSCD 2003年第10期13-15,共3页

在政务管理系统中,基于工作流和协同操作的控制模式得到了广泛的应用,但在系统实现中,如何确保系统中流转信息的正确性和存储信息的安全性已成为系统设计中首先关注的问题。以Lotus Notes/Domino实现技术为背景介绍了访问控制安全和信... 在政务管理系统中,基于工作流和协同操作的控制模式得到了广泛的应用,但在系统实现中,如何确保系统中流转信息的正确性和存储信息的安全性已成为系统设计中首先关注的问题。以Lotus Notes/Domino实现技术为背景介绍了访问控制安全和信息存储安全的相关技术问题,并根据实践提出了一些实用的解决方案,最后对信息安全控制管理问题提出了见解。 展开更多

关键词 信息安全 信息系统 身份验证 数据安全 电子政务系统 数据流转安全管理方法

在线阅读 下载PDF 职称材料

面向流数据的数据管理系统的研究 被引量：6

15

作者 桂浩 冯玉才 李又奎 《计算机应用研究》 CSCD 北大核心 2005年第1期88-90,133,共4页

传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统... 传统关系数据库系统通常用来存储没有时间概念的相对静止的数据,对于一些新的应用领域,信息是以数据序列的形式产生并且需要实时地、持续地进行处理,这就超出了传统系统的解决能力。数据流数据管理系统是面向流数据而设计的数据管理系统,它能有效地处理输入流数据并提供持续检索的功能。从整体上分析数据流管理系统的体系结构,重点讨论基于流数据的数据模型和流查询。 展开更多

关键词 数据流管理系统 数据库 流查询

在线阅读 下载PDF 职称材料

运载火箭集成设计数据流自动建模与调度技术 被引量：1

16

作者 肖飞 王东辉 +2 位作者 陈敏 张为华 胡凡 《计算机集成制造系统》 EI CSCD 北大核心 2012年第1期58-65,共8页

为降低运载火箭集成设计过程数据流建模的复杂度,提出了一种基于标准化接口的数据流二步自动建模方法。该方法采用集成数据字典技术实现运载火箭集成设计各学科领域异构数据的规范化;基于该规范化语义数据,建立了能够准确描述设计活动... 为降低运载火箭集成设计过程数据流建模的复杂度,提出了一种基于标准化接口的数据流二步自动建模方法。该方法采用集成数据字典技术实现运载火箭集成设计各学科领域异构数据的规范化;基于该规范化语义数据,建立了能够准确描述设计活动接口数据交互关系的数据流二步自动建模法;针对数据流建模过程的可行性问题及数据流调度过程的冲突问题,建立了相应的可行性检测及冲突检测准则。扩展传统工作流引擎以构建流程管理系统,并将其应用于某小型三级固体运载火箭集成设计,验证了数据流建模与调度方法的可行性。应用实例表明,该研究成果对解决运载火箭集成设计数据流管理问题具有指导意义。 展开更多

关键词 运载火箭 数据流管理 自动建模 调度

在线阅读 下载PDF 职称材料

应对倾斜数据流在线连接方法 被引量：2

17

作者 王春凯 孟小峰 《软件学报》 EI CSCD 北大核心 2018年第3期869-882,共14页

并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销.相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源.基于完全二部图的连接模型可支持分布式数据流的连接操作.因为... 并行环境下的分布式连接处理要求制定划分策略以减少状态迁移和通信开销.相对于数据库管理系统而言,分布式数据流管理系统中的在线θ连接操作需要更高的计算成本和内存资源.基于完全二部图的连接模型可支持分布式数据流的连接操作.因为连接操作的每个关系仅存放于二部图模型的一侧处理单元,无需复制数据,且处理单元相互独立,因此该模型具有内存高效、易伸缩和可扩展等特性.然而,由于数据流速的不稳定性和属性值分布的不均衡性,导致倾斜数据流的连接操作易出现集群负载不均衡的现象.针对倾斜数据流的连接操作,模型无法动态分配查询节点,并需要人工干预数据分组的参数设置.尤其是应对全部历史数据的连接查询,模型效率更低.基于上述问题,提出了管理倾斜数据流连接的框架,使用基于键值和元组混合的划分样式,有效应对二部图模型的各侧倾斜数据.设计了重新动态分配查询节点的策略和状态迁移算法,以支持全历史数据的连接查询和自适应的资源管理.针对合成数据和真实数据的实验结果表明,该方案可有效应对倾斜数据的连接操作,并进一步提升分布式数据流管理系统的吞吐率,特别是降低云环境中的计算成本. 展开更多

关键词 分布式数据流管理系统 在线连接 数据倾斜 状态迁移 二部图连接模型

在线阅读 下载PDF 职称材料

基于结构化P2P的分布式数据流系统的查询处理模型 被引量：1

18

作者 刘云生 赵海谊 《计算机应用研究》 CSCD 北大核心 2007年第12期74-76,共3页

分析了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束问题(主要是内存),提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。

关键词 分布式数据流管理系统 结构化覆盖网 分布式散列表 滑动窗口

在线阅读 下载PDF 职称材料

支持截止期敏感应用的数据流任务调度方法

19

作者 于戈 李晓静 +2 位作者 杨晓春 欧征宇 邓庆绪 《软件学报》 EI CSCD 北大核心 2007年第7期1831-1843,共13页

当前,数据流上的实时处理系统大多关心平均元组延时最小化要求,而很少考虑每个元组的截止期要求.提出一种实时的自适应批任务调度策略——ATS(adaptive batch task scheduling),以支持时变突发的数据流上关键任务的严格截止期需求.ATS... 当前,数据流上的实时处理系统大多关心平均元组延时最小化要求,而很少考虑每个元组的截止期要求.提出一种实时的自适应批任务调度策略——ATS(adaptive batch task scheduling),以支持时变突发的数据流上关键任务的严格截止期需求.ATS调度策略可以降低调度开销和过期处理开销,从而实现截止期错失率最小化和有效任务完成率最大化.提出了最优调度单位概念——批粒度,设计了闭环反馈控制机制,以在不可预测的数据流环境中自适应地动态选择最优批大小.理论分析和实验表明了ATS批调度策略的有效性和高效性. 展开更多

关键词 数据流管理 实时任务调度 查询处理 截止期 反馈控制

在线阅读 下载PDF 职称材料

一种支持混合实时查询的数据流操作语言

20

作者 马力 李新 《科学技术与工程》 北大核心 2013年第24期7215-7218,7229,共5页

由于数据流应用中混合查询需求的普遍性,使得对混合实时查询模型,以及描述其操作语言研究变得尤为重要。在已有工作基础上提出了一种声明性、类SQL、能够支持混合实时查询数据流系统的操作语言MixedRT-CQL。该语言包括数据流定义和数据... 由于数据流应用中混合查询需求的普遍性,使得对混合实时查询模型,以及描述其操作语言研究变得尤为重要。在已有工作基础上提出了一种声明性、类SQL、能够支持混合实时查询数据流系统的操作语言MixedRT-CQL。该语言包括数据流定义和数据流操纵语言两部分,可支持周期及非周期性查询请求。典型实例研究表明该语言能够全面地描述数据流系统中的混合实时查询需求,具有重要的研究与实用价值。 展开更多

关键词 数据流 数据流管理系统 操作语言 混合实时查询

在线阅读 下载PDF 职称材料