多核平台下Esper数据流管理系统性能分析研究 被引量：2

1

作者 王洪亚 张华庆 刘晓强 《计算机工程》 CAS CSCD 北大核心 2016年第9期15-20,共6页

Esper事件处理系统可用于复杂事件处理与数据分析,适用于处理大量历史的或实时的消息和事件流。分析多核计算平台下基于Esper引擎所构建的数据流处理系统,介绍基于Esper引擎实验平台的设计与实现,给出完整的查询语句和测试用例,并使用... Esper事件处理系统可用于复杂事件处理与数据分析,适用于处理大量历史的或实时的消息和事件流。分析多核计算平台下基于Esper引擎所构建的数据流处理系统,介绍基于Esper引擎实验平台的设计与实现,给出完整的查询语句和测试用例,并使用该实验平台对多核平台下Esper引擎的性能进行测试,通过实时监控和离线数据分析给出系统的各项性能指标。实验结果表明,Esper数据流系统对多核平台并不能够提供良好的支持。 展开更多

关键词 事件流处理 复杂事件处理 多核平台 esper引擎 数据流管理系统

在线阅读 下载PDF 职称材料

StreamQCTree:一种流数据方压缩结构 被引量：1

2

作者 甘亮 刘东红 +1 位作者 贾焰 韩伟红 《计算机工程与应用》 CSCD 北大核心 2011年第19期140-143,185,共5页

数据流管理系统计算聚集查询结果保存在内存中形成流数据方(StreamCube),提供快速、精确的在线OLAP查询。有限的内存空间需要一种有效的存储方法来存储更大时间窗口的流数据方。提出一种基于QC-Tree结构的流数据方StreamQCTree生成、裁... 数据流管理系统计算聚集查询结果保存在内存中形成流数据方(StreamCube),提供快速、精确的在线OLAP查询。有限的内存空间需要一种有效的存储方法来存储更大时间窗口的流数据方。提出一种基于QC-Tree结构的流数据方StreamQCTree生成、裁剪及查询方法。将QC-Tree结构中上界集划分为基本上界类和附加上界类;并分析附加上界类的成本计算模型;根据该模型在固定存储空间下,采用动态选择物化结点的方案选择物化部分附加上界类,使对StreamQCTree的平均查询响应时间最小。实验表明,StreamQCTree能够有效地访问数据方且获得较好的压缩效果。 展开更多

关键词 网络安全事件监控 streamQCTree 流数据方 数据压缩 联机分析处理 QC-Tree

在线阅读 下载PDF 职称材料

CEStream:一种复杂事件流处理语言 被引量：4

3

作者 王亦雄 廖湖声 +2 位作者 孔祥翾 高红雨 苏航 《计算机科学》 CSCD 北大核心 2017年第4期140-143,164,共5页

复杂事件处理是支持大数据处理的流式计算平台的核心技术之一。CEStream语言作为一种新型的事件流处理语言,支持分布式环境下的复杂事件处理。该语言以XML等层次化数据为数据模型,为复杂事件检测提供了一种正规树模式匹配功能,并且支持... 复杂事件处理是支持大数据处理的流式计算平台的核心技术之一。CEStream语言作为一种新型的事件流处理语言,支持分布式环境下的复杂事件处理。该语言以XML等层次化数据为数据模型,为复杂事件检测提供了一种正规树模式匹配功能,并且支持结构连接和正规式匹配。同时,针对分布式的多个事件流,其能够将各个事件源模式匹配的结果按照时间顺序再一次进行正规式模式匹配,满足多源组合型复杂事件的检测需求,具有较强的事件处理能力。为了实现CEStream语言,研制了一个基于流数据处理集群和远端查询代理的执行引擎系统。该系统通过远程查询代理实现基于正规树模式的事件检测,通过流处理集群完成多源组合型复杂事件处理。实验表明,该系统实现了CEStream语言,有效地限制了各个节点之间的通信量,充分利用了集群的计算能力,整体性能能够满足应用需求。 展开更多

关键词 复杂事件处理 计算机语言 流式计算

在线阅读 下载PDF 职称材料

Apache Flink复杂事件处理语言的形式语义 被引量：4

4

作者 傅宣登 吴志林 《软件学报》 EI CSCD 北大核心 2024年第10期4510-4532,共23页

Apache Flink是目前最流行的流式计算平台之一,已经在工业界得到了广泛应用.复杂事件处理是流式计算的一种重要使用场景,Apache Flink平台定义并实现了一种复杂事件处理语言(简称FlinkCEP).FlinkCEP语法特性丰富,不仅包括常见的过滤、... Apache Flink是目前最流行的流式计算平台之一,已经在工业界得到了广泛应用.复杂事件处理是流式计算的一种重要使用场景,Apache Flink平台定义并实现了一种复杂事件处理语言(简称FlinkCEP).FlinkCEP语法特性丰富,不仅包括常见的过滤、连接、循环等操作,还包括迭代条件、匹配筛选策略等高级特性.FlinkCEP语义复杂,尚缺乏语言规范对其语义进行准确描述,只能通过实现细节来理解,因此对其语义进行形式描述对于开发人员准确理解其语义非常必要.针对FlinkCEP提出一种数据流转换器的自动机模型,该模型包括用于刻画迭代条件的数据变量、存储输出结果的数据流变量、用于刻画匹配筛选策略的迁移优先级等特性.使用数据流转换器对FlinkCEP的语义进行形式建模,并且根据形式语义设计FlinkCEP的查询求值算法,实现原型系统.进一步,生成能够较为全面覆盖FlinkCEP语法特性的测试用例集,利用这些测试用例与FlinkCEP在Flink平台上的实际运行结果进行对比实验.实验结果表明所提出的形式语义与FlinkCEP在Flink平台上的实际语义基本是一致的.而且,对实验结果不一致的情况进行分析,指出FlinkCEP在Flink平台上的实现对于组模式的处理可能存在错误. 展开更多

关键词 流式计算 Flink 复杂事件处理 形式语义 数据流转换器 查询求值

在线阅读 下载PDF 职称材料

基于服务的云边端协同流数据处理体系结构研究 被引量：1

5

作者 张守利 刘晨 《山东农业大学学报（自然科学版）》 北大核心 2024年第3期385-395,共11页

物联网相关技术的快速发展产生了大规模传感流数据和对流数据的高并发处理需求,云边端协同计算正成为低延迟、高可靠的流数据处理的有效途径。为了提升流数据处理系统的灵活性和可扩展性,降低流数据处理延迟,本文提出一种基于服务的分... 物联网相关技术的快速发展产生了大规模传感流数据和对流数据的高并发处理需求,云边端协同计算正成为低延迟、高可靠的流数据处理的有效途径。为了提升流数据处理系统的灵活性和可扩展性,降低流数据处理延迟,本文提出一种基于服务的分散式云边端协同流数据处理体系结构,设计了面向大规模流数据的主动式数据服务模型,流数据及流数据处理被抽象为合适粒度、可被独立部署和动态调度的服务,解耦数据与计算。引入事件驱动机制,提出了基于事件驱动的云边端服务动态协作机制,有效提升了系统的灵活性。基于真实的电能质量传感流数据验证了本文所提出架构的正确性和有效性。 展开更多

关键词 流数据处理 云边端协同 服务计算 事件驱动 服务协作

在线阅读 下载PDF 职称材料

基于局部乱序事件排序的复杂事件匹配方法

6

作者 夏秀峰 周清怡 +3 位作者 张杨 郗红梅 杨宏伟 邱涛 《计算机工程与设计》 北大核心 2024年第10期2986-2993,共8页

为处理乱序事件流上的复杂事件匹配问题,减少排序开销,在非确定有限状态自动机的基础上提出解析查询指导排序策略和匹配结果反馈排序策略。根据查询内容对事件流进行分解过滤,得到查询所需的子事件流,设计基于堆排序的子事件流合并算法... 为处理乱序事件流上的复杂事件匹配问题,减少排序开销,在非确定有限状态自动机的基础上提出解析查询指导排序策略和匹配结果反馈排序策略。根据查询内容对事件流进行分解过滤,得到查询所需的子事件流,设计基于堆排序的子事件流合并算法。通过匹配过程中自动机的状态,设计算法对自动机状态转移相关的事件实例进行排序。在股票数据集上进行实验,验证了提出方法相较于现有方法在匹配性能上有显著提升。 展开更多

关键词 复杂事件匹配 乱序事件流 非确定有限状态自动机 分解过滤 子事件流 堆排序 状态转移

在线阅读 下载PDF 职称材料

RFID复杂事件处理技术 被引量：54

7

作者 谷峪 于戈 张天成 《计算机科学与探索》 CSCD 2007年第3期255-267,共13页

随着RFID技术的发展,RFID应用正无所不在。通过对RFID数据的深入处理和分析,可以发现更复杂的复合事件和隐含知识,从而有效地支持事件监控、事件预警等先进应用。由于RFID的特殊性,依靠现有的主动数据库技术和数据流管理技术难以实现高... 随着RFID技术的发展,RFID应用正无所不在。通过对RFID数据的深入处理和分析,可以发现更复杂的复合事件和隐含知识,从而有效地支持事件监控、事件预警等先进应用。由于RFID的特殊性,依靠现有的主动数据库技术和数据流管理技术难以实现高效的RFID事件检测和处理。分析了RFID数据的特点,归纳和总结了RFID复杂事件处理的最新技术,讨论了一些亟待解决的新问题,主要有RFID数据清洗方法、以数据为中心的检测技术、以事件为中心的检测技术,以及复杂事件处理系统等,并对今后的研究重点进行了展望。 展开更多

关键词 事件处理 数据库技术 检测技术 中心 应用 隐含知识 事件预警 事件检测 事件监控 清洗方法 管理技术 复合事件 处理系统 新技术 数据流

在线阅读 下载PDF 职称材料

基于MapReduce的海量事件日志并行转化算法 被引量：11

8

作者 窦蒙 闻立杰 +1 位作者 王建民 闫志强 《计算机集成制造系统》 EI CSCD 北大核心 2013年第8期1784-1793,共10页

随着大数据时代的来临,为了高性能地转化海量分布式日志,提出事件日志在云平台上基于MapReduce架构的分布式转化算法。提出基于案例拆分的改进算法,以转化单机上的日志,使其变得可行;进一步提出基于MapReduce的并行转化算法。这是在过... 随着大数据时代的来临,为了高性能地转化海量分布式日志,提出事件日志在云平台上基于MapReduce架构的分布式转化算法。提出基于案例拆分的改进算法,以转化单机上的日志,使其变得可行;进一步提出基于MapReduce的并行转化算法。这是在过程挖掘领域中首次实现从海量原始日志到可扩展事件流事件日志的并行转化,极大地提高了转化性能。 展开更多

关键词 大数据 事件日志 过程挖掘 映射归约 可扩展事件流 信息系统

在线阅读 下载PDF 职称材料

一个基于事件驱动的面向服务计算平台 被引量：45

9

作者 刘家红 吴泉源 《计算机学报》 EI CSCD 北大核心 2008年第4期588-599,共12页

基于请求/响应调用模型的面向服务体系结构(Service-Oriented Architecture,SOA)的实现存在通信耦合程度高,协同能力不足的问题.事件驱动体系结构特别适合于松耦合通信和应用需要感知支持的环境.在面向服务的计算平台中提供事件驱动支持... 基于请求/响应调用模型的面向服务体系结构(Service-Oriented Architecture,SOA)的实现存在通信耦合程度高,协同能力不足的问题.事件驱动体系结构特别适合于松耦合通信和应用需要感知支持的环境.在面向服务的计算平台中提供事件驱动支持,可满足计算平台的松耦合通信与协同需求.文中给出了面向服务计算平台中事件驱动的框架,针对需高效处理事件流上复合事件的需求,在框架中设计了基于SEDA模型的并发事件处理与基于事件代数的事件流处理机制.在事件代数中给出了上下文语义和相应的检测算法,以实现高效事件流处理.实验表明,设计的事件驱动面向服务计算平台具有松耦合通信、协同计算、高效事件流处理和复合事件处理的特点,适应了目前动态多变的大规模分布式计算环境的需求,有着广阔的应用前景. 展开更多

关键词 面向服务的计算平台 事件驱动体系结构 事件流处理 事件代数 复合事件处理

在线阅读 下载PDF 职称材料

在线-离线数据流上复杂事件检测 被引量：10

10

作者 彭商濂 李战怀 +1 位作者 陈群 李强 《计算机学报》 EI CSCD 北大核心 2012年第3期540-554,共15页

随着数据采集和处理技术的发展,在物联网对象跟踪、网络监控、金融预测、电信消费模式等领域中进行事件检测显得越发重要.事件检测在一次扫描数据流的假设下完成,数据流在被处理完后丢弃.事实上,很多应用场景中,历史数据流因含有丰富的... 随着数据采集和处理技术的发展,在物联网对象跟踪、网络监控、金融预测、电信消费模式等领域中进行事件检测显得越发重要.事件检测在一次扫描数据流的假设下完成,数据流在被处理完后丢弃.事实上,很多应用场景中,历史数据流因含有丰富的信息而不能简单丢弃,且一些事件检测查询需要同时在实时和历史数据流上进行.鉴于已有复杂事件检测很少考虑同时在实时-历史数据流上进行模式匹配,作者研究了在线-离线数据流上复杂事件检测的关键问题.主要工作如下:(1)针对滑动窗口内产生的大量模式匹配中间结果,提出利用时态关系和时空关系管理中间结果的方法 TPM和STPM.STPM以中间结果的时态和状态信息为权值对中间结果进行管理,将最近的、最有可能更新状态的中间结果置于内存,极大地减少了中间结果的读取操作代价.(2)给出了基于选择度的在线-离线复杂事件检测优化算法;(3)给出了算法的复杂性分析和代价模型;(4)在基于时空关系的中间结果管理模型下,在一个在线-离线复杂事件检测原型系统中进行实验,对多个参数(子窗口大小,选择度,匹配率,命中率)进行了算法对比分析.实验结果充分验证了所提出的算法的可行性和高效性. 展开更多

关键词 物联网 复杂事件检测 数据流 非确定有限状态自动机 RFID 无线传感器网络

在线阅读 下载PDF 职称材料

面向CPS复杂事件流的不确定性研究 被引量：6

11

作者 曹科宁 李仁发 +1 位作者 张小明 张鑫龙 《计算机工程与科学》 CSCD 北大核心 2015年第3期415-421,共7页

信息物理融合系统CPS获得广泛应用需要解决的一个关键问题是软件中的信息处理部分,而复杂事件处理是CPS中信息处理的核心任务之一。CPS环境下的事件具有异构、分散、海量和不确定性等特征。在CPS实际应用中,因噪声、传感器误差、通讯技... 信息物理融合系统CPS获得广泛应用需要解决的一个关键问题是软件中的信息处理部分,而复杂事件处理是CPS中信息处理的核心任务之一。CPS环境下的事件具有异构、分散、海量和不确定性等特征。在CPS实际应用中,因噪声、传感器误差、通讯技术等原因而造成的事件不确定性急需解决。为了解决CPS系统中存在的海量不确定事件流问题,提出一种处理不确定事件流的复杂事件处理方法USCEP,该方法不仅可以实时有效地处理海量不确定事件流,还可以有效计算复杂事件的概率。USCEP对现有RFID复杂事件监测方法 RCEDA进行了改进,提供了历史概率事件查询处理的支持,提出一种事件概率模型进行概率计算,并通过关联查询表来提高效率。实验表明,在处理不确定事件流时,该方法比传统方法具有更好的性能。 展开更多

关键词 信息物理融合系统 复杂事件处理 不确定事件流

在线阅读 下载PDF 职称材料

一种混合并行XML解析方法 被引量：9

12

作者 方跃坚 余枝强 +1 位作者 翟磊 吴中海 《软件学报》 EI CSCD 北大核心 2013年第6期1196-1206,共11页

设计了一种混合并行XML解析方法.该方法由轻量级事件划分、事件级并行解析和后处理三阶段组成.使用SIMD指令来加速事件划分.阶段级处理使用软件流水线并行技术.同时使用了事件级数据并行技术和流水线并行技术,所以该方法是一种混合并行... 设计了一种混合并行XML解析方法.该方法由轻量级事件划分、事件级并行解析和后处理三阶段组成.使用SIMD指令来加速事件划分.阶段级处理使用软件流水线并行技术.同时使用了事件级数据并行技术和流水线并行技术,所以该方法是一种混合并行方法.与其他方法相比,该方法具有高效并行解析和低通信开销的优势.在基于8核Intel Xeon X7560 CPU、Linux操作系统机器上的测试结果表明,与现有其他方法相比,该方法能够达到更高的加速以及更好的可扩展性. 展开更多

关键词 XML 混合并行处理 轻量级预处理 SIMD 事件流

在线阅读 下载PDF 职称材料

实时网络安全威胁态势感知 被引量：6

13

作者 吴朝雄 王晓程 +1 位作者 王红艳 石波 《计算机工程与设计》 北大核心 2015年第11期2953-2957,共5页

针对目前网络安全威胁态势分析实时性不足以及对复杂攻击感知敏感度不高的问题,设计实时感知系统结构模型,提出相应的感知方法和分析技术。通过粗集(rough set,RS),从已有的组合攻击样本数据集中提取复杂攻击规则,结合事件流处理技术(ev... 针对目前网络安全威胁态势分析实时性不足以及对复杂攻击感知敏感度不高的问题,设计实时感知系统结构模型,提出相应的感知方法和分析技术。通过粗集(rough set,RS),从已有的组合攻击样本数据集中提取复杂攻击规则,结合事件流处理技术(event stream processing,ESP),实现对安全事件流的在线动态分析检测,提高对复杂攻击的感知能力,提升网络安全威胁态势分析的实时性和客观性。实验验证了该方法的有效性和可行性。 展开更多

关键词 网络安全 威胁态势 RS esp 实时 复杂攻击

在线阅读 下载PDF 职称材料

不可靠RFID数据上的复杂事件处理研究 被引量：10

14

作者 陈远 李战怀 陈群 《计算机应用研究》 CSCD 北大核心 2009年第7期2537-2539,2542,共4页

通过在基于NFA的复杂事件处理算法中引入可靠性约束检测,提出了一种直接应用于不可靠RFID数据上的复杂事件处理算法。实验结果表明该方法是有效和高效的。

关键词 无线射频识别 复杂事件处理 不可靠数据 约束检测

在线阅读 下载PDF 职称材料

针对泊松流的截止期敏感的复杂事件处理资源分配模型 被引量：3

15

作者 谷峪 于戈 +1 位作者 吕雁飞 王义 《计算机学报》 EI CSCD 北大核心 2012年第5期937-950,共14页

随着无线射频识别等监控技术的发展,事件流上的复杂事件处理技术得到了广泛的关注.现有的事件流处理技术主要提供尽最大努力(Best-Effort)式的服务来减少平均响应时间,这种方式并不能在确定的时间延迟需求下输出更多的结果.针对监控应... 随着无线射频识别等监控技术的发展,事件流上的复杂事件处理技术得到了广泛的关注.现有的事件流处理技术主要提供尽最大努力(Best-Effort)式的服务来减少平均响应时间,这种方式并不能在确定的时间延迟需求下输出更多的结果.针对监控应用中的确定性服务质量需求,讨论了常见的泊松监控流上的截止期敏感的复杂事件处理最优化资源分配问题.从系统服务角度对事件的到达和复杂事件处理进行了理论分析和建模,提出了复合事件的截止期满足率模型和多事件流处理乱序反馈修正模型,进而给出最优化资源分配模型.通过合理的分配处理资源,保证了在实时限制下产生更多的正确结果,兼顾了复杂事件处理的实时性和正确性.实验结果表明,提出的相关的理论估算模型和资源分配方案是正确和有效的,对于进一步完善复杂应用下的固实时限制复杂事件处理框架具有重要的启发意义和实用价值. 展开更多

关键词 泊松流 复杂事件处理 截止期敏感 资源分配模型 无线射频识别

在线阅读 下载PDF 职称材料

实时复杂事件处理的最坏响应时间估算 被引量：2

16

作者 李想 范玉顺 +1 位作者 王宏安 乔颖 《计算机研究与发展》 EI CSCD 北大核心 2012年第10期2054-2065,共12页

实时复杂事件处理系统(CEP系统)用于从原子事件流中检测出复杂事件,需要确保事件处理任务在截止期内完成.确保实时性的关键问题是如何估算系统中复杂事件处理程序(CEP程序)的最坏响应时间.现有针对一般程序的估算方法需要标注对象程序... 实时复杂事件处理系统(CEP系统)用于从原子事件流中检测出复杂事件,需要确保事件处理任务在截止期内完成.确保实时性的关键问题是如何估算系统中复杂事件处理程序(CEP程序)的最坏响应时间.现有针对一般程序的估算方法需要标注对象程序中子程序执行次数的取值范围.然而,CEP程序较为复杂,难以直接获知子程序执行次数的取值范围.虽然执行次数间存在关联关系,可以间接求解出取值范围,但这样得到取值范围不够严格,使估算精度较低,因此现有估算方法难以直接使用.提出一种CEP程序的最坏响应时间估算方法.采用新标注方式,通过对CEP程序的检测结构进行分析,归纳出子程序执行次数间的关联约束,并使用关联约束进行标注,替代了标注其取值范围,避免了标注困难.实验表明方法具有较高估算精度. 展开更多

关键词 复杂事件处理 实时 最坏响应时间 标注 事件流

在线阅读 下载PDF 职称材料

一个风险模型的研究 被引量：14

17

作者 方世祖 聂赞坎 《高校应用数学学报（A辑）》 CSCD 北大核心 2004年第4期445-450,共6页

研究了索赔到达过程为平稳无后效流,保单到达过程为平稳无后效流,并带扩散扰动项的盈余过程.讨论了该盈余过程的马尔科夫性和鞅性.然后用鞅方法得到其破产概率的表达式及其相应的Lundberg不等式.

关键词 盈余过程 平稳无后效流 WIENER过程 马尔科夫性 鞅 破产概率

在线阅读 下载PDF 职称材料

原始RFID数据流上复杂事件处理研究 被引量：4

18

作者 李强 陈琳 《计算机工程与设计》 CSCD 北大核心 2012年第4期1613-1616,共4页

一般的RFID复杂事件检测是建立在经过数据清洗的数据模型上,但RFID数据清洗往往代价较高且目的单一,更为影响效率的是其数据清洗步骤和复杂事件处理步骤需要扫描数据流两次。针对这些问题,提出直接在原始RFID数据流上进行复杂事件处理,... 一般的RFID复杂事件检测是建立在经过数据清洗的数据模型上,但RFID数据清洗往往代价较高且目的单一,更为影响效率的是其数据清洗步骤和复杂事件处理步骤需要扫描数据流两次。针对这些问题,提出直接在原始RFID数据流上进行复杂事件处理,将数据清洗步骤与复杂事件处理步骤相结合的方法,并设计出了集成此方法的复杂事件处理引擎架构,最后编程实现了上述架构的处理引擎。通过大量对比实验分析验证了该方法的正确性与高效性。 展开更多

关键词 无线射频识别技术 复杂事件处理 数据清洗 数据流 事件处理引擎架构

在线阅读 下载PDF 职称材料

基于复杂事件处理的用户需求响应性能实时监测分析 被引量：8

19

作者 祖向荣 白焰 阳建坤 《电网技术》 EI CSCD 北大核心 2016年第10期3220-3227,共8页

文章梳理了智能电网大数据流实时分析技术的发展趋势,研究了具有流式计算与主动管理双重特性的复杂事件处理(complex event processing,CEP)技术特点。基于实时数据分发服务(data distribution service,DDS)中间件设计了自动需求响应(au... 文章梳理了智能电网大数据流实时分析技术的发展趋势,研究了具有流式计算与主动管理双重特性的复杂事件处理(complex event processing,CEP)技术特点。基于实时数据分发服务(data distribution service,DDS)中间件设计了自动需求响应(automated demand response,ADR)系统与CEP实时监测服务的集成架构,给出CEP服务节点的功能组件与分析流程,论述了应用架构的互操作优势。以用户需求响应性能实时监测分析为案例,说明应用CEP实现用户基线负荷与响应性能计算的关键技术,由ADR事件定义反映资源响应时序的上下文规则,设计用户侧监测事件模型与关键查询算法。特别针对实时与增强历史监测数据上下文的混合查询算法,给出CEP引擎内部扩展设计与实现流程,并实验验证算法性能。应用CEP内嵌R算法实现快速统计计算。最后,建立原型系统与CEP实时分析算法的可视化仿真实验,验证了CEP应用的可行性。 展开更多

关键词 自动需求响应 复杂事件处理 用户需求响应性能 实时大数据流分析 OPEN ADR事件模型 实时数据分发服务

在线阅读 下载PDF 职称材料

基于事件驱动架构的分布式流处理弹性资源分配策略研究 被引量：5

20

作者 汤小春 张克 +1 位作者 赵全 李战怀 《计算机学报》 EI CAS CSCD 北大核心 2023年第2期244-259,共16页

针对具有多个数据源以及多个输出的流处理应用,使用单个分布式数据流引擎开发时,不论在架构还是可扩展性方面都存在着不足,而基于事件驱动架构的分布式流处理技术是解决该问题的主要方式.但是,事件驱动架构应用于流处理时,往往面临着数... 针对具有多个数据源以及多个输出的流处理应用,使用单个分布式数据流引擎开发时,不论在架构还是可扩展性方面都存在着不足,而基于事件驱动架构的分布式流处理技术是解决该问题的主要方式.但是,事件驱动架构应用于流处理时,往往面临着数据注入速率与数据处理速率不一致的矛盾,当流数据源的数量发生变化、数据值的分布发生波动时,会导致处理延迟加大或资源利用不充分.针对数据注入与数据处理不一致的问题,现有的弹性资源分配策略难以有效处理生产者和消费者之间的依赖关系,且资源分配效果欠佳.论文提出了一种基于强化学习的弹性资源分配方法,解决了具有依赖关系的流处理应用程序之间的数据波动带来的延迟或者资源利用不充分的问题.通过建立状态矩阵和命令矩阵,使得资源管理器能够感知上下游应用的状态变化,从而及时调整流处理应用的资源需求,保证了流处理应用执行过程的延迟要求,提高了系统的资源利用率.经过测试,基于强化学习的弹性资源分配与Spark动态资源分配方法相比,延迟能减少15%,资源利用率能提高20%以上,其吞吐量能够提高10%左右. 展开更多

关键词 事件驱动 分布式流处理 弹性资源 强化学习 数据注入

在线阅读 下载PDF 职称材料