期刊文献+
共找到136篇文章
< 1 2 7 >
每页显示 20 50 100
基于Spark Streaming的实时数据分析系统及其应用 被引量:30
1
作者 韩德志 陈旭光 +2 位作者 雷雨馨 戴永涛 张肖 《计算机应用》 CSCD 北大核心 2017年第5期1263-1269,共7页
为了实现对实时网络数据流的快速分析,设计一种分布式实时数据流分析系统(DRDAS),能有效解决并发访问数据流的收集、存储和实时分析问题,为大数据环境的网络安全检测提供了一种有效的数据分析平台;根据Spark Streaming运行的原理设计一... 为了实现对实时网络数据流的快速分析,设计一种分布式实时数据流分析系统(DRDAS),能有效解决并发访问数据流的收集、存储和实时分析问题,为大数据环境的网络安全检测提供了一种有效的数据分析平台;根据Spark Streaming运行的原理设计一种动态采样的K-Means并行算法,与DRDAS结合能实时有效地检测大数据环境下的各种分布式拒绝服务(DDo S)攻击。实验结果显示:DRDAS具有好的可扩展性、容错性和实时处理能力,与动态采样的K-Means并行算法结合能实时地检测各种DDo S攻击,缩短了攻击的检测时间。 展开更多
关键词 SPARK streaming框架 分布式流处理 网络数据分析 分布式拒绝服务攻击
在线阅读 下载PDF
面向Apache Flink流式分析应用的高吞吐优化技术
2
作者 秦政 许利杰 +4 位作者 陈伟 王毅 吴铭钞 曾鸿斌 王伟 《软件学报》 北大核心 2025年第7期3184-3208,共25页
随着大数据时代的到来,海量的用户数据赋能了众多数据驱动的行业应用,例如智慧交通、智能电网、商品推荐等.在数据实时性要求高的应用场景下,数据中的业务价值随时间增长快速降低,因此数据分析系统需要具有高吞吐和低延迟能力,以Apache ... 随着大数据时代的到来,海量的用户数据赋能了众多数据驱动的行业应用,例如智慧交通、智能电网、商品推荐等.在数据实时性要求高的应用场景下,数据中的业务价值随时间增长快速降低,因此数据分析系统需要具有高吞吐和低延迟能力,以Apache Flink为代表的流式大数据处理系统得到广泛应用.Flink通过在集群的计算节点上并行化计算任务,水平扩展系统吞吐率.然而,已有研究指出,Flink存在单点性能弱,集群水平可扩展性差的问题.为了提高流式大数据处理系统的吞吐率,研究者在控制平面设计、系统算子实现和垂直可扩展性等方面开展优化,但现有工作尚缺乏对流式分析应用数据流的关注.流式分析应用是由事件流驱动并使用有状态处理函数的应用,例如智能电网场景下的低电压检测应用、商品推荐场景下的广告活动分析应用等.对典型的流式分析应用的数据流特征进行分析,总结其中存在的3个水平可扩展性瓶颈并给出相应的优化策略,包括:键级水位线,动态负载分发策略和基于键值的数据交换策略.基于上述优化技术,对Flink框架进行扩展并形成原型系统Trilink,选取真实场景数据集:低电压检测应用,桥梁拱顶监测应用和典型流式分析测试基准Yahoo Streaming Benchmark,与现有工作进行测试比较.实验结果表明,相较于Flink,Trilink在单机环境下吞吐率提升了5倍以上,8节点下水平扩展加速比提高了1.6倍以上. 展开更多
关键词 流式处理 分布式系统 性能优化 大数据系统
在线阅读 下载PDF
StreamQCTree:一种流数据方压缩结构 被引量:1
3
作者 甘亮 刘东红 +1 位作者 贾焰 韩伟红 《计算机工程与应用》 CSCD 北大核心 2011年第19期140-143,185,共5页
数据流管理系统计算聚集查询结果保存在内存中形成流数据方(StreamCube),提供快速、精确的在线OLAP查询。有限的内存空间需要一种有效的存储方法来存储更大时间窗口的流数据方。提出一种基于QC-Tree结构的流数据方StreamQCTree生成、裁... 数据流管理系统计算聚集查询结果保存在内存中形成流数据方(StreamCube),提供快速、精确的在线OLAP查询。有限的内存空间需要一种有效的存储方法来存储更大时间窗口的流数据方。提出一种基于QC-Tree结构的流数据方StreamQCTree生成、裁剪及查询方法。将QC-Tree结构中上界集划分为基本上界类和附加上界类;并分析附加上界类的成本计算模型;根据该模型在固定存储空间下,采用动态选择物化结点的方案选择物化部分附加上界类,使对StreamQCTree的平均查询响应时间最小。实验表明,StreamQCTree能够有效地访问数据方且获得较好的压缩效果。 展开更多
关键词 网络安全事件监控 streamQCTree 流数据方 数据压缩 联机分析处理 QC-Tree
在线阅读 下载PDF
基于动态时间窗格的数据仓库流批一体优化方法
4
作者 陈滨林 唐小勇 《计算机应用研究》 北大核心 2025年第8期2460-2466,共7页
数据仓库是企业数据管理核心,批处理和流处理是大数据分析的两种核心数据处理范式。为了解决传统批处理技术产出时延和资源消耗高的问题,以及流处理技术在处理多流数据关联和历史数据计算时面临的数据质量挑战,提出了一种流批一体处理... 数据仓库是企业数据管理核心,批处理和流处理是大数据分析的两种核心数据处理范式。为了解决传统批处理技术产出时延和资源消耗高的问题,以及流处理技术在处理多流数据关联和历史数据计算时面临的数据质量挑战,提出了一种流批一体处理方法。所提方法通过分析数据集在不同时间窗格中的变化,融合了基于调度时间的动态时间窗格划分和基于DFS算法的最简数据集搜索。实验结果表明,与主流微批处理方法相比,该方法将整体计算时间缩短57.2%,内存消耗减少24.2%,同时确保了数据的强一致性。该方法对于企业构建高处理效率、低资源消耗的流批一体化数据仓库具有重要参考价值。 展开更多
关键词 数据仓库 数据流处理 动态时间窗格 最简数据集 流批一体化
在线阅读 下载PDF
一种监控高维数据流的稳健型控制图
5
作者 丁冬 姜亚蕾 《运筹与管理》 北大核心 2025年第1期12-18,共7页
随着传感器等现代化科技的迅速发展,高维数据流在各行各业中频繁出现。然而,高维数据的复杂性给质量监控带来了许多挑战。例如,在高维情形下正态性假设往往失效,而且实际中分布形式通常未知;同时仅监控均值的控制图已经无法满足实际需求... 随着传感器等现代化科技的迅速发展,高维数据流在各行各业中频繁出现。然而,高维数据的复杂性给质量监控带来了许多挑战。例如,在高维情形下正态性假设往往失效,而且实际中分布形式通常未知;同时仅监控均值的控制图已经无法满足实际需求,监控方差的重要性早已成为学界和业界的共识。为此,提出了一种用于监控独立高维数据流的稳健型控制图。首先将经典的得分检验统计量经过数学变换后,与指数加权移动平均(EWMA)方法相结合,提出监控每一维数据流的局部统计量,并在此基础上结合top-r等方法,提出了监控高维数据流的全局监控统计量。所提出方法适用于正态分布及非正态分布的数据,并且能够同时监控均值和方差。通过数值仿真分析和实际案例研究阐明新方法的有效性和稳健性。 展开更多
关键词 高维数据流 稳健型控制图 EWMA top-r统计量 统计过程控制
在线阅读 下载PDF
Spark Streaming框架下的气象自动站数据实时处理系统 被引量:17
6
作者 赵文芳 刘旭林 《计算机应用》 CSCD 北大核心 2018年第1期38-43,55,共7页
针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题,提出了使用Spark Streaming技术和HBase解决该问题的方法,将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据... 针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题,提出了使用Spark Streaming技术和HBase解决该问题的方法,将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据,Spark Streaming对数据进行流式处理并存储到HBase数据库中,并设计Spark框架下的自动站数据流式入库处理算法和要素极值的实时统计算法,在Cloudera平台下实现了一个高速可靠的实时采集、处理、统计的应用系统。通过对比分析和性能监测,验证了该系统具有低延迟和高吞吐量的优势,运行状况良好,负载均衡。实验结果表明,Spark Streaming用于气象自动站的实时业务处理,数据并行写入HBase、基于HBase的查询和各类要素统计均能达到毫秒级响应,完全能满足自动站数据的应用需求,有效地支撑天气预报业务。 展开更多
关键词 气象自动站 SPARK streamING 流计算 气象数据处理 FLUME
在线阅读 下载PDF
地面自动气象站数据流式处理设计与实现 被引量:6
7
作者 肖卫青 薛蕾 +7 位作者 刘振 罗兵 王颖 张来恩 郭萍 霍庆 韩书丽 何文春 《应用气象学报》 CSCD 北大核心 2024年第3期373-384,共12页
针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息... 针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于Storm的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息;消息确认采用手工确认的方式,将数据解码组件锚定数据接入组件,实现每条数据的可靠处理;数据解码时进行字节校验和时间检查等,过滤异常数据;应用批量加定时的发送策略,解决海量监控信息发送气象综合业务实时监控系统(天镜)的问题;集群部署时保留部分剩余资源,有效应对单节点异常。应用效果表明:国家气象站小时数据的服务时效由全国综合气象信息共享系统(CIMISS)的175 s提高至天擎的78 s,约6×10^(4)个区域气象站小时数据的服务时效由CIMISS的5 min提高至天警的2 min,实况分析系统将数据源切换至天擎后,相同时间检索可获取的站点数量较CIMISS增加1倍。2021年12月基于Storm的流式处理与天擎一同在国省业务化运行,实现了长期稳定运行,为MICAPS4、SWAN2.0、实况分析系统等用户提供高效稳定的地面自动气象站数据。 展开更多
关键词 气象大数据云平台 地面自动气象站 STORM RabbitMQ 流式处理 BUFR
在线阅读 下载PDF
Apache Flink复杂事件处理语言的形式语义 被引量:4
8
作者 傅宣登 吴志林 《软件学报》 EI CSCD 北大核心 2024年第10期4510-4532,共23页
Apache Flink是目前最流行的流式计算平台之一,已经在工业界得到了广泛应用.复杂事件处理是流式计算的一种重要使用场景,Apache Flink平台定义并实现了一种复杂事件处理语言(简称FlinkCEP).FlinkCEP语法特性丰富,不仅包括常见的过滤、... Apache Flink是目前最流行的流式计算平台之一,已经在工业界得到了广泛应用.复杂事件处理是流式计算的一种重要使用场景,Apache Flink平台定义并实现了一种复杂事件处理语言(简称FlinkCEP).FlinkCEP语法特性丰富,不仅包括常见的过滤、连接、循环等操作,还包括迭代条件、匹配筛选策略等高级特性.FlinkCEP语义复杂,尚缺乏语言规范对其语义进行准确描述,只能通过实现细节来理解,因此对其语义进行形式描述对于开发人员准确理解其语义非常必要.针对FlinkCEP提出一种数据流转换器的自动机模型,该模型包括用于刻画迭代条件的数据变量、存储输出结果的数据流变量、用于刻画匹配筛选策略的迁移优先级等特性.使用数据流转换器对FlinkCEP的语义进行形式建模,并且根据形式语义设计FlinkCEP的查询求值算法,实现原型系统.进一步,生成能够较为全面覆盖FlinkCEP语法特性的测试用例集,利用这些测试用例与FlinkCEP在Flink平台上的实际运行结果进行对比实验.实验结果表明所提出的形式语义与FlinkCEP在Flink平台上的实际语义基本是一致的.而且,对实验结果不一致的情况进行分析,指出FlinkCEP在Flink平台上的实现对于组模式的处理可能存在错误. 展开更多
关键词 流式计算 Flink 复杂事件处理 形式语义 数据流转换器 查询求值
在线阅读 下载PDF
基于流计算和大数据平台的实时交通流预测 被引量:2
9
作者 李星辉 曾碧 魏鹏飞 《计算机工程与设计》 北大核心 2024年第2期553-561,共9页
目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后... 目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后的数据sink到大数据的HDFS文件系统,交由下一步的大数据并行框架进行分析建模与训练,实现基于流计算和大数据平台的实时交通流预测。实验结果表明,Flink能够实时捕捉和预处理交通流数据,把数据准时无误送入分布式文件系统中,在此基础上借助大数据框架下的并行分析和建模优势,在实时性数据分析与预测方面取得了较好的效果。 展开更多
关键词 大数据 数据并行 流计算框架 实时处理 交通流预测 分布式系统 实时性分析
在线阅读 下载PDF
基于服务的云边端协同流数据处理体系结构研究 被引量:1
10
作者 张守利 刘晨 《山东农业大学学报(自然科学版)》 北大核心 2024年第3期385-395,共11页
物联网相关技术的快速发展产生了大规模传感流数据和对流数据的高并发处理需求,云边端协同计算正成为低延迟、高可靠的流数据处理的有效途径。为了提升流数据处理系统的灵活性和可扩展性,降低流数据处理延迟,本文提出一种基于服务的分... 物联网相关技术的快速发展产生了大规模传感流数据和对流数据的高并发处理需求,云边端协同计算正成为低延迟、高可靠的流数据处理的有效途径。为了提升流数据处理系统的灵活性和可扩展性,降低流数据处理延迟,本文提出一种基于服务的分散式云边端协同流数据处理体系结构,设计了面向大规模流数据的主动式数据服务模型,流数据及流数据处理被抽象为合适粒度、可被独立部署和动态调度的服务,解耦数据与计算。引入事件驱动机制,提出了基于事件驱动的云边端服务动态协作机制,有效提升了系统的灵活性。基于真实的电能质量传感流数据验证了本文所提出架构的正确性和有效性。 展开更多
关键词 流数据处理 云边端协同 服务计算 事件驱动 服务协作
在线阅读 下载PDF
基于“湖仓一体”技术的城轨大数据平台设计与升级改造实践 被引量:4
11
作者 吴雁军 光志瑞 +1 位作者 李明华 陈建华 《都市快轨交通》 北大核心 2024年第1期54-62,共9页
为了探寻城市轨道交通行业大数据平台建设与升级改造的最优方案,本文以城轨大数据平台为研究对象,从城轨大数据平台发展历程出发,梳理城轨大数据平台发展的3个阶段,分析各阶段大数据平台所采用的技术与优缺点,重点总结当前阶段“湖仓一... 为了探寻城市轨道交通行业大数据平台建设与升级改造的最优方案,本文以城轨大数据平台为研究对象,从城轨大数据平台发展历程出发,梳理城轨大数据平台发展的3个阶段,分析各阶段大数据平台所采用的技术与优缺点,重点总结当前阶段“湖仓一体”大数据技术所具备的湖仓一体、流批一体、OLTP+OLAP、多重负载等优点,研究了基于该技术的大数据平台架构升级改造设计要点,并将该技术在北京地铁数据中心的大数据平台升级改造中进行应用验证。结果表明:“湖仓一体”大数据平台技术兼具数据湖的低成本、数据仓库的高性能等优点,解决了原大数据平台在性能、容量与多用途支持上的不足,为城轨行业大数据平台建设与升级改造提供了新的解决思路。 展开更多
关键词 城市轨道交通 大数据平台 升级改造 湖仓一体 流批一体 数据仓库 数据湖
在线阅读 下载PDF
支持实时流计算应用的关键技术研究进展 被引量:2
12
作者 徐志榛 徐辰 +2 位作者 丁光耀 陈梓浩 周傲英 《软件学报》 EI CSCD 北大核心 2024年第1期430-454,共25页
信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系... 信息系统在进行知识的挖掘和管理时,需要处理各种形式的数据,流数据便是其中之一.流数据具有数据规模大、产生速度快且蕴含的知识具有较强时效性等特点,因而发展支持实时处理应用的流计算技术对于信息系统的知识管理十分重要.流计算系统可以追溯到29世纪90年代,至今已经经历了长足的发展.然而,当前多样化的知识管理需求和新一代的硬件架构为流计算系统带来了全新的挑战和机遇,催生出了一系列流计算领域的技术研究.首先介绍流计算系统的基本需求以及发展脉络,再按照编程接口、执行计划、资源调度和故障容错4个层次分别分析流计算系统领域的相关技术;最后,展望流计算技术在未来可能的研究方向和发展趋势. 展开更多
关键词 实时处理 流计算 数据处理系统
在线阅读 下载PDF
IoT感知的业务微流程建模
13
作者 王潇璇 王桂玲 《郑州大学学报(理学版)》 CAS 北大核心 2024年第2期26-33,共8页
基于物联大数据赋能的业务流程能够更快更准地感知物理世界并及时做出响应的需求突现,提出一种物联网(Internet of Things,IoT)感知的业务微流程建模方法。首先,以单个IoT对象为中心建模,融合MAPE-K(monitor,analysis,plan,execution an... 基于物联大数据赋能的业务流程能够更快更准地感知物理世界并及时做出响应的需求突现,提出一种物联网(Internet of Things,IoT)感知的业务微流程建模方法。首先,以单个IoT对象为中心建模,融合MAPE-K(monitor,analysis,plan,execution and knowledge base,MAPE-K)模型思想,将IoT对象实例生命周期的行为状态与微流程实例状态一一映射,实现对单个IoT对象的环形自动监控和调节;其次,基于从IoT传感设备获取的数据,定义基于SASE+语言的业务规则,提取对业务流程有意义的业务事件,避免了无关事件对宏流程的干扰;最后,通过设计一个微流程建模工具原型系统,结合真实案例分析,验证了提出建模方法的有效性,实现了业务流程与IoT实时流式感知数据的结合,并显著减少了宏流程需要处理的业务事件数量。 展开更多
关键词 IoT流式感知数据 业务规则 环形自动监控调节 微流程
在线阅读 下载PDF
OODAFlow:面向智能无人系统的流式数据处理框架
14
作者 全振宇 尹龙祥 +1 位作者 陈晓明 韩银和 《高技术通讯》 CAS 北大核心 2024年第9期905-920,共16页
智能无人系统是一种能够在复杂环境中自主进行实时推理、决策和制定行动方案的计算系统。智能无人系统实现实时决策的关键在于对流式数据的实时处理,然而随着人工智能技术和传感器技术的快速发展,智能无人系统需要处理的数据规模不断增... 智能无人系统是一种能够在复杂环境中自主进行实时推理、决策和制定行动方案的计算系统。智能无人系统实现实时决策的关键在于对流式数据的实时处理,然而随着人工智能技术和传感器技术的快速发展,智能无人系统需要处理的数据规模不断增长,数据类型变得更加复杂。面对不断增长的数据处理性能需求,智能无人系统需要一个充分优化的专用流式数据处理框架来提升其数据处理性能。针对该问题,本文提出了一种面向智能无人系统的流式数据处理框架OODAFlow,该框架将智能无人系统的硬件特征和智能计算任务的数据特征与观察-判断-决策-行动(OODA)模型思想相融合,实现了OODA任务创建、任务调度、资源调度等功能,能够实现对智能无人系统异构资源的调度和智能计算任务的处理。本文在智能无人系统上搭建了一套OODA任务处理系统,验证了所提OODAFlow框架的可行性。通过提出的图像预处理过程优化、流水线优化以及判断节点并行加速优化等方法,提高了系统的数据吞吐性能和资源利用率。无人机智能控制任务的实验表明,采用本文提出的OODAFlow框架后,智能无人系统的数据处理性能提升了73倍。 展开更多
关键词 智能无人系统 深度学习加速卡 观察-判断-决策-行动(OODA) 流式数据处理框架 异构计算资源
在线阅读 下载PDF
分布式流处理技术综述 被引量:51
15
作者 崔星灿 禹晓辉 +1 位作者 刘洋 吕朝阳 《计算机研究与发展》 EI CSCD 北大核心 2015年第2期318-332,共15页
随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景... 随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向. 展开更多
关键词 大数据 数据流 分布式流处理 实时处理 分布式系统
在线阅读 下载PDF
针对高速数据流的大规模数据实时处理方法 被引量:95
16
作者 亓开元 赵卓峰 +1 位作者 房俊 马强 《计算机学报》 EI CSCD 北大核心 2012年第3期477-490,共14页
以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算... 以实时传感数据和历史感知数据为基础的各类计算需求逐渐成为当前物联网应用建设中的关键,如何实现基于高速数据流和大规模历史数据的实时计算成为数据处理领域的新挑战.现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算的实时要求.文中结合城市车辆数据的实时采集与处理应用,在理论和实践分析的基础上,提出了一种针对高速数据流的大规模数据实时处理方法,并对方法中的本地阶段化流水线、中间结果缓存等关键技术瓶颈进行了改进.其中,根据系统参数控制阶段化流水线,使CPU得到了充分、有效利用;通过改造内外存数据结构、读写策略和替换算法,优化了本地中间结果的高并发读写性能.实验表明,上述方法可以显著提升大规模历史数据上数据流处理的实时性和可伸缩性. 展开更多
关键词 数据流处理 大规模数据处理 MAPREDUCE 物联网 大数据 云计算
在线阅读 下载PDF
基于流式计算的空间科学卫星数据实时处理 被引量:14
17
作者 孙小涓 石涛 +3 位作者 胡玉新 佟继周 李冰 宋峣 《计算机应用》 CSCD 北大核心 2019年第6期1563-1568,共6页
针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基... 针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。 展开更多
关键词 流式计算 数据流 STORM 空间科学卫星 数据处理
在线阅读 下载PDF
RFID复杂事件处理技术 被引量:54
18
作者 谷峪 于戈 张天成 《计算机科学与探索》 CSCD 2007年第3期255-267,共13页
随着RFID技术的发展,RFID应用正无所不在。通过对RFID数据的深入处理和分析,可以发现更复杂的复合事件和隐含知识,从而有效地支持事件监控、事件预警等先进应用。由于RFID的特殊性,依靠现有的主动数据库技术和数据流管理技术难以实现高... 随着RFID技术的发展,RFID应用正无所不在。通过对RFID数据的深入处理和分析,可以发现更复杂的复合事件和隐含知识,从而有效地支持事件监控、事件预警等先进应用。由于RFID的特殊性,依靠现有的主动数据库技术和数据流管理技术难以实现高效的RFID事件检测和处理。分析了RFID数据的特点,归纳和总结了RFID复杂事件处理的最新技术,讨论了一些亟待解决的新问题,主要有RFID数据清洗方法、以数据为中心的检测技术、以事件为中心的检测技术,以及复杂事件处理系统等,并对今后的研究重点进行了展望。 展开更多
关键词 事件处理 数据库技术 检测技术 中心 应用 隐含知识 事件预警 事件检测 事件监控 清洗方法 管理技术 复合事件 处理系统 新技术 数据流
在线阅读 下载PDF
支持高并发数据流处理的MapReduce中间结果缓存 被引量:21
19
作者 亓开元 韩燕波 +1 位作者 赵卓峰 房俊 《计算机研究与发展》 EI CSCD 北大核心 2013年第1期111-121,共11页
针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的key/value中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种... 针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的key/value中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种基于概率的B树构造算法和多路查询算法,利用读写开销估算和缓冲区信息改造了外存文件读写策略和内外存替换算法,进一步优化了中间结果的高并发读写性能.算法分析和实验证明了该缓存的有效性. 展开更多
关键词 高并发 大规模数据处理 数据流处理 MAPREDUCE 中间结果缓存
在线阅读 下载PDF
计算机体系结构的统一模型 被引量:17
20
作者 沈绪榜 刘泽响 王茹 《计算机学报》 EI CSCD 北大核心 2007年第5期729-736,共8页
提出了一种计算机体系结构的统一模型,将基于数据流计算与基于构令流计算的体系结构统一到基于指令流计算的体系结构上来,命名为Unified-ISA模型.使基于数据流计算的ASIC电路与基于构令流计算的RCDevice电路的设计,统一为基于指令流计算... 提出了一种计算机体系结构的统一模型,将基于数据流计算与基于构令流计算的体系结构统一到基于指令流计算的体系结构上来,命名为Unified-ISA模型.使基于数据流计算的ASIC电路与基于构令流计算的RCDevice电路的设计,统一为基于指令流计算的SIMD PE阵列上的程序设计. 展开更多
关键词 PE阵列 数据流 指令流 时间映射 空间映射
在线阅读 下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部