期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于有状态实时流的流批一体数据处理平台的设计与研究
被引量：
1
1
作者
周维
曹扬
+1 位作者
谢红韬
胡建
《现代信息科技》
2024年第6期29-34,共6页
当今,数据的规模和复杂性不断增加,对数据处理平台的要求也越来越高。传统的批处理和实时处理技术各有优缺点,很难满足大规模数据处理的需求。因此,流批一体化的数据处理平台应运而生。文章在讨论流批一体核心架构设计的基础上,提出一...
当今,数据的规模和复杂性不断增加,对数据处理平台的要求也越来越高。传统的批处理和实时处理技术各有优缺点,很难满足大规模数据处理的需求。因此,流批一体化的数据处理平台应运而生。文章在讨论流批一体核心架构设计的基础上,提出一种基于有状态实时流的流批一体数据处理方法,并通过平台化的方式实现流批一体数据的处理与计算。该平台先后在四川高速集团、贵阳政府单位示范应用,应用结果表明平台不仅统一了批处理和流处理框架,而且具有高效、可靠、可扩展等优点,同时能够满足大规模数据处理的需求。该平台的实现对于提高数据处理效率和准确性具有重要意义。
展开更多
关键词
批处理
有状态实时流
平台化
流
批一体
在线阅读
下载PDF
职称材料
题名
基于有状态实时流的流批一体数据处理平台的设计与研究
被引量：
1
1
作者
周维
曹扬
谢红韬
胡建
机构
中电科大数据研究院有限公司
提升政府治理能力大数据应用技术国家工程研究中心
出处
《现代信息科技》
2024年第6期29-34,共6页
基金
国家自然科学基金(U19B2027)。
文摘
当今,数据的规模和复杂性不断增加,对数据处理平台的要求也越来越高。传统的批处理和实时处理技术各有优缺点,很难满足大规模数据处理的需求。因此,流批一体化的数据处理平台应运而生。文章在讨论流批一体核心架构设计的基础上,提出一种基于有状态实时流的流批一体数据处理方法,并通过平台化的方式实现流批一体数据的处理与计算。该平台先后在四川高速集团、贵阳政府单位示范应用,应用结果表明平台不仅统一了批处理和流处理框架,而且具有高效、可靠、可扩展等优点,同时能够满足大规模数据处理的需求。该平台的实现对于提高数据处理效率和准确性具有重要意义。
关键词
批处理
有状态实时流
平台化
流
批一体
Keywords
batch processing
stateful real-time flow
platformization
flow batch integration
分类号
TP311.1 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于有状态实时流的流批一体数据处理平台的设计与研究
周维
曹扬
谢红韬
胡建
《现代信息科技》
2024
1
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
