期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于动态时间窗格的数据仓库流批一体优化方法
1
作者
陈滨林
唐小勇
《计算机应用研究》
北大核心
2025年第8期2460-2466,共7页
数据仓库是企业数据管理核心,批处理和流处理是大数据分析的两种核心数据处理范式。为了解决传统批处理技术产出时延和资源消耗高的问题,以及流处理技术在处理多流数据关联和历史数据计算时面临的数据质量挑战,提出了一种流批一体处理...
数据仓库是企业数据管理核心,批处理和流处理是大数据分析的两种核心数据处理范式。为了解决传统批处理技术产出时延和资源消耗高的问题,以及流处理技术在处理多流数据关联和历史数据计算时面临的数据质量挑战,提出了一种流批一体处理方法。所提方法通过分析数据集在不同时间窗格中的变化,融合了基于调度时间的动态时间窗格划分和基于DFS算法的最简数据集搜索。实验结果表明,与主流微批处理方法相比,该方法将整体计算时间缩短57.2%,内存消耗减少24.2%,同时确保了数据的强一致性。该方法对于企业构建高处理效率、低资源消耗的流批一体化数据仓库具有重要参考价值。
展开更多
关键词
数据
仓库
数据
流处理
动态时间窗格
最简数据集
流批一体化
在线阅读
下载PDF
职称材料
题名
基于动态时间窗格的数据仓库流批一体优化方法
1
作者
陈滨林
唐小勇
机构
长沙理工大学计算机与通信工程学院
出处
《计算机应用研究》
北大核心
2025年第8期2460-2466,共7页
基金
国家自然科学基金资助项目(62372064)。
文摘
数据仓库是企业数据管理核心,批处理和流处理是大数据分析的两种核心数据处理范式。为了解决传统批处理技术产出时延和资源消耗高的问题,以及流处理技术在处理多流数据关联和历史数据计算时面临的数据质量挑战,提出了一种流批一体处理方法。所提方法通过分析数据集在不同时间窗格中的变化,融合了基于调度时间的动态时间窗格划分和基于DFS算法的最简数据集搜索。实验结果表明,与主流微批处理方法相比,该方法将整体计算时间缩短57.2%,内存消耗减少24.2%,同时确保了数据的强一致性。该方法对于企业构建高处理效率、低资源消耗的流批一体化数据仓库具有重要参考价值。
关键词
数据
仓库
数据
流处理
动态时间窗格
最简数据集
流批一体化
Keywords
data warehouse
data stream processing
dynamic time windows
minimal dataset
stream-batch integration
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于动态时间窗格的数据仓库流批一体优化方法
陈滨林
唐小勇
《计算机应用研究》
北大核心
2025
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
