题名 实时数据仓库体系架构的研究
被引量：18
1
作者
张俊 张忠能
机构
上海交通大学软件学院
出处
《计算机工程》
CAS
CSCD
北大核心
2004年第B12期180-182,共3页
文摘
传统数据仓库由ODS(Operational Data Stone)、数据仓库、数据集市和BI工具组成。实时数据仓库扩展了传统数据仓库的适用范围, 能给企业提供关于日常战术操作的技术支持。该文讨论了实时数据仓库的几种体系实现,并同传统数据仓库体系进行了比较和分析。通过对 需求、技术、性能等方面的分析。提出了比较可行的实时数据仓库体系结构。
关键词
数据仓库 传统数据仓库 实时数据仓库 数据 集市数据 挖掘
Keywords
Data warehouse Traditional data warehouse Real-time data warehouse Datamart Data mining
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 实时数据仓库中支持QoS的更新和查询任务调度
被引量：2
2
作者
师金钢 鲍玉斌 冷芳玲 于戈 王大玲
机构
东北大学信息科学与工程学院
出处
《小型微型计算机系统》
CSCD
北大核心
2011年第5期801-806,共6页
基金
国家自然科学基金项目(60773222)资助
文摘
实时数据仓库中,数据更新不再是定期批量执行,而是持续不间断地进行.因此更新与查询的执行调度成为了重要问题.提出一种支持服务质量(QoS)的更新和查询调度算法,定义了查询相关的QoS参数,包括期望的查询响应时间和可接受的实时数据延迟;根据查询任务的具体QoS要求,进行更新和查询的实时调度.实验证明该算法能够根据查询的具体QoS需求,合理地调整任务的执行顺序,为用户提供更快速的查询响应和更高的数据实时性.
关键词
实时数据仓库 服务质量 实时 调度数据 新鲜度
Keywords
real-time data warehouse QoS real-time scheduling data freshness
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 基于动态镜像的实时数据仓库存取预处理技术研究
被引量：6
3
作者
毛莺池 闵伟 接青 朱沥沥
机构
河海大学计算机与信息学院 河海大学淮安研究院
出处
《计算机科学》
CSCD
北大核心
2015年第12期130-135,共6页
基金
国家自然科学基金项目(61272543 U1301252) +3 种基金 国家科技支撑计划项目(2013BA B06B04) 中国华能集团公司总部科技项目(HNKJ13-H17-04) 云南省科技计划项目(2014GA007) 中央高校基本科研业务费专项资金(2015B22214)资助
文摘
实时数据仓库是数据仓库技术的重要分支,而实时数据查询和实时数据导入引发的查询竞争问题一直是实时数据仓库技术研究的重点之一。查询竞争问题严重影响了查询分析的精度和效率,还降低了数据仓库的性能。提出了一种在数据仓库外部构建动态存储区域的方法,它采用动态镜像技术,有效地缓解查询竞争问题。同时,为了提高实时OLAP上的查询分析操作的性能,提出了蝇量级物化方法及蝇量级物化下的表连接算法FWMJoin(FlyWeight Materialization Join)。基于TPC-H基准的实时数据仓库测试系统,针对动态镜像技术下的动态存储区域的OLAP性能进行分析与评估,并对实验结果进行总结。
关键词
查询竞争 动态镜像 实时数据仓库 联机在线分析
Keywords
Query contention, Dynamic mirror replication, Real-time data warehouse, OLAP
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 面向大型装备状态分析的分布式实时数据仓库构建技术
被引量：9
4
作者
刘彦均 封宇 武千惠 黄必清
机构
清华大学自动化系
出处
《计算机集成制造系统》
EI
CSCD
北大核心
2017年第10期2324-2333,共10页
基金
国家863计划资助项目(2015AA042102)~~
文摘
面向大型装备状态分析的数据仓库建设需求,在数据仓库维度建模理论、分布式消息队列、分布式流式计算的基础上,提出一种快速构建分布式实时数据仓库的方法。相比于传统数据仓库,提出了分布式实时数据仓库在数据生命周期的改进方法。研究提出一种面向多数据场景的、可快速迭代的、具有高扩展性与数据可靠性的分布式实时数据仓库构建方法。为支撑分布式实时数据仓库的数据云平台管理,总结了现有的三种集群自动化运维方法,并提出了对多种数据云平台集成的方法。
关键词
装备行业 状态数据 分布式集群 实时数据仓库 大数据 平台管理
Keywords
equipment industry status data~ distributed cluster real-time data warehouse big data platform man-agement
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 实时数据仓库中一种改进的数据流更新算法
被引量：2
5
作者
潘郑冰 戴牡红
机构
湖南大学软件学院
出处
《计算机工程》
CAS
CSCD
2014年第10期43-46,51,共5页
基金
湖南省自然科学基金资助项目(2011FJ3034)
文摘
为实现数据仓库中数据的高效集成,针对数据偏斜分布现象,提出一种改进的数据流更新算法EH-JOIN。该算法对传统散列连接方法进行改进,利用索引将部分频繁使用的主数据存储在内存中,解决了高速数据流下的磁盘频繁访问问题。实验结果表明,与MESHJOIN算法和R-MESHJOIN算法相比,EH-JOIN算法的服务速率在磁盘存储关系集保持适当大小时分别提高了96%和81%,在内存大小不同时提高了57%和48%。
关键词
实时数据仓库 数据 转换数据 流更新基于流的连接 哈希索引 偏斜分布
Keywords
real-time data warehouse data transformation data stream update stream-based join Hash index skewed distribution
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
题名 实时主动数据仓库中的变化数据捕捉研究综述
被引量：7
6
作者
林子雨 杨冬青 宋国杰 王腾蛟
机构
北京大学信息科学技术学院
出处
《计算机研究与发展》
EI
CSCD
北大核心
2007年第z3期447-451,共5页
基金
国家自然科学基金项目(60473015) 国家"八六三"高技术研究发展计划基金项目(2006AA12Z217) HP中国实验室联合项目
文摘
实时主动数据仓库是数据仓库的最新发展阶段和未来发展趋势,它为企业提供了对战略决策和战术决策的双重支持.实时主动数据仓库中包含两类数据,即实时数据和非实时数据,相应地,需要两种不同类型的变化数据捕捉方法,即支持实时变化数据捕捉的方法和普通的(不支持实时的)变化数据捕捉方法.结合在该领域的研究经验,对实时主动数据仓库中可以使用的多种变化数据捕捉方法进行了系统地论述,并比较各种方法的应用条件、优点、缺点和适用场合.
关键词
实时 主动数据仓库 变化数据 捕捉 非实时 数据
分类号
TP301
[自动化与计算机技术—计算机系统结构]
题名 实时主动数据仓库的概念、问题及应用
被引量：3
7
作者
宋国杰 杨冬青 林子雨 唐世渭 王腾蛟 谢昆青
机构
北京大学信息科学技术学院 北京大学视觉听觉信息处理国家重点实验室
出处
《计算机研究与发展》
EI
CSCD
北大核心
2007年第z3期441-446,共6页
基金
国家自然科学基金项目(60473015) 国家"八六三"高技术研究发展计划基金项目(2006AA12Z217) HP中国实验室联合项目
文摘
近年来,数据仓库技术在学术界和工业界都得到了广泛的关注.实时主动数据仓库(real time active data warehouse, RTADW)是数据仓库技术发展的一个新的阶段,具有十分广阔的应用前景.介绍了实时主动数据仓库的概念和特点,探讨了实时主动数据仓库的研究问题,并列举了一些典型应用.
关键词
实时 数据 集成主动决策 实时 主动数据仓库
分类号
TP311.13
[自动化与计算机技术—计算机软件与理论]
题名 实时主动数据仓库中面向需求的实时数据集成方法研究
被引量：3
8
作者
林子雨 杨冬青 宋国杰 王腾蛟
机构
北京大学信息科学技术学院
出处
《计算机研究与发展》
EI
CSCD
北大核心
2007年第z3期435-440,共6页
基金
国家自然科学基金项目(60473015) 国家"八六三"高技术研究发展计划基金项目(2006AA12Z217) HP中国实验室联合项目
文摘
实时数据集成是实时主动数据仓库研究领域的一个重要问题.现有的研究成果都是从技术角度出发,而并没有考虑具体的商务应用需求.而在大型商务应用中,即使采用过滤规则只捕捉感兴趣的变化数据,也会产生大量的数据集成工作,从而导致不必要的沉重系统开销,同时还很有可能出现系统响应缓慢和用户需求无法得到满足等情况.从应用角度出发,提出了实时主动数据仓库中面向需求的实时数据集成方法,包括被频繁请求的数据的实时集成、满足突发请求的实时数据集成和由用户决定的实时数据集成.针对不同的商务需求,采用不同的数据集成策略,可以很好地满足不同类型的应用需求.
关键词
实时 主动数据仓库 实时 数据 集成ETL
分类号
TP301
[自动化与计算机技术—计算机系统结构]
题名 基于图形处理器的并行方体计算
被引量：7
9
作者
周国亮 陈红 李翠平 王珊 郑涛
机构
教育部数据工程与知识工程重点实验室(中国人民大学) 中国人民大学信息学院 保定电力职业技术学院信息系
出处
《计算机学报》
EI
CSCD
北大核心
2010年第10期1788-1808,共21页
基金
国家"八六三"高技术研究发展计划项目基金(2008AA01Z120) 教育部高等学校博士学科点专项科研基金项目基金(20090004110002)资助~~
文摘
方体(cube)计算是数据仓库和联机分析处理(Online analytical processing,OLAP)领域的核心问题,如何提高方体计算性能获得了学术界和工业界的广泛关注,但目前大部分方体算法都没有考虑最新的处理器架构.近年来,处理器从单一计算核心进化为多个或许多个计算核心,如多核CPU、图形处理器(Graphic Processing Units,GPU)等.为了充分利用现代处理器的多核资源,该文提出了基于GPU的并行方体算法GPU-Cubing,算法采用自底向上、广度优先的划分策略,每次并行完成一个cuboid的计算并输出;在计算cuboid过程中多个分区同步处理,分区内多线程并行.GPU-Cubing算法适合GPU体系结构,并行度高.与BUC算法相比,基于真实数据集的完全方体计算可以获得一个数量级以上的加速比,冰山方体获得至少2倍以上的加速.
关键词
图形处理器 并行方体计算 实时数据仓库 联机分析处理
Keywords
graphic processing units parallel cube computation real-time data warehouse on-line analytical processing
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
题名 我国政府统计信息系统理论模型的构建
被引量：1
10
作者
杨美沂 林勇
机构
西北师范大学经济管理学院
出处
《统计与决策》
CSSCI
北大核心
2012年第5期4-7,共4页
基金
国家自然科学基金资助项目(70963011)
文摘
从信息管理角度考查,政府统计如何提高数据的生产、传递效率,是一项人们较少研究的课题。文章以政府统计信息系统为切入点,通过构建二级平台模型,即统一的数据采集管理平台上运行业务处理系统,实时数据仓库平台上运行数据查询和信息发布系统,提出了我国政府统计信息系统理论模型,而这一模型从理论到实践都迫切需要改革我国目前的政府统计管理。
关键词
政府统计信息系统 数据 采集管理平台实时数据仓库 平台政府统计管理
分类号
C829.23
[社会学—统计学]
C816
[社会学—统计学]
题名 可扩展的事件消息自动化处理方案
11
作者
齐文 鲍玉斌
机构
东北大学信息科学与工程学院 辽东学院信息技术学院
出处
《计算机工程》
CAS
CSCD
北大核心
2008年第24期82-84,共3页
基金
国家自然科学基金资助项目(60773222)
文摘
在实时数据仓库中,获取实时业务数据后,实时或及时的事件处理和决策自动化对实时数据仓库来说至关重要。该文针对仓库系统资源竞争问题,采用消息队列和改进的主动规则技术,提出一套可靠、可扩展并能解决系统负载平衡的异步事件驱动自动化处理方案,同时给出了一套使用高级队列中间件和J2EE技术的实践参考方案,实验结果证明该方案可行。
关键词
事件消息 消息队列 实时数据仓库 主动规则
Keywords
event message message queue real-time data warehouse active rule
分类号
TP311.5
[自动化与计算机技术—计算机软件与理论]
