基于分布式数据仓库的分类分析研究 被引量：10

1

作者 李伟卫 李梅 +1 位作者 张阳 申爱丽 《计算机应用研究》 CSCD 北大核心 2013年第10期2936-2939,2943,共5页

针对GAC-RDB分类算法只能应用于单机版数据仓库的局限性,为了能够更方便、快捷地在云计算平台上开展数据挖掘工作,基于分布式数据仓库HBase,结合GAC-RDB分类算法的实现机理,制定适合分布式平台的运行策略,使用原生HiveQL语言提出了一种... 针对GAC-RDB分类算法只能应用于单机版数据仓库的局限性,为了能够更方便、快捷地在云计算平台上开展数据挖掘工作,基于分布式数据仓库HBase,结合GAC-RDB分类算法的实现机理,制定适合分布式平台的运行策略,使用原生HiveQL语言提出了一种分布式GAC-RDB分类算法。实验显示,随着集群中节点的不断增加,算法的运行时间稳步下降。结果表明,在保证算法准确率的前提下,分布式数据仓库能够有效提高GACRDB分类算法的扩展性和运行效率,相对于MapReduce框架,HiveQL语言降低了对数据挖掘从业人员的技术要求,更大程度地减少了算法的开发时间,为挖掘海量数据提供了新的解决方案。 展开更多

关键词 数据挖掘 分布式数据仓库 分类分析 GAC—RDB HADOOP HBASE Hive

在线阅读 下载PDF 职称材料

基于分布式数据仓库的海洋动力环境立体监测信息服务研究 被引量：5

2

作者 樊明辉 杨殿生 +1 位作者 陈崇成 池天河 《仪器仪表学报》 EI CAS CSCD 北大核心 2007年第9期1706-1711,共6页

本文以海洋动力环境立体监测数据仓库及服务系统(MDSS)为例论述了一个贯穿数据层、信息层和服务层的多层次信息流平台,在数据层,设计了一个集成与应用众多监测平台的分布式数据仓库系统,在信息层,给出了信息共享的网络发布方案,在服务层... 本文以海洋动力环境立体监测数据仓库及服务系统(MDSS)为例论述了一个贯穿数据层、信息层和服务层的多层次信息流平台,在数据层,设计了一个集成与应用众多监测平台的分布式数据仓库系统,在信息层,给出了信息共享的网络发布方案,在服务层,为了满足不同层次的需要设计实现了数据级和分析级两个级别的信息服务并对其进行了详尽的分析,最后给出了系统实现的典型界面和一个地波雷达数据分析的实例。 展开更多

关键词 集成 分布式数据仓库 信息共享 信息服务

在线阅读 下载PDF 职称材料

面向集团型企业的混合型分布式数据仓库构建 被引量：15

3

作者 韩览山 邵贝恩 《计算机集成制造系统-CIMS》 EI CSCD 北大核心 2003年第1期80-84,共5页

越来越多的集团型企业迫切需要分布式数据管理和多层次决策支持,因而对数据仓库的实现技术提出了新的要求。本文的目的是寻求一种能适应集团型企业特点的数据仓库方案。分析了传统的集中式数据仓库的不足,在此基础上,提出混合型分布式... 越来越多的集团型企业迫切需要分布式数据管理和多层次决策支持,因而对数据仓库的实现技术提出了新的要求。本文的目的是寻求一种能适应集团型企业特点的数据仓库方案。分析了传统的集中式数据仓库的不足,在此基础上,提出混合型分布式数据仓库的概念和体系结构,结合JW-DSS工程项目,讨论了该方案中的关键技术,包括元数据分布、数据抽取、联机分析处理、用户管理的策略等。 展开更多

关键词 集团型企业 混合型分布式数据仓库 数据库系统 元数据分布 联机分析处理

在线阅读 下载PDF 职称材料

基于Web的分布式数据仓库体系结构的研究 被引量：3

4

作者 关文革 武强 +1 位作者 安海忠 硕良勋 《计算机应用研究》 CSCD 北大核心 2004年第6期64-66,共3页

随着数据仓库技术的发展 ,人们对数据仓库体系结构研究的兴趣越来越浓厚 ,数据仓库体系结构选取是否合理 ,将直接关系到整个数据仓库的成败。在分析客户机、服务器数据仓库体系结构的基础上 ,将XML、智能Agent技术引入到数据仓库中 。

关键词 WEB 分布式数据仓库 体系结构 XML 智能AGENT

在线阅读 下载PDF 职称材料

基于分布式系统概念的分布式数据仓库 被引量：4

5

作者 洪龙 周宁宁 朱梧槚 《计算机应用研究》 CSCD 北大核心 2004年第4期183-185,共3页

以分布式系统的概念,描述了以主题分布为特点的分布式数据仓库,建立了节点主题处理原则,论述了此种分布式数据仓库的特点,并与Inmon先生描述的分布式数据仓库进行了特征比较。此外,还简要地分析了节点仓库与数据集市的异同,构建分布式... 以分布式系统的概念,描述了以主题分布为特点的分布式数据仓库,建立了节点主题处理原则,论述了此种分布式数据仓库的特点,并与Inmon先生描述的分布式数据仓库进行了特征比较。此外,还简要地分析了节点仓库与数据集市的异同,构建分布式数据仓库的方法与费用,从而指出分布式数据仓库应用的乐观前景。 展开更多

关键词 分布式数据仓库 节点仓库 分布式系统 数据集市 节点主题处理原则

在线阅读 下载PDF 职称材料

企业集团分布式数据仓库及决策支持系统研究 被引量：6

6

作者 宋旭东 刘晓冰 《计算机工程与应用》 CSCD 北大核心 2009年第31期207-210,共4页

为了构建支持企业集团决策分析的信息系统,分析了企业集团决策支持系统信息模型,给出了面向整个集团的基于分布式数据仓库的企业集团决策支持系统的体系结构;通过定义决策方案模型及决策任务模型,提出了模型驱动的企业集团决策支持系统... 为了构建支持企业集团决策分析的信息系统,分析了企业集团决策支持系统信息模型,给出了面向整个集团的基于分布式数据仓库的企业集团决策支持系统的体系结构;通过定义决策方案模型及决策任务模型,提出了模型驱动的企业集团决策支持系统解决方案,并给出了决策任务模型并行执行算法。应用表明,该体系结构是可行且有效的。 展开更多

关键词 企业集团 分布式数据仓库 决策任务模型 决策支持系统

在线阅读 下载PDF 职称材料

省级森林资源动态监测分布式数据仓库的初步研究 被引量：5

7

作者 杨卫民 谭骏珊 《林业科技》 北大核心 2007年第2期12-14,共3页

针对省级数字林业信息化建设中涉及到的森林资源管理和决策支持等问题,提出了建立全省范围的森林资源分布式数据仓库的方案,给出了它的体系结构并探讨了该方案中的关键技术,包括元数据的分布、数据抽取和联机分析处理等。

关键词 分布式数据仓库 决策支持 信息管理 联机分析处理

在线阅读 下载PDF 职称材料

集团企业分布式数据仓库构建 被引量：1

8

作者 陈建辉 聂荣 《现代情报》 北大核心 2008年第7期200-202,共3页

面对集团企业需要分布式数据管理和多层次决策支持的问题,文中给出一种满足集团企业需要的分布式数据仓库构建方案。文章首先介绍了分布式数据仓库的概念,然后说明了分布式数据仓库在集团企业中应用的优势,最后给出了面向集团企业的分... 面对集团企业需要分布式数据管理和多层次决策支持的问题,文中给出一种满足集团企业需要的分布式数据仓库构建方案。文章首先介绍了分布式数据仓库的概念,然后说明了分布式数据仓库在集团企业中应用的优势,最后给出了面向集团企业的分布式数据仓库系统的总体框架和系统结构。 展开更多

关键词 分布式数据仓库 集团企业 决策支持系统

在线阅读 下载PDF 职称材料

分布式数据仓库的一种聚集运算算法

9

作者 李强 王秀坤 +2 位作者 赫然 孟凡辉 唐一源 《计算机工程》 CAS CSCD 北大核心 2006年第4期91-93,共3页

考虑了分布式数据仓库的星型模式及数据分段的特点,在各站点对分组关键字进行编码压缩,并采用分布式聚集运算的方法,最后在请求站点生成完整的分组聚集结果,以降低站点内的排序费用,减少站点间传输的元组大小和数目,从而降低了站点内的... 考虑了分布式数据仓库的星型模式及数据分段的特点,在各站点对分组关键字进行编码压缩,并采用分布式聚集运算的方法,最后在请求站点生成完整的分组聚集结果,以降低站点内的排序费用,减少站点间传输的元组大小和数目,从而降低了站点内的处理代价和站点间的数据传输费用,提高了分布式数据仓库分组聚集运算的效率。 展开更多

关键词 分布式数据仓库 聚集运算 星型模式

在线阅读 下载PDF 职称材料

大型商业银行基于Hadoop分布式数据仓库建设初探 被引量：3

10

作者 杨頲 韩路 +1 位作者 许勤 孙元浩 《计算机应用与软件》 2017年第8期72-75,113,共5页

商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyper... 商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作。该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理。应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率。 展开更多

关键词 分布式数据仓库 HADOOP 数据批处理 历史数据查询 交互式分析

在线阅读 下载PDF 职称材料

分布式通信网络管理数据仓库的构建 被引量：2

11

作者 李虎 张献春 叶酉荪 《计算机工程与设计》 CSCD 2004年第8期1275-1277,共3页

通信网络管理系统中积累了大量的操作型网络管理信息数据,这为数据仓库的应用创造了良好的条件。同时,为了对各级通信网络管理中心分别提供不同层次的管理决策支持,建立和维护一个分布式数据仓库环境显得非常必要。根据通信网络管理的... 通信网络管理系统中积累了大量的操作型网络管理信息数据,这为数据仓库的应用创造了良好的条件。同时,为了对各级通信网络管理中心分别提供不同层次的管理决策支持,建立和维护一个分布式数据仓库环境显得非常必要。根据通信网络管理的特点和实际需求,设计了一个3级分布式通信网络管理数据仓库的结构模型,并对该模型进行了数据划分,最后研究确定了一个“自底向上”的开发策略。 展开更多

关键词 分布式数据仓库 分布式通信 网络管理 数据划分 自底向上 管理中心 通信网络 管理决策 开发策略 需求

在线阅读 下载PDF 职称材料

基于统计方法的Hive数据仓库查询优化实现 被引量：16

12

作者 王有为 王伟平 孟丹 《计算机研究与发展》 EI CSCD 北大核心 2015年第6期1452-1462,共11页

Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型（computation balanced model,CBM）,其核心... Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型（computation balanced model,CBM）,其核心思想是通过数据分布特征指导查询计划优化。相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题。实验数据表明,通过CBM优化的GroupBy查询耗时节省了8%～45%,Join查询耗时节省了12%～46%;集群CPU负载均衡指标优化了60%～80%,I/O负载均衡指标优化了60%～90%。实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率。 展开更多

关键词 海量数据离线处理 分布式数据仓库 负载均衡 统计信息收集 查询优化

在线阅读 下载PDF 职称材料

一种改进的分布式ETL体系结构 被引量：5

13

作者 夏秀峰 张亮 +1 位作者 石祥滨 徐蕾 《计算机应用与软件》 CSCD 2010年第4期174-176,共3页

在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一... 在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一致性维护模块(M模块)的设计与实现。ETLM的体系结构免去了分布式数据仓库需要专门进行一致性维护的额外负担,可以更加正确、快捷、高效地支持OLAP。 展开更多

关键词 分布式ETL 体系结构 分布式数据仓库

在线阅读 下载PDF 职称材料

基于数据仓库的军事后勤决策支持系统研究 被引量：4

14

作者 郭和伟 孙德宝 +1 位作者 秦元庆 冀亚林 《系统工程与电子技术》 EI CSCD 北大核心 2003年第6期763-766,共4页

针对以往军事后勤决策支持系统 (decisionsupportsystem ,DSS)在管理上的不足 ,提出了基于数据仓库的军事后勤决策支持系统 (DSS)。给出了数据仓库的概念以及在线事务处理 (onlinetransactionprocessing,OLTP)与在线分析处理 (onlineana... 针对以往军事后勤决策支持系统 (decisionsupportsystem ,DSS)在管理上的不足 ,提出了基于数据仓库的军事后勤决策支持系统 (DSS)。给出了数据仓库的概念以及在线事务处理 (onlinetransactionprocessing,OLTP)与在线分析处理 (onlineanalysisprocessing ,OLAP)的区别与联系。构建了军事后勤DSS的应用体系结构 ,对各部分的功能作了介绍 ,设计了军事后勤数据仓库和数据集市的初步框架以及用分布式数据库和分布式数据仓库实现整个后勤数据仓库的构想 。 展开更多

关键词 军事后勤 决策支持系统 数据集市 分布式数据仓库

在线阅读 下载PDF 职称材料