期刊文献+
共找到7篇文章
< 1 >
每页显示 20 50 100
基于模型驱动的ETL模型映射方法 被引量:1
1
作者 姚全珠 白敏 黄蔚 《计算机工程》 CAS CSCD 北大核心 2009年第19期91-93,96,共4页
针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了... 针对AP模型的特点,给出元模型中对象的形式化定义,优化模型映射算法,提出一种基于模型驱动、从概念模型到逻辑模型的映射方法。改进后的算法能够映射基于数据抽取-加载-转换(ETL)工作流的单源数据或多源数据,并发执行各状态节点,提高了执行的效率。实验结果表明,该方法为模型驱动式ETL设计及数据集成中快速实现ETL奠定了良好基础。 展开更多
关键词 数据抽取-加载-转换技术 逻辑模型 概念模型 数据集成
在线阅读 下载PDF
基于ETL技术的电网运行全景建模 被引量:2
2
作者 梁寿愚 周华锋 李矛 《南方电网技术》 2012年第4期53-56,共4页
在南方电网开展的一体化电网运行智能系统研究和建设中,针对电力二次系统数据的多样性和孤立性现状,提出了利用ETL技术处理信息共享的方案。该方案将多系统模型数据抽取、转换并集成到统一的电网全景模型中为多系统所共用,其正确性和有... 在南方电网开展的一体化电网运行智能系统研究和建设中,针对电力二次系统数据的多样性和孤立性现状,提出了利用ETL技术处理信息共享的方案。该方案将多系统模型数据抽取、转换并集成到统一的电网全景模型中为多系统所共用,其正确性和有效性在实践中得到了验证。 展开更多
关键词 电网运行智能系统 数据集成 全景模型 etl技术
在线阅读 下载PDF
基于Hadoop技术的加速器大数据安全存储与高效分析系统设计 被引量:9
3
作者 赵子晨 杨锋 +3 位作者 郭玉辉 陈又新 李钊扬 刘海涛 《现代电子技术》 北大核心 2024年第8期9-17,共9页
为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬... 为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。 展开更多
关键词 数据仓库 Hadoop技术 加速器 大数据 安全存储 HBASE etl
在线阅读 下载PDF
基于气象大数据云平台的政务区数据同步技术研究 被引量:1
4
作者 朱辉 冯勇 《现代电子技术》 北大核心 2024年第10期96-100,共5页
随着气象大数据的快速发展和山东数字强省建设的深入推进,气象数据在地方政府的发展和决策制定中发挥着越来越重要的作用。为了满足政府数据应用的需求,提出一种基于气象大数据云平台的高效、安全、可靠的数据同步方案,以实现政务区的... 随着气象大数据的快速发展和山东数字强省建设的深入推进,气象数据在地方政府的发展和决策制定中发挥着越来越重要的作用。为了满足政府数据应用的需求,提出一种基于气象大数据云平台的高效、安全、可靠的数据同步方案,以实现政务区的数据同步,提升气象数据服务能力和信息化水平。依据气象数据的类型和特点,将其划分为一般结构化数据、特色结构化数据和非结构化数据三类,针对每类数据提出了相应的同步技术方案,构建了针对政务区数据同步的综合解决方案,并以山东省气象数据为例进行了实验分析。结果表明,所提方案具备高度可行性、有效性和安全性,可为政府决策提供强有力的数据支撑。 展开更多
关键词 气象大数据云平台 数据同步 政务DMZ区 Binlog日志同步技术 etl同步技术 消息路由技术
在线阅读 下载PDF
数字化车间多源异构质量数据集成方案研究 被引量:7
5
作者 张培 黄智源 +3 位作者 陈琨 范营营 崔冰华 于艳鹏 《现代制造工程》 CSCD 北大核心 2015年第1期59-65,共7页
针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性... 针对数字化制造中多源异构质量数据信息量大且缺乏统一、规范和标准化数据管理的问题,提出一种基于面向对象技术和基于映像的数据抽取、转换和加载(Extract-Transform-Load,ETL)技术的异构数据集成方案,该方案简单实用,具有很高的通用性,可提高异构数据的提取精度,有效地解决多源异构质量数据集成问题。 展开更多
关键词 数字化制造 多源异构 面向对象技术 映像 数据抽取 转换和加载(etl) 数据集成
在线阅读 下载PDF
基于DM的科技计划项目绩效评价系统的设计 被引量:2
6
作者 张华波 郝平 +1 位作者 金永夫 郑国全 《控制工程》 CSCD 北大核心 2009年第S3期114-116,共3页
针对目前的科技计划项目绩效评价系统存在的评价模型构建难、不具备数据挖掘和知识发现的功能等问题,提出一种基于数据挖掘技术的科技计划项目绩效评价系统的设计方法,给出了科技计划项目绩效评价系统的总体架构图、总体功能设计框图以... 针对目前的科技计划项目绩效评价系统存在的评价模型构建难、不具备数据挖掘和知识发现的功能等问题,提出一种基于数据挖掘技术的科技计划项目绩效评价系统的设计方法,给出了科技计划项目绩效评价系统的总体架构图、总体功能设计框图以及针对两图的设计思路,并对绩效评价所涉及到的ETL数据处理技术、绩效评价模型构建方法进行了研究。运用一种决策树技术和一种基于偏好系数的组合赋权法技术分别实现优化绩效评价模型的指标体系和指标权重的目标。该方法经过某一地市级的科技计划项目的绩效评价,结果显示该方法具有良好的使用效果。 展开更多
关键词 数据挖掘 etl 科技计划项目 绩效评价
在线阅读 下载PDF
面向钢铁行业的能源信息流综合集成框架 被引量:1
7
作者 张福生 柳先辉 丁毅 《计算机应用》 CSCD 北大核心 2011年第A02期147-148,180,共3页
针对目前大型长流程钢铁企业,能源转化关系复杂、能源信息离散等问题,对钢铁生产工序的能源消耗转化和能源信息流动进行了分析研究,提出了一种能源信息流综合集成解决方案。该方案有效地解决企业能源信息孤岛问题。
关键词 数据抽取 转换 集成 XML etl BizTalk技术
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部