基于Hadoop技术的加速器大数据安全存储与高效分析系统设计 被引量：5

1

作者 赵子晨 杨锋 +3 位作者 郭玉辉 陈又新 李钊扬 刘海涛 《现代电子技术》 北大核心 2024年第8期9-17,共9页

为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬... 为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。 展开更多

关键词 数据仓库 hadoop技术 加速器 大数据 安全存储 HBASE ETL

在线阅读 下载PDF 职称材料

基于Hadoop技术的大数据分析应用系统的研究与设计 被引量：13

2

作者 鲁志芳 《电子设计工程》 2019年第16期11-14,19,共5页

传统的信息处理技术已难以满足现代数据处理的要求。因此,文中针对云计算时代数据处理计算量大、实时性要求高的特点,研究了基于Hadoop技术的大数据分析应用系统。该系统以Hadoop技术为基本框架,采用HDFS系统作为数据存储的基本单元。... 传统的信息处理技术已难以满足现代数据处理的要求。因此,文中针对云计算时代数据处理计算量大、实时性要求高的特点,研究了基于Hadoop技术的大数据分析应用系统。该系统以Hadoop技术为基本框架,采用HDFS系统作为数据存储的基本单元。并在此基础上,利用Hive方式建立新的数据库系统,结合MySQL数据管理系统和Kylin进行数据分析系统完成对数据的获取、存储、分析、管理功能。最后,通过大数据可视化系统和大数据报表分析系统完成对数据分析结果的呈现。本研究内容对实现大数据的管理和分析具有重要意义。 展开更多

关键词 大数据 hadoop技术 数据存储 数据管理 数据分析

在线阅读 下载PDF 职称材料

基于Hadoop技术的高校数据分析系统研究

3

作者 王利祥 杜国真 文丛 《通讯世界》 2020年第11期75-76,共2页

本文采用主流的Hadoop框架对校园环境中学生产生的海量数据进行加工、存储、分析和展示,分别研究了Hadoop技术在高校学生行为分析系统中的应用,搭建基于Hadoop技术的高校学生行为分析系统的总体框架、关键算法的同时解决了校园的上层应... 本文采用主流的Hadoop框架对校园环境中学生产生的海量数据进行加工、存储、分析和展示,分别研究了Hadoop技术在高校学生行为分析系统中的应用,搭建基于Hadoop技术的高校学生行为分析系统的总体框架、关键算法的同时解决了校园的上层应用系统中数据结构和数据格式不统一的问题,完成了整个高校信息环境中数据的分布式存储和异构处理,实现了数据挖掘技术在校园数据中的应用和分析,为教师教学及科研、学生发展及动态分析提供重要依据。 展开更多

关键词 大数据技术 行为分析 hadoop技术 数据分析

在线阅读 下载PDF 职称材料

基于Hadoop技术的云存储平台的构建

4

作者 陈克明 《无线互联科技》 2016年第12期53-55,共3页

随着企业用户所需存储的临时文件数量不断增加,目前所有的文件存储设备已经没有办法满足企业业务的需求。针对这个问题,笔者提出了以Hadoop技术为基础,构建企业云存储平台的概念,并通过Linex集群技术与云计算框架等技术来最终完成大量... 随着企业用户所需存储的临时文件数量不断增加,目前所有的文件存储设备已经没有办法满足企业业务的需求。针对这个问题,笔者提出了以Hadoop技术为基础,构建企业云存储平台的概念,并通过Linex集群技术与云计算框架等技术来最终完成大量数据的存储。云存储平台主要适合应用在关键业务中以及企业事务的在案处理。云存储平台能够满足企业随着业务增长而不断变化的需求,数据规模更加容易扩展。 展开更多

关键词 hadoop技术 云存储平台 云计算

在线阅读 下载PDF 职称材料

基于Hadoop技术的物联网大数据同步存储系统设计 被引量：2

5

作者 邹文景 唐良运 +1 位作者 甘莹 孙刚 《电子设计工程》 2023年第18期114-117,122,共5页

目前研究的物联网大数据同步存储系统,对于海量物联网数据的存储效率低、同步性差,不利于数据安全、稳定且高效的存储,难以满足动态存储需求,为了解决上述问题,基于Hadoop技术设计了一种新的物联网大数据同步存储系统。集合采集单元、... 目前研究的物联网大数据同步存储系统,对于海量物联网数据的存储效率低、同步性差,不利于数据安全、稳定且高效的存储,难以满足动态存储需求,为了解决上述问题,基于Hadoop技术设计了一种新的物联网大数据同步存储系统。集合采集单元、处理器、存储器构建硬件平台,完善系统接口设计,合理设计软件程序,进一步提升系统的实际应用性能,并采用加密算法对存储数据进行加密处理,保证数据存储的安全性。实验结果表明,针对海量物联网数据,基于Hadoop技术的物联网大数据同步存储系统能够有效提高数据存储的同步性和存储效率,减少数据存储时延。 展开更多

关键词 hadoop技术 物联网大数据 同步存储 存储系统

在线阅读 下载PDF 职称材料

基于Hadoop技术的商业银行数据审计模式研究 被引量：1

6

作者 张博宇 《中国内部审计》 2019年第5期33-37,共5页

商业银行各业务领域大多采用基于关系型数据库的集中统一信息管理模式,为审计工作逐渐由传统的抽样现场审计模式向数据审计模式转变提供了新的发展契机。Hadoop作为一个高效、扩展性强、应用灵活的技术载体,与数据审计的需求相契合,对... 商业银行各业务领域大多采用基于关系型数据库的集中统一信息管理模式,为审计工作逐渐由传统的抽样现场审计模式向数据审计模式转变提供了新的发展契机。Hadoop作为一个高效、扩展性强、应用灵活的技术载体,与数据审计的需求相契合,对于数据审计的开展具有十分重要的意义。 展开更多

关键词 商业银行 数据审计 结构化 hadoop技术

在线阅读 下载PDF 职称材料

基于Hadoop技术的精品资源共享课建设

7

作者 马书杰 《电子质量》 2013年第9期43-45,共3页

该文通过搭建基于Hadoop技术的服务器集群,并开发设计基于此集群的精品资源共享课系统,有效解决了精品资源共享课在面临海量数据时的存储与展示问题及面对突发高访问量时的系统稳定、流畅的运行问题。

关键词 hadoop技术 服务器集群 资源共享平台

在线阅读 下载PDF 职称材料

基于Hadoop技术的广电大数据平台构建

8

作者 卢建丽 杨轩 《数字传媒研究》 2017年第2期52-56,共5页

随着互联网时代传播载体和传播内容的快速增长,特别是网络电视和视频网站的快速发展,广播电视体系受到了强烈的冲击。在大数据时代背景下,如何利用大数据为用户提供更加优质的服务,成为摆在广电人面前的一个新课题。本文就如何基于Hadoo... 随着互联网时代传播载体和传播内容的快速增长,特别是网络电视和视频网站的快速发展,广播电视体系受到了强烈的冲击。在大数据时代背景下,如何利用大数据为用户提供更加优质的服务,成为摆在广电人面前的一个新课题。本文就如何基于Hadoop技术构建广电大数据平台,通过挖掘海量数据,为用户提供个性化服务,增强广电行业的核心竞争力,提出建议。 展开更多

关键词 hadoop技术 大数据 广电网络

在线阅读 下载PDF 职称材料

Hadoop大数据技术应用分析 被引量：21

9

作者 石方夏 高屹 《现代电子技术》 2021年第19期153-157,共5页

Hadoop等一些大数据处理平台的出现在一定程度上为人们处理大数据提供了可能与方便,但也存在一些不足。文中利用个例应用和归纳总结相结合的方法,从底层应用入手对Hadoop的主要构件HDFS、MapReduce及其生态环境进行介绍,阐述了其运行机... Hadoop等一些大数据处理平台的出现在一定程度上为人们处理大数据提供了可能与方便,但也存在一些不足。文中利用个例应用和归纳总结相结合的方法,从底层应用入手对Hadoop的主要构件HDFS、MapReduce及其生态环境进行介绍,阐述了其运行机制及原理。对目前Hadoop的应用场景作了详细的论述,并对其在使用过程中存在的问题进行了总结,最后给出这些问题目前的研究状况及部分解决方案。后期的使用证明,该方案可在一定程度上解决使用Hadoop过程中所遇到的问题。 展开更多

关键词 hadoop大数据技术 应用分析 数据存储 数据处理 分布式文件系统 数据分析

在线阅读 下载PDF 职称材料

基于Hadoop的视频摘要技术的设计

10

作者 马元元 《中国新通信》 2017年第10期74-75,共2页

随着现代社会的高速发展,公共安全面临着巨大的隐患,相应的视频监控也广布在了城市的各处。传统的利用人工快进和倒退,在海量的视频摘要中提取有用的图像和镜头不仅耗费大量的人力和物力,容错的效率也成为了急于要解决的问题。本文正是... 随着现代社会的高速发展,公共安全面临着巨大的隐患,相应的视频监控也广布在了城市的各处。传统的利用人工快进和倒退,在海量的视频摘要中提取有用的图像和镜头不仅耗费大量的人力和物力,容错的效率也成为了急于要解决的问题。本文正是基于上述问题,对Hadoop的视频摘要技术的设计进行研究,并对如何利用Hadoop集群对视频摘要的图像进行高速、准确提取这一问题进行论述。 展开更多

关键词 视频摘要 图像提取 hadoop集群技术 显著特征检测算法

在线阅读 下载PDF 职称材料

基于R＋Hadoop的中药材大数据的分析及预测 被引量：10

11

作者 朱昶胜 王莎莎 王永贤 《兰州理工大学学报》 CAS 北大核心 2017年第1期98-103,共6页

Hadoop具有海量数据并行存储能力和高效并行计算架构,但缺乏数据建模和数据统计能力.针对Hadoop架构的数据统计分析能力的局限性,结合R语言和Hadoop框架的优点,提出一种基于R+Hadoop环境的大数据分析及预测方法.以甘肃惠森药业电子商务... Hadoop具有海量数据并行存储能力和高效并行计算架构,但缺乏数据建模和数据统计能力.针对Hadoop架构的数据统计分析能力的局限性,结合R语言和Hadoop框架的优点,提出一种基于R+Hadoop环境的大数据分析及预测方法.以甘肃惠森药业电子商务平台"药材盈"采集的大数据为例,通过采用Hadoop集群并行处理中药材文本数据、RHadoop进行预处理并获取样本数据、R语言对样本数据建模,获得较为可靠的预测中药材市场价格的模型,对中药材市场价格的变化规律及影响因素进行分析和预测.采用线性模型和决策树模型对中药材大数据进行建模,并通过实验验证和比较得到预测中药材市场价格的最佳模型. 展开更多

关键词 中药材 R语言 数据建模 hadoop技术 决策树

在线阅读 下载PDF 职称材料

Hadoop计算存储分离架构技术应用研究

12

作者 刘斌 《信息通信》 2020年第5期220-222,共3页

伴随经济的发展,信息数据量急剧增加,对传统计算与存储融合架构发起了强有力的挑战。文章阐述了传统计算与存储融合架构面临的弊端,并介绍了计算与存储分离架构技术的概念、主要技术优势特点。同时通过工程实际案例对两种技术进行了对... 伴随经济的发展,信息数据量急剧增加,对传统计算与存储融合架构发起了强有力的挑战。文章阐述了传统计算与存储融合架构面临的弊端,并介绍了计算与存储分离架构技术的概念、主要技术优势特点。同时通过工程实际案例对两种技术进行了对比分析。 展开更多

关键词 计算存储分离 EC校验 hadoop存储技术

在线阅读 下载PDF 职称材料

基于用户行为的勘探数据推送技术研究与实践

13

作者 李玲 隋国华 +1 位作者 李鹏 刘长治 《信息技术与信息化》 2018年第10期172-175,共4页

本文研究了常用数据推荐技术中的协同过滤算法,搭建了HADOOP大数据存储及计算技术框架,对海量用户访问数据行为进行了统计分析,建立用户兴趣度计算模型,并通过协同过滤算法完成了兴趣度预测,创建了基于用户行为的数据推送模型,探索实践... 本文研究了常用数据推荐技术中的协同过滤算法,搭建了HADOOP大数据存储及计算技术框架,对海量用户访问数据行为进行了统计分析,建立用户兴趣度计算模型,并通过协同过滤算法完成了兴趣度预测,创建了基于用户行为的数据推送模型,探索实践了基于用户行为进行定制化信息推送的技术路线。 展开更多

关键词 hadoop技术架构 用户行为 兴趣度计算 数据推送模型

在线阅读 下载PDF 职称材料

数字媒体技术在蒙古族动漫素材库构建中的应用研究

14

作者 王佳 《无线互联科技》 2017年第4期94-95,共2页

而数字媒体技术的发展因融合了艺术与科技,契合了蒙古动漫产业发展的现实需求,文章即以数字媒体技术的特征与应用优势为切入点,通过分析动漫素材库构建的目标和内容,应用云计算技术和Hadoop技术实现了云存储库和访问平台的构建,对于加... 而数字媒体技术的发展因融合了艺术与科技,契合了蒙古动漫产业发展的现实需求,文章即以数字媒体技术的特征与应用优势为切入点,通过分析动漫素材库构建的目标和内容,应用云计算技术和Hadoop技术实现了云存储库和访问平台的构建,对于加速蒙古族动漫事业的发展具有重要意义。 展开更多

关键词 数字媒体技术 蒙古族 hadoop技术 动漫素材库

在线阅读 下载PDF 职称材料

人工智能技术驱动的纺纱质量预测研究进展 被引量：5

15

作者 赵薇玲 章军辉 +2 位作者 陈明亮 李庆 陈大鹏 《丝绸》 CAS CSCD 北大核心 2023年第4期61-70,共10页

本文探讨了人工智能技术在纺纱质量预测领域的应用、创新与不足,介绍了Hadoop技术为纺纱质量预测建模提供可靠高效的数据处理与运算平台,重点阐述了智能建模方法在纺纱质量预测领域的研究进展。通过分析得出基于数据与知识融合驱动的人... 本文探讨了人工智能技术在纺纱质量预测领域的应用、创新与不足,介绍了Hadoop技术为纺纱质量预测建模提供可靠高效的数据处理与运算平台,重点阐述了智能建模方法在纺纱质量预测领域的研究进展。通过分析得出基于数据与知识融合驱动的人工智能技术,构建出多工序关联的混合智能模型,用以准确描述纱线质量与纤维特性、工艺参数、环境参数等之间的非线性映射关系,可为试纺、过程参数设计、态势预测等环节提供指导,具有重要的理论研究意义。 展开更多

关键词 纺纱质量预测 人工智能 hadoop技术 混合智能模型 目标优化 发展趋势

在线阅读 下载PDF 职称材料

基于Hadoop的石油大数据平台设计 被引量：6

16

作者 毛娜 《信息技术》 2022年第2期145-150,共6页

在油气产业快速发展进程中,大数据平台的建立和完善发挥着重要作用。文中针对油田工作现场的相关数据本身具有数据规模大、每个个体数据之间关联性强、结构多样等特点,利用Hadoop这一技术对石油产业大数据平台进行设计和完善。新型大数... 在油气产业快速发展进程中,大数据平台的建立和完善发挥着重要作用。文中针对油田工作现场的相关数据本身具有数据规模大、每个个体数据之间关联性强、结构多样等特点,利用Hadoop这一技术对石油产业大数据平台进行设计和完善。新型大数据平台可以针对复杂多样的数据进行整合,并且每个层面的数据可以互相共享和联系。构建出的大数据平台经过实际检测和相关性能检测,最终的结果显示在石油生产运行之中。实践证明,利用这一技术设计,切实可行。 展开更多

关键词 hadoop技术 大数据平台 石油 数据库 存储

在线阅读 下载PDF 职称材料

基于Hadoop交通信息并行处理云系统设计 被引量：2

17

作者 赵健 连玮 《现代电子技术》 2021年第10期47-51,共5页

针对传统交通信息存储和处理不断增加的交通数据所暴漏出来的问题,设计基于Hadoop交通信息并行处理云系统。首先,对Hadoop分布式并行计算框架进行设计,要求框架具备良好容错性、扩展性和可靠性,能够对数据批量写入。并且分析框架的体系... 针对传统交通信息存储和处理不断增加的交通数据所暴漏出来的问题,设计基于Hadoop交通信息并行处理云系统。首先,对Hadoop分布式并行计算框架进行设计,要求框架具备良好容错性、扩展性和可靠性,能够对数据批量写入。并且分析框架的体系结构,将此框架作为基础设计系统架构,其主要包括数据采集层、应用层、存储层与分析层,对数据进行分析,并且在计算机集群中存储。之后,设计系统的模块,包括数据接入、数据存储、交通应用和数据处理等模块。通过实时数据处理实现数据传输,利用数据接入、核心计算和存储创建实时处理模块,并且对数据进行预处理。最后,对设计的系统进行验证。通过验证表明,所提系统使用效果良好,能够对交通信息进行有效分析与存储,使信息监控效率得到提高。 展开更多

关键词 云系统设计 交通信息 并行处理 hadoop技术 模块设计 数据分析 数据处理

在线阅读 下载PDF 职称材料

基于Hadoop的购物行为分析系统的设计与实现 被引量：2

18

作者 刘海 宋阳阳 +3 位作者 王宝 孙瑞霜 苏云飞 于改露 《河南科技》 2021年第28期25-27,共3页

随着信息技术的高速发展,网络购物已经走进千家万户。网络购物便捷化的方式使得人们可以随时随地选购自己喜欢的物品和服务。在此背景下,网络购物行为数据呈现爆发式增长。本文通过使用Hadoop大数据处理技术对网络购物行为数据进行了系... 随着信息技术的高速发展,网络购物已经走进千家万户。网络购物便捷化的方式使得人们可以随时随地选购自己喜欢的物品和服务。在此背景下,网络购物行为数据呈现爆发式增长。本文通过使用Hadoop大数据处理技术对网络购物行为数据进行了系统性分析,并使用SSM框架技术对大数据分析的结果进行了可视化展示。系统的实现将为网购卖家提供更加具有实际指导意义的进货需求服务和客服服务,也可以为买家提供较为精准的购物参考服务,以帮助买家找到理想商品,提高购物效率。 展开更多

关键词 hadoop技术 SSM框架 购物行为 大数据技术

在线阅读 下载PDF 职称材料

基于Hadoop的电网非结构化数据智能分析云平台 被引量：4

19

作者 张福铮 黄文琦 +4 位作者 赵继光 董召杰 刘宸哲 严叶舟 曹立楠 《信息技术与信息化》 2020年第5期222-225,共4页

大数据环境下,电网非结构化数据蕴含的信息爆炸式增长对于其数据的挖掘具有重要的支撑作用。与此同时,传统的数据存储与计算成本较为高昂,并行程序编写困难。面对这种情景,我们设计并实现了一个在大数据环境下的电网非结构化数据智能分... 大数据环境下,电网非结构化数据蕴含的信息爆炸式增长对于其数据的挖掘具有重要的支撑作用。与此同时,传统的数据存储与计算成本较为高昂,并行程序编写困难。面对这种情景,我们设计并实现了一个在大数据环境下的电网非结构化数据智能分析云平台。该系统包括数据提取,数据清洗,大数据分析,数据标记,点云模型,数据挖掘等诸多智能分析模块,使用Hadoop大数据分析并储存和计算海量电网非结构化数据,建立云文件系统支持多用户跨平台操作分析。 展开更多

关键词 非结构化数据 大数据 数据挖掘 云文件系统 hadoop技术

在线阅读 下载PDF 职称材料

精准医学大数据平台技术的探讨

20

作者 薛恒 张晓博 黄已 《中国新通信》 2020年第2期97-98,共2页

文章采用Hadoop技术和影像外加分布式存储进行分析和基因变异点进行比对,设计技术架构对精准医学大数据平台建设内容进行了分析,并明确技术路线,对技术的关键点进行论述。由实际效果可知,该平台成就的医学大数据作为网络协助为医学提供... 文章采用Hadoop技术和影像外加分布式存储进行分析和基因变异点进行比对,设计技术架构对精准医学大数据平台建设内容进行了分析,并明确技术路线,对技术的关键点进行论述。由实际效果可知,该平台成就的医学大数据作为网络协助为医学提供了有效的数据支撑和应用价值。 展开更多

关键词 精准医学数据 组学数据 精准大数据 hadoop技术运用 协作网络

在线阅读 下载PDF 职称材料