大数据分析的硬件与系统支持综述 被引量：7

1

作者 孙仕亮 陈俊宇 《小型微型计算机系统》 CSCD 北大核心 2017年第1期1-9,共9页

近几年来,大数据的浪潮席卷全球,这给信息科学带来了新的挑战和机遇.传统的工具逐渐难以满足目前企业的需求,如何有效地存储与分析大规模的数据,是当今研究的热点与重点.首先阐述大数据的基本概念、4V特征,介绍了大数据的生命周期,并列... 近几年来,大数据的浪潮席卷全球,这给信息科学带来了新的挑战和机遇.传统的工具逐渐难以满足目前企业的需求,如何有效地存储与分析大规模的数据,是当今研究的热点与重点.首先阐述大数据的基本概念、4V特征,介绍了大数据的生命周期,并列举了几种数据处理模式与数据结构.文中归纳总结了目前针对大数据分析的硬件支持,介绍了几种典型的大数据分析的系统技术,例如Hadoop、Spark、Storm、Petuum等,并对这些典型的系统技术进行了对比分析.最后简述了大数据分析在政府、教育、交通、医疗中的典型应用. 展开更多

关键词 大数据分析 数据处理技术 硬件支持 分布式系统

在线阅读 下载PDF 职称材料

基于虚拟现实技术的高校实验室云服务平台设计 被引量：11

2

作者 赵怡 樊东燕 郭金玲 《现代电子技术》 2021年第8期85-89,共5页

由于高校实验室云服务平台数据较多,导致高校实验室云服务平台响应速度较慢,为此将虚拟现实技术应用到高校实验室云服务平台设计中。在高校实验室云服务平台模块设计中,利用采集器模块为平台提供实验室数据采集功能,使用转换器为平台提... 由于高校实验室云服务平台数据较多,导致高校实验室云服务平台响应速度较慢,为此将虚拟现实技术应用到高校实验室云服务平台设计中。在高校实验室云服务平台模块设计中,利用采集器模块为平台提供实验室数据采集功能,使用转换器为平台提供数据转换功能,再通过控制模块提高平台的数据处理能力。在云服务平台软件中,利用虚拟现实技术构建虚拟仪器,并对高校实验室云服务平台进行权限分配,为平台赋予访问控制功能,以此完成基于虚拟现实技术的高校实验室云服务平台的设计。实验结果表明,此次设计的基于虚拟现实技术的高校实验室云服务平台,在平台登录上、文件上传上的响应速度都较快,并且所设计的平台总体上达到了登录功能的基本需求。 展开更多

关键词 高校实验室 云服务平台 虚拟现实技术 数据处理 权限分配 平台设计

在线阅读 下载PDF 职称材料

大数据环境下的可靠存储技术思考 被引量：3

3

作者 李挥 张宇蒙 陈俊 《中兴通讯技术》 2015年第5期27-31,共5页

针对分布式容错技术的研究,提出了两点关键要求:降低冗余开销、提高节点修复效率。分析目前主流的容错策略:复制、纠删码、再生码、基于局部可修复码,并认为这些容错策略存在不同程度的缺陷,因此设计出容错能力、计算效率及存储利用率... 针对分布式容错技术的研究,提出了两点关键要求:降低冗余开销、提高节点修复效率。分析目前主流的容错策略:复制、纠删码、再生码、基于局部可修复码,并认为这些容错策略存在不同程度的缺陷,因此设计出容错能力、计算效率及存储利用率更高的容错策略,仍是未来很长一段时间内值得深入研究的问题。 展开更多

关键词 大数据 可靠性 分布式存储 容错技术

在线阅读 下载PDF 职称材料

云计算技术研究与应用综述 被引量：20

4

作者 李晓辉 《电子测量技术》 2011年第7期1-4,共4页

提出1个相对系统和综合的云计算参考性定义,指出云计算是"以互联网为载体,利用虚拟化等手段整合大规模分布式可配置的计算资源,使其以服务的方式提供给用户,满足用户按需使用的计算模式",然后从计算模式、科学研究、社会发展... 提出1个相对系统和综合的云计算参考性定义,指出云计算是"以互联网为载体,利用虚拟化等手段整合大规模分布式可配置的计算资源,使其以服务的方式提供给用户,满足用户按需使用的计算模式",然后从计算模式、科学研究、社会发展等多个维度阐明了云计算作为现代计算技术发展的必然产物所具备的发展意义,总结了国内外产业界、学术界、政府机构等在云计算方面的最新研究进展,深入分析了云计算研究过程中的重点和难点,最后指出了云计算未来的发展趋势。 展开更多

关键词 云计算 虚拟化 海量数据处理 大规模分布式存储

在线阅读 下载PDF 职称材料

基于云计算平台的工程材料询价系统 被引量：3

5

作者 窦金凤 于文华 +1 位作者 曹家宝 刘洋洋 《计算机应用》 CSCD 北大核心 2018年第A01期158-161,178,共5页

为提高工程材料询价行业发展水平,规范数据整理与分析,实现高效地数据存储、处理和共享,设计并实现了一种基于云计算的工程材料询价管理系统。该系统基于云计算虚拟化技术、分布式存储技术和数据安全技术,建立了统一的数据整合共享平台... 为提高工程材料询价行业发展水平,规范数据整理与分析,实现高效地数据存储、处理和共享,设计并实现了一种基于云计算的工程材料询价管理系统。该系统基于云计算虚拟化技术、分布式存储技术和数据安全技术,建立了统一的数据整合共享平台;同时,该系统服务使用Strut+Hibernate+Spring(SSH)框架进行开发,且采用了Java本地调用(JNI)技术实现密码生成逻辑,定时更新超级管理员密码策略,保证系统的安全性。系统测试结果表明,该系统实现了询价数据的存储、处理、查询和共享等功能,高效地满足工程询价人员的需求,同时有效地推动询价行业数据共享和标准化发展。 展开更多

关键词 云计算 分布式存储技术 数据处理 SSH框架 Java本地调用

在线阅读 下载PDF 职称材料

大数据处理模式——系统结构,方法以及发展趋势 被引量：13

6

作者 李贞强 陈康 +1 位作者 武永卫 郑纬民 《小型微型计算机系统》 CSCD 北大核心 2015年第4期641-647,共7页

近年来,大数据处理的相关理论以及技术越来越受到工业界和学术界的重视.一方面,在科学研究过程中产生了大量的数据,对于数据的理解成为进行科学研究的一个重要手段.另一方面,随着信息技术的不断发展,企业在信息化过程中积累了大量的结... 近年来,大数据处理的相关理论以及技术越来越受到工业界和学术界的重视.一方面,在科学研究过程中产生了大量的数据,对于数据的理解成为进行科学研究的一个重要手段.另一方面,随着信息技术的不断发展,企业在信息化过程中积累了大量的结构化和非结构化数据.企业管理与运营的这些数据已经成为企业的核心资产,深刻地影响着企业的业务模式,给企业决策、组织和业务流程带来显著的变化.因此,大数据处理的相关技术也受到工业界的极大关注.依据数据处理的时间特征,大数据处理模式可以分为"离线批处理式数据处理","查询式数据处理"以及"实时式数据处理"三种模式.本文从技术角度,总结了大数据处理的总体架构,并针对处理模式的不同,对大数据处理的不同层次进行展开讨论.大数据处理的基础是数据的存储,本文首先对大数据的存储展开一定的讨论,之后对上述三种模式展开叙述,使得读者能够对大数据系统的构建方面有一个初步的了解. 展开更多

关键词 大数据 系统结构 实时系统 数据处理 分布式存储

在线阅读 下载PDF 职称材料

数据驱动技术在虚拟电厂中的应用综述 被引量：38

7

作者 李昭昱 艾芊 +3 位作者 张宇帆 殷爽睿 孙东磊 李雪亮 《电网技术》 EI CSCD 北大核心 2020年第7期2411-2419,共9页

虚拟电厂(virtualpowerplant,VPP)作为电力市场下促进可再生能源消纳、应对能源分布不均的重要运营模式,近年来得到迅速发展。同时,国家电网逐渐普及配网量测装置,并推进通信网络建设,其与VPP的聚合及通信内核紧密融合,为VPP带来了新特... 虚拟电厂(virtualpowerplant,VPP)作为电力市场下促进可再生能源消纳、应对能源分布不均的重要运营模式,近年来得到迅速发展。同时,国家电网逐渐普及配网量测装置,并推进通信网络建设,其与VPP的聚合及通信内核紧密融合,为VPP带来了新特点、新模式、新方法。鉴于此,探讨VPP的内涵、特性、功能及工程示范;深入分析大数据背景下VPP呈现出的新特点、新型构成主体及发展关键技术;基于海量广域实时数据,进一步研究数据驱动方法在VPP构成主体及外部环境预测、优化调控策略及电力市场分析3个角度的应用现状。 展开更多

关键词 虚拟电厂 数据驱动 大数据 分布式能源

在线阅读 下载PDF 职称材料

面向煤炭开采的大数据处理平台构建关键技术 被引量：18

8

作者 李福兴 李璐爔 《煤炭学报》 EI CAS CSCD 北大核心 2019年第S01期362-369,共8页

针对我国煤炭开采技术已步入机械化、自动化、智能化无人开采及建设智慧矿山阶段,煤炭开采与其他工业领域一样逐步进入新的依靠数据生产的时代,由此产生的海量数据处理的问题,提出构建煤炭开采的大数据处理平台。在分析了我国煤炭开采... 针对我国煤炭开采技术已步入机械化、自动化、智能化无人开采及建设智慧矿山阶段,煤炭开采与其他工业领域一样逐步进入新的依靠数据生产的时代,由此产生的海量数据处理的问题,提出构建煤炭开采的大数据处理平台。在分析了我国煤炭开采生产中产生的数据量大、多样性、时效性强、数据失真可能性大、预判性要求高、数据价值密度低等特点,提出了以大数据理论和技术为基础,从硬件和软件两部分架构平台。硬件部分:提出基于原有信息化建设所选配服务器基础上,应用服务器集群技术搭建服务器集群,对其进行升级改配,不足部分再根据运行需要不断增配和调整;对集群服务器中的结点名称服务器内存大小,根据管理文件数量多少、文件块的大小、管理服务器的数量及每个服务数据的存储量,并结合服务器CPU的虚拟内核数及超线程数计算出其内存配置;对于服务器的CPU,提出主结点服务器用多内核多线程的CPU;对于集群存储系统,提出将服务器应用软件存储与海量数据储存分离,服务器本机选用固态盘用于存储应用软件,海量数据存储系统采用网络接入存储和存储区域网络集成整合模式,实现数据统一、集中管理、扩充容易、容错,保障网络无单点故障,提高集群I/O速度。软件部分:经分析平台构建需满足实现批量处理和流式计算及透明性,实现增量计算、分布式内存并行计算、高可用高可扩展的内存计算;满足煤炭开采生产中对各类数据的计数、求和、平均等计算,各类大量实时数据采集传感器数据的融合决策中的方差、标准差等实时计算等需要;满足多维度、长时间、多次重新计算等需要,提出采用Hadoop及Storm为主构建分布式大数据处理系统,其服务器操作系统用CentOS、日志消息处理用Flume软件、数据接入缓冲用kafka软件等关键技术,平台数据可视化软件使用户可根据需要做相应的选择,并不影响平台对数据的处理。 展开更多

关键词 煤炭开采 大数据处理 分布式 服务器集群 存储技术

在线阅读 下载PDF 职称材料

基于大数据流的网络流量检测与分析 被引量：13

9

作者 程伟华 赵军 吴鹏 《南京理工大学学报》 EI CAS CSCD 北大核心 2017年第3期294-300,共7页

针对网络流量异常检测问题,该文提出1种新的网络流量检测和分析系统。采用分布式流式处理机制达到实时检测。利用大数据平台分布式存储、数据计算分析的能力,实现网络数据分布式存储,训练网络数据协议特征库。在江苏省电力公司的营销、... 针对网络流量异常检测问题,该文提出1种新的网络流量检测和分析系统。采用分布式流式处理机制达到实时检测。利用大数据平台分布式存储、数据计算分析的能力,实现网络数据分布式存储,训练网络数据协议特征库。在江苏省电力公司的营销、运行与调度等业务场景中,该网络流量检测与分析系统取得了很好的实际效果,为各个业务场景的分析提供了业务支撑。 展开更多

关键词 数据包分析 异常检测 大数据流 网络流量检测 分布式流式处理机制 大数据平台 分布式存储

在线阅读 下载PDF 职称材料

分布式海量时序数据管理平台研究 被引量：14

10

作者 喻宜 吕志来 齐国印 《电力系统保护与控制》 EI CSCD 北大核心 2016年第17期165-170,共6页

为了解决电力大数据环境下目前数据库产品无法高效管理海量时序类型数据难题,引入当前主流的分布式技术架构实现了真正意义分布式架构GAIA海量时序数据管理平台,保证系统更加稳定、可靠。采用具有可配置层次关系结构的模型中心来解决海... 为了解决电力大数据环境下目前数据库产品无法高效管理海量时序类型数据难题,引入当前主流的分布式技术架构实现了真正意义分布式架构GAIA海量时序数据管理平台,保证系统更加稳定、可靠。采用具有可配置层次关系结构的模型中心来解决海量测点的管理问题。基于时间分片、事件驱动的前置数据采集系统有效解决海量终端的实时数据采集性能问题。从而能够提高大规模时序数据的管理能力,满足电力行业数据管理平台的要求,大力推进电力行业信息化发展。 展开更多

关键词 电力大数据 实时数据库 分布式存储 信息化

在线阅读 下载PDF 职称材料

大数据时代电子取证分布式架构的设计与实践

11

作者 吴铭 宋庆飞 《计算机科学》 CSCD 北大核心 2015年第B10期48-51,共4页

伴随着移动互联网、物联网以及云计算等技术的迅猛发展，社会由IT时代进入了DT时代，电子数据取证面临大数据时代带来的挑战。分布式计算、分布式存储以及分布式数据库技术为分布式取证系统的建设提供了技术基础。结合电子取证的业务流... 伴随着移动互联网、物联网以及云计算等技术的迅猛发展，社会由IT时代进入了DT时代，电子数据取证面临大数据时代带来的挑战。分布式计算、分布式存储以及分布式数据库技术为分布式取证系统的建设提供了技术基础。结合电子取证的业务流程设计开发了一套完整的分布式取证系统，并成功运用到电子取证的实战过程中，提高了大容量检材的取证分析效率。 展开更多

关键词 大数据 分布式处理技术 分布式存储技术 虚拟化

在线阅读 下载PDF 职称材料