期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于大数据技术的EAST实验数据访问日志分析系统的设计
被引量：
2
1
作者
章琦皓
王枫
王月婷
《计算机应用与软件》
北大核心
2018年第9期50-55,共6页
EAST装置产生的实验数据规模日益变大,对EAST上的MDSplus数据存储服务器进行有效地监控是很有必要的。为了方便实验人员对MDSplus服务器上的用户进行管理,设计一个MDSplus日志离线和实时分析系统。MDSplus日志分析系统采用的大数据处理...
EAST装置产生的实验数据规模日益变大,对EAST上的MDSplus数据存储服务器进行有效地监控是很有必要的。为了方便实验人员对MDSplus服务器上的用户进行管理,设计一个MDSplus日志离线和实时分析系统。MDSplus日志分析系统采用的大数据处理框架是Hadoop生态圈的MapReduce离线计算模型和Spark生态圈中的Spark Streaming实时数据计算模型。系统还使用Flume、Kafka的日志监测、聚合、分发等关键性技术,使得MDSplus海量日志数据的处理能力变为可能,且能够在秒级别处理千万条未处理的MDSplus日志信息,离线和实时处理后展现在Web端。测试表明,系统工作能够满足设计需求,对聚变实验数据的管理具有重要的应用价值。
展开更多
关键词
mdsplus日志
HadoopMR模型
SPARK
STREAMING
FLUME
Kafka
在线阅读
下载PDF
职称材料
题名
基于大数据技术的EAST实验数据访问日志分析系统的设计
被引量：
2
1
作者
章琦皓
王枫
王月婷
机构
中科院等离子体物理研究所
中国科学技术大学
出处
《计算机应用与软件》
北大核心
2018年第9期50-55,共6页
基金
国家重点研发计划项目(2017YFE0300500
2017YFE0300505)
文摘
EAST装置产生的实验数据规模日益变大,对EAST上的MDSplus数据存储服务器进行有效地监控是很有必要的。为了方便实验人员对MDSplus服务器上的用户进行管理,设计一个MDSplus日志离线和实时分析系统。MDSplus日志分析系统采用的大数据处理框架是Hadoop生态圈的MapReduce离线计算模型和Spark生态圈中的Spark Streaming实时数据计算模型。系统还使用Flume、Kafka的日志监测、聚合、分发等关键性技术,使得MDSplus海量日志数据的处理能力变为可能,且能够在秒级别处理千万条未处理的MDSplus日志信息,离线和实时处理后展现在Web端。测试表明,系统工作能够满足设计需求,对聚变实验数据的管理具有重要的应用价值。
关键词
mdsplus日志
HadoopMR模型
SPARK
STREAMING
FLUME
Kafka
Keywords
mdsplus
log
HadoopMR model
Spark Streaming
Flume
Kafka
分类号
TP3 [自动化与计算机技术—计算机科学与技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于大数据技术的EAST实验数据访问日志分析系统的设计
章琦皓
王枫
王月婷
《计算机应用与软件》
北大核心
2018
2
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
