期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于SQL-on-Hadoop查询引擎的日志挖掘及其应用
被引量：
7
1
作者
何明
常盟盟
+2 位作者
刘郭洋
顾程祥
彭继克
《智能系统学报》
CSCD
北大核心
2017年第5期717-728,共12页
随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,海量数据的实时处理需求日益增多,传统的日志分析技术在处理海量数据时存在计算瓶颈。大数据时代下,随着开放式处理平台的发展,能够处理大规模且多样化数据的大数据处理系统...
随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,海量数据的实时处理需求日益增多,传统的日志分析技术在处理海量数据时存在计算瓶颈。大数据时代下,随着开放式处理平台的发展,能够处理大规模且多样化数据的大数据处理系统应运而生。为了让原有的业务能够充分利用Hadoop的优势,本文首先研究了基于大数据技术的网络日志分析方法,构建了网络日志分析平台以实现万亿级日志采集、解析、存储和高效、灵活的查询与计算。对比分析了Hive、Impala和Spark SQL这3种具有代表性的SQL-on-Hadoop查询系统实例,并展示了这类系统的性能特点。采用TPC-H测试基准对它们的决策支持能力进行测试及评估,通过对实验数据的分析和解释得到了若干有益的结论。实现了海量日志数据计算与分析在证券领域的几种典型应用,为进一步的研究工作奠定了基础。
展开更多
关键词
大数据
日志分析
数据挖掘
Hadoop
查询引擎
数据采集
索引存储
证券行业
在线阅读
下载PDF
职称材料
题名
基于SQL-on-Hadoop查询引擎的日志挖掘及其应用
被引量：
7
1
作者
何明
常盟盟
刘郭洋
顾程祥
彭继克
机构
北京工业大学
信息
学
部
海通证券股份有限公司信息技术管理部
出处
《智能系统学报》
CSCD
北大核心
2017年第5期717-728,共12页
基金
国家自然科学基金项目(91646201
91546111
+5 种基金
60803086)
国家科技支撑计划子课题(2013BAH21B02-01)
北京市自然科学基金项目(4153058
4113076)
北京市教委重点项目(KZ20160005009)
北京市教委面上项目(KM201710005023)
文摘
随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,海量数据的实时处理需求日益增多,传统的日志分析技术在处理海量数据时存在计算瓶颈。大数据时代下,随着开放式处理平台的发展,能够处理大规模且多样化数据的大数据处理系统应运而生。为了让原有的业务能够充分利用Hadoop的优势,本文首先研究了基于大数据技术的网络日志分析方法,构建了网络日志分析平台以实现万亿级日志采集、解析、存储和高效、灵活的查询与计算。对比分析了Hive、Impala和Spark SQL这3种具有代表性的SQL-on-Hadoop查询系统实例,并展示了这类系统的性能特点。采用TPC-H测试基准对它们的决策支持能力进行测试及评估,通过对实验数据的分析和解释得到了若干有益的结论。实现了海量日志数据计算与分析在证券领域的几种典型应用,为进一步的研究工作奠定了基础。
关键词
大数据
日志分析
数据挖掘
Hadoop
查询引擎
数据采集
索引存储
证券行业
Keywords
big data
log analysis
data mining
Hadoop
query engine
data collection
indexed storage
securities business
分类号
TP311.13 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于SQL-on-Hadoop查询引擎的日志挖掘及其应用
何明
常盟盟
刘郭洋
顾程祥
彭继克
《智能系统学报》
CSCD
北大核心
2017
7
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
