期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于微操作的Hadoop参数自动调优方法
被引量：
3
1
作者
李耘书
滕飞
李天瑞
《计算机应用》
CSCD
北大核心
2019年第6期1589-1594,共6页
Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,针对手动和经验调优方法中参数空间庞大和运行流程复杂的问题,提出了一种Hadoop参数自动优化的方法和分析框架。首先,对作业运行流程进行解耦,从可变参数直接影响的更细...
Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,针对手动和经验调优方法中参数空间庞大和运行流程复杂的问题,提出了一种Hadoop参数自动优化的方法和分析框架。首先,对作业运行流程进行解耦,从可变参数直接影响的更细粒度的角度定义微操作,从而分析参数和单次微操作执行时间的关系;然后,利用微操作对作业运行流程进行重构,建立参数和作业运行时间关系的模型;最后,在此模型上应用各类搜索优化算法高效快速得出优化后的系统参数。在terasort和wordcount两个作业类型上进行了实验,实验结果表明,相对于默认参数情况,该方法使作业执行时间分别缩短了至少41%和30%。该方法能够有效提高Hadoop作业执行效率,缩短作业执行时间。
展开更多
关键词
HADOOP
参数调优
微操作
重构
搜索算法
在线阅读
下载PDF
职称材料
基于增强特征判别性的典型相关分析和分类集成的助学金预测方法
被引量：
1
2
作者
张芳娟
杨燕
杜圣东
《计算机应用》
CSCD
北大核心
2018年第11期3150-3155,共6页
针对高校资助管理办法效率低下、工作量大等问题,提出一种增强特征判别性的典型相关分析(ENDCCA)方法,并结合分类集成方法实现高校学生助学金预测。将学生在校多维度数据划分为两个不同视图,已有的各种多视图判别典型相关分析算法没有...
针对高校资助管理办法效率低下、工作量大等问题,提出一种增强特征判别性的典型相关分析(ENDCCA)方法,并结合分类集成方法实现高校学生助学金预测。将学生在校多维度数据划分为两个不同视图,已有的各种多视图判别典型相关分析算法没有综合考虑视图类别之间的相关性和视图组合特征的判别性两者因素。ENDCCA的优化目标在最大化类内相关的同时最小化类间相关,并且考虑了视图组合特征的判别性,进一步强化了属性的判别性能,更有利于分类预测。高校学生助学金预测的实现过程:首先,根据学生生活行为和学习表现将数据预处理为两个不同视图,然后用EN-DCCA方法对这两个视图数据进行特征学习,最后用分类集成方法完成预测。在真实的数据集上进行实验,所提方法的预测准确率达到90.01%,较增强视图组合特征判别性的典型相关分析(CECCA)的集成方法提高了2个百分点,实验结果表明,所提方法能有效实现高校助学金预测。
展开更多
关键词
分类集成
多视图
典型相关分析
增强视图特征判别性
在线阅读
下载PDF
职称材料
题名
基于微操作的Hadoop参数自动调优方法
被引量：
3
1
作者
李耘书
滕飞
李天瑞
机构
西南交通大学
信息科学与
技术
学院
四川省
云
计算与
智能
技术
高校
重点
实验室
(
西南交通大学
)
出处
《计算机应用》
CSCD
北大核心
2019年第6期1589-1594,共6页
基金
国家自然科学基金资助项目(61573292)
四川省科技计划项目(2019YJ0214)~~
文摘
Hadoop作为大规模分布式数据处理框架已经在工业界得到广泛的应用,针对手动和经验调优方法中参数空间庞大和运行流程复杂的问题,提出了一种Hadoop参数自动优化的方法和分析框架。首先,对作业运行流程进行解耦,从可变参数直接影响的更细粒度的角度定义微操作,从而分析参数和单次微操作执行时间的关系;然后,利用微操作对作业运行流程进行重构,建立参数和作业运行时间关系的模型;最后,在此模型上应用各类搜索优化算法高效快速得出优化后的系统参数。在terasort和wordcount两个作业类型上进行了实验,实验结果表明,相对于默认参数情况,该方法使作业执行时间分别缩短了至少41%和30%。该方法能够有效提高Hadoop作业执行效率,缩短作业执行时间。
关键词
HADOOP
参数调优
微操作
重构
搜索算法
Keywords
Hadoop
parameter optimization
microoperation
reconstitution
search algorithm
分类号
TP311.13 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
基于增强特征判别性的典型相关分析和分类集成的助学金预测方法
被引量：
1
2
作者
张芳娟
杨燕
杜圣东
机构
西南交通大学
信息科学与
技术
学院
四川省
云
计算与
智能
技术
高校
重点
实验室
(
西南交通大学
)
出处
《计算机应用》
CSCD
北大核心
2018年第11期3150-3155,共6页
基金
国家自然科学基金资助项目(61572407)~~
文摘
针对高校资助管理办法效率低下、工作量大等问题,提出一种增强特征判别性的典型相关分析(ENDCCA)方法,并结合分类集成方法实现高校学生助学金预测。将学生在校多维度数据划分为两个不同视图,已有的各种多视图判别典型相关分析算法没有综合考虑视图类别之间的相关性和视图组合特征的判别性两者因素。ENDCCA的优化目标在最大化类内相关的同时最小化类间相关,并且考虑了视图组合特征的判别性,进一步强化了属性的判别性能,更有利于分类预测。高校学生助学金预测的实现过程:首先,根据学生生活行为和学习表现将数据预处理为两个不同视图,然后用EN-DCCA方法对这两个视图数据进行特征学习,最后用分类集成方法完成预测。在真实的数据集上进行实验,所提方法的预测准确率达到90.01%,较增强视图组合特征判别性的典型相关分析(CECCA)的集成方法提高了2个百分点,实验结果表明,所提方法能有效实现高校助学金预测。
关键词
分类集成
多视图
典型相关分析
增强视图特征判别性
Keywords
classification ensemble
multi-view
Canonical Correlation Analysis(CCA)
enhanced discriminablity of view features
分类号
TP181 [自动化与计算机技术—控制理论与控制工程]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于微操作的Hadoop参数自动调优方法
李耘书
滕飞
李天瑞
《计算机应用》
CSCD
北大核心
2019
3
在线阅读
下载PDF
职称材料
2
基于增强特征判别性的典型相关分析和分类集成的助学金预测方法
张芳娟
杨燕
杜圣东
《计算机应用》
CSCD
北大核心
2018
1
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
