期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
3
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
并行随机抽样贪心算法分区的MapReduce负载均衡研究
被引量：
3
1
作者
黄伟建
贾孟玉
黄亮
《现代电子技术》
北大核心
2020年第16期170-173,共4页
针对传统MapReduce环境下Hash分区处理偏差数据时存在效率低下负载不均衡问题,采用两阶段分区,即基于并行相似随机抽样贪心算法分区。该抽样是基于Hadoop随机抽样在给定样本比率或特定置信度下的误差范围内快速且低错误率的预测key分布...
针对传统MapReduce环境下Hash分区处理偏差数据时存在效率低下负载不均衡问题,采用两阶段分区,即基于并行相似随机抽样贪心算法分区。该抽样是基于Hadoop随机抽样在给定样本比率或特定置信度下的误差范围内快速且低错误率的预测key分布结果。优点在于利用MapReduce框架的并行性减少抽样开销成本,并采用一种评估模型来确定合适的抽样率,达到减少抽样开销成本和提高抽样准确性的目的。结合贪心算法分区代替Hadoop平台默认的Hash分区算法来划分中间数据,实现MapReduce负载均衡。Matlab实验仿真结果表明,并行随机抽样贪心算法分区无论从负载均衡还是执行时间上都优于原生Hadoop中Hash分区算法。
展开更多
关键词
MAPREDUCE
负载均衡
贪心算法分区
并行随机抽样
分区建模
对比验证
在线阅读
下载PDF
职称材料
异构环境下平滑加权轮询Reduce任务调度算法研究
被引量：
3
2
作者
黄伟建
贾孟玉
黄亮
《现代电子技术》
北大核心
2020年第23期139-142,共4页
传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算...
传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算能力不同,任务在不同节点上的执行时间也是不同的。为了避免异构性导致Reduce性能下降的问题,提出一种在异构环境下动态平滑加权轮询调度算法。该算法根据节点的计算能力和数据本地性这两个因素选取Reduce计算节点来提高Reduce任务执行效率,还进一步将优化后的框架用于并行图像处理。实验结果表明,动态平滑加权轮询调度算法减少了Reduce跨节点传输的网络带宽,同时也减少了Reduce任务的执行时间。
展开更多
关键词
Reduce任务调度
负载均衡
异构集群
平滑加权轮询算法
节点选取
并行图像处理
在线阅读
下载PDF
职称材料
计及需求响应比例的园区综合能源系统低碳经济调度方法
被引量：
20
3
作者
魏子强
温鹏
+3 位作者
梁志
贾宇琛
高立艾
霍利民
《太阳能学报》
EI
CAS
CSCD
北大核心
2023年第10期38-45,共8页
提出一种计及需求响应比例的园区综合能源系统低碳经济调度方法。首先,构建园区综合能源系统优化调度模型,并对传统式与阶梯式碳交易机制、传统式与阶梯式综合需求响应补偿机制进行建模。其次,根据不同的碳交易与综合需求响应补偿机制,...
提出一种计及需求响应比例的园区综合能源系统低碳经济调度方法。首先,构建园区综合能源系统优化调度模型,并对传统式与阶梯式碳交易机制、传统式与阶梯式综合需求响应补偿机制进行建模。其次,根据不同的碳交易与综合需求响应补偿机制,设置不同场景,并采用CPLEX求解器对模型求解。最后,分析不同碳交易与综合需求响应补偿机制对系统运行成本与碳排放量的影响,并提出系统运行的低碳经济指标,对不同需求响应比例情况下系统的低碳经济性进行分析。结果表明,阶梯式碳交易机制和综合需求响应可有效提高系统的环保性和经济性,引入阶梯式综合需求响应补偿机制后,在需求响应比例为20%时系统的低碳经济指标最低。
展开更多
关键词
分布式发电
需求侧管理
环保性
综合能源系统
阶梯式碳交易
低碳经济调度
在线阅读
下载PDF
职称材料
题名
并行随机抽样贪心算法分区的MapReduce负载均衡研究
被引量：
3
1
作者
黄伟建
贾孟玉
黄亮
机构
河北
工程大学
信息
与电气工程学院
河北省信息安全测评中心
出处
《现代电子技术》
北大核心
2020年第16期170-173,共4页
基金
河北省自然科学基金项目:云计算中分布式Jobtracker节点模型的建立与优化(F2015402077)
河北省高等学校科学技术研究项目:基于复杂网络的空气质量动态分析和预测方法研究(QN2018073)。
文摘
针对传统MapReduce环境下Hash分区处理偏差数据时存在效率低下负载不均衡问题,采用两阶段分区,即基于并行相似随机抽样贪心算法分区。该抽样是基于Hadoop随机抽样在给定样本比率或特定置信度下的误差范围内快速且低错误率的预测key分布结果。优点在于利用MapReduce框架的并行性减少抽样开销成本,并采用一种评估模型来确定合适的抽样率,达到减少抽样开销成本和提高抽样准确性的目的。结合贪心算法分区代替Hadoop平台默认的Hash分区算法来划分中间数据,实现MapReduce负载均衡。Matlab实验仿真结果表明,并行随机抽样贪心算法分区无论从负载均衡还是执行时间上都优于原生Hadoop中Hash分区算法。
关键词
MAPREDUCE
负载均衡
贪心算法分区
并行随机抽样
分区建模
对比验证
Keywords
MapReduce
load balancing
greedy algorithm partitioning
parallel random sampling
partitioning modeling
comparison validation
分类号
TN919-34 [电子电信—通信与信息系统]
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
异构环境下平滑加权轮询Reduce任务调度算法研究
被引量：
3
2
作者
黄伟建
贾孟玉
黄亮
机构
河北
工程大学
信息
与电气工程学院
河北省信息安全测评中心
出处
《现代电子技术》
北大核心
2020年第23期139-142,共4页
基金
河北省自然科学基金项目:云计算中分布式Jobtracker节点模型的建立与优化(F2015402077)
河北省高等学校科学技术研究项目:基于复杂网络的空气质量动态分析和预测方法研究(QN2018073)。
文摘
传统MapReduce在处理倾斜数据时会造成负载不均衡,降低MapReduce框架的执行效率。虽然利用贪心算法分区减轻了MapReduce应用中的数据倾斜,但是忽略了Reduce异构性,因为MapReduce的计算环境通常是异构的,即使中间数据没有倾斜,由于计算能力不同,任务在不同节点上的执行时间也是不同的。为了避免异构性导致Reduce性能下降的问题,提出一种在异构环境下动态平滑加权轮询调度算法。该算法根据节点的计算能力和数据本地性这两个因素选取Reduce计算节点来提高Reduce任务执行效率,还进一步将优化后的框架用于并行图像处理。实验结果表明,动态平滑加权轮询调度算法减少了Reduce跨节点传输的网络带宽,同时也减少了Reduce任务的执行时间。
关键词
Reduce任务调度
负载均衡
异构集群
平滑加权轮询算法
节点选取
并行图像处理
Keywords
Reduce task scheduling
load balancing
heterogeneous cluster
smooth weighted polling algorithm
node selection
parallel image processing
分类号
TN911.1-34 [电子电信—通信与信息系统]
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
计及需求响应比例的园区综合能源系统低碳经济调度方法
被引量：
20
3
作者
魏子强
温鹏
梁志
贾宇琛
高立艾
霍利民
机构
河北
农业大学机电工程学院
河北省
畜禽养殖智能装备与新能源利用重点实验室
河北省信息安全测评中心
河北
农业大学
信息
科学与技术学院
出处
《太阳能学报》
EI
CAS
CSCD
北大核心
2023年第10期38-45,共8页
基金
河北省省属高等学校基本科研业务费研究项目(KY2021020,KY2021118)
河北省重点研发计划(20327307D)
河北省教育厅科学技术研究项目(ZD2020145)。
文摘
提出一种计及需求响应比例的园区综合能源系统低碳经济调度方法。首先,构建园区综合能源系统优化调度模型,并对传统式与阶梯式碳交易机制、传统式与阶梯式综合需求响应补偿机制进行建模。其次,根据不同的碳交易与综合需求响应补偿机制,设置不同场景,并采用CPLEX求解器对模型求解。最后,分析不同碳交易与综合需求响应补偿机制对系统运行成本与碳排放量的影响,并提出系统运行的低碳经济指标,对不同需求响应比例情况下系统的低碳经济性进行分析。结果表明,阶梯式碳交易机制和综合需求响应可有效提高系统的环保性和经济性,引入阶梯式综合需求响应补偿机制后,在需求响应比例为20%时系统的低碳经济指标最低。
关键词
分布式发电
需求侧管理
环保性
综合能源系统
阶梯式碳交易
低碳经济调度
Keywords
distributed power generation
demand side management
environmental protection
integrated energy system
stepped carbon trading
low-carbon economic dispatch
分类号
TM73 [电气工程—电力系统及自动化]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
并行随机抽样贪心算法分区的MapReduce负载均衡研究
黄伟建
贾孟玉
黄亮
《现代电子技术》
北大核心
2020
3
在线阅读
下载PDF
职称材料
2
异构环境下平滑加权轮询Reduce任务调度算法研究
黄伟建
贾孟玉
黄亮
《现代电子技术》
北大核心
2020
3
在线阅读
下载PDF
职称材料
3
计及需求响应比例的园区综合能源系统低碳经济调度方法
魏子强
温鹏
梁志
贾宇琛
高立艾
霍利民
《太阳能学报》
EI
CAS
CSCD
北大核心
2023
20
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
