并行计算框架Spark的自适应缓存管理策略 被引量：19

1

作者 卞琛 于炯 +1 位作者 英昌甜 修位蓉 《电子学报》 EI CAS CSCD 北大核心 2017年第2期278-284,共7页

并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选... 并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Directed Acyclic Graph)结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明:我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用. 展开更多

关键词 并行计算 缓存管理策略 spark 弹性分布式数据集

在线阅读 下载PDF 职称材料

基于JASMIN框架的抛物方程有限差分解法并行计算及其应用 被引量：3

2

作者 张青洪 廖成 +3 位作者 李瀚宇 周海京 刘强 盛楠 《强激光与粒子束》 EI CAS CSCD 北大核心 2015年第8期169-175,共7页

抛物方程有限差分解法的网格步长严格受波长限制,在求解城市小区电波传播问题时,计算速度明显变慢,为此,基于JASMIN框架研究了抛物方程有限差分解法的并行方法,通过将同一步进面划分成多个网格片,并分配到不同的处理器进行运算,实现了... 抛物方程有限差分解法的网格步长严格受波长限制,在求解城市小区电波传播问题时,计算速度明显变慢,为此,基于JASMIN框架研究了抛物方程有限差分解法的并行方法,通过将同一步进面划分成多个网格片,并分配到不同的处理器进行运算,实现了抛物方程有限差分解法的并行计算。与解析解的对比验证了并行程序的正确性,同时通过实例分析了并行程序的高效性,算例表明,抛物方程有限差分解法的求解效率得到了有效的提高。最后,模拟和分析了某一电信基站天线在包含9栋规则建筑物的城市小区环境中的电磁特性,结果表明,该方法能够得到基站在空间各处的信号覆盖强弱,可以为基站选址提供参考。 展开更多

关键词 抛物方程 有限差分解法 JASMIN框架 并行计算 城市小区

在线阅读 下载PDF 职称材料

一个层次式面向对象并行计算框架的设计 被引量：1

3

作者 李英军 吕建 +1 位作者 于大川 马晓星 《电子学报》 EI CAS CSCD 北大核心 2000年第8期113-114,共2页

本文讨论了一个层次式并行应用软件开发框架的设计思想 ,将并行计算底层细节进行逐级抽象 ,采用面向对象封装与继承机制 ,为科学计算领域提供了快速原型实验和应用开发环境 .该框架的层次结构使之成为独立于体系结构的并行开发环境 。

关键词 应用框架 并行计算 面向对象 软件开发

在线阅读 下载PDF 职称材料

钢筋混凝土框架结构计算机仿真与并行计算

4

作者 王洪涛 谢礼立 《世界地震工程》 CSCD 北大核心 2006年第3期14-20,共7页

介绍了钢筋混凝土框架结构计算机仿真和并行计算的研究现状。数值仿真主要采用有限元、离散元等数学物理模型,而可视化技术及图形仿真基于图形学和图像处理技术,是驾驭计算过程及理解大体积数据的唯一有效途径。有限元并行计算有SBS、EB... 介绍了钢筋混凝土框架结构计算机仿真和并行计算的研究现状。数值仿真主要采用有限元、离散元等数学物理模型,而可视化技术及图形仿真基于图形学和图像处理技术,是驾驭计算过程及理解大体积数据的唯一有效途径。有限元并行计算有SBS、EBE两种策略,非线性求解有直接与迭代解法,动力时程分析有显式、隐式和精细时程积分法。最后介绍了并行计算在钢筋混凝土结构分析中的应用。 展开更多

关键词 钢筋混凝土框架 仿真 并行计算

在线阅读 下载PDF 职称材料

应用并行计算框架提升地震数据处理效率分析 被引量：6

5

作者 祝树云 朱旭光 +1 位作者 颉冬莲 张丽梅 《石油地球物理勘探》 EI CSCD 北大核心 2011年第3期493-499,332,共7页

并行计算框架系统将地震数据可分割处理的特点与现代计算机群多节点、多线程的并行运算能力巧妙结合,在提升常规地震处理运算效率、缩短地震资料处理周期方面发挥了显著作用。本文通过大量数据的测试,对影响并行计算框架运算效率的各种... 并行计算框架系统将地震数据可分割处理的特点与现代计算机群多节点、多线程的并行运算能力巧妙结合,在提升常规地震处理运算效率、缩短地震资料处理周期方面发挥了显著作用。本文通过大量数据的测试,对影响并行计算框架运算效率的各种因素进行了分析。并行计算框架对地震数据处理运行效率的提高并不是随着并行任务数线性增长,与机群I/O效率及并行处理作业的计算量有关。随着并行任务数的增加,效率提高速度会逐步放缓,当达到最佳并行度时会出现拐点。另外,并行计算框架效率的提高与数据分割粒度有关,粗粒度分割更有利。因此应用并行框架系统时,应根据机群I/O效率与并行处理作业的计算量,选择合理的并行处理任务数。 展开更多

关键词 并行计算框架 并行效率 并行加速比 处理周期

在线阅读 下载PDF 职称材料

基于低代码思想的可视化并行计算框架设计 被引量：1

6

作者 杨冬亮 焦淼 韩源冬 《信息技术与信息化》 2023年第12期21-24,共4页

先进装备的新型信息处理平台采用高性能多核处理器为核心的一体化架构,来满足高性能和智能化需求。为了支撑密集计算任务,需要并行计算框架来解决多核同步、负载均衡、任务调度、数据分发等并行计算应用难题。然而,现有的并行计算框架... 先进装备的新型信息处理平台采用高性能多核处理器为核心的一体化架构,来满足高性能和智能化需求。为了支撑密集计算任务,需要并行计算框架来解决多核同步、负载均衡、任务调度、数据分发等并行计算应用难题。然而,现有的并行计算框架多为基于Linux的开源框架,不支持国产多核处理器;同时,基于并行计算框架的编程方式与传统的以控制算法为中心的结构化编程思路不同,对于习惯了C/C++编写串行程序的用户,基于并行计算框架编程面临许多难题。针对上述问题,在解决国产多核处理器操作系统并行计算框架适配问题的同时,基于低代码设计思想,研究简化并行计算框架编程方法、提升并行应用编程效率的技术途径,通过可视化组件配置与代码自动生成的方式,真正地降低并行编程难度,充分发挥国产多核处理器的并行计算效能。 展开更多

关键词 嵌入式操作系统 并行计算框架 模型驱动 低代码 可视化组件

在线阅读 下载PDF 职称材料

基于Spark框架和ASPSO的并行划分聚类算法 被引量：10

7

作者 毛伊敏 甘德瑾 +1 位作者 廖列法 陈志刚 《通信学报》 EI CSCD 北大核心 2022年第3期148-163,共16页

针对划分聚类算法处理海量的数据存在的数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题,提出了一种基于Spark框架和粒子群优化自适应策略(ASPSO)的并行划分聚类(PDC-SFASPSO)算法... 针对划分聚类算法处理海量的数据存在的数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题,提出了一种基于Spark框架和粒子群优化自适应策略(ASPSO)的并行划分聚类(PDC-SFASPSO)算法。首先,提出了基于皮尔逊相关系数和方差的网格划分策略获取数据离散系数较小的网格单元并进行离群点过滤,解决了数据离散系数较大与抗干扰性差的问题;其次,提出了基于势函数与高斯函数的网格划分策略,获取局部聚类的簇数,解决了局部簇簇数难以确定的问题;再次,提出了ASPSO获取局部簇质心,解决了局部簇质心的随机性问题;最后,提出了基于簇半径与邻居节点的合并策略对相似度大的簇进行并行化合并,提高了局部簇并行化合并的效率。实验结果表明,PDC-SFASPSO算法在大数据环境下进行数据的划分聚类具有较好的性能表现,适用于对大规模的数据集进行并行化聚类。 展开更多

关键词 spark框架 并行划分聚类 网格划分 粒子群优化自适应策略 并行化合并

在线阅读 下载PDF 职称材料

Spark框架下支持差分隐私保护的K-means++聚类方法 被引量：2

8

作者 石江南 彭长根 谭伟杰 《信息安全研究》 CSCD 北大核心 2024年第8期712-718,共7页

针对差分隐私聚类算法在处理海量数据时其隐私性和可用性之间的矛盾,提出了一种分布式环境下支持差分隐私的K-means++聚类算法.该算法通过内存计算引擎Spark,创建弹性分布式数据集,利用转换算子及行动算子操作数据进行运算,并在选取初... 针对差分隐私聚类算法在处理海量数据时其隐私性和可用性之间的矛盾,提出了一种分布式环境下支持差分隐私的K-means++聚类算法.该算法通过内存计算引擎Spark,创建弹性分布式数据集,利用转换算子及行动算子操作数据进行运算,并在选取初始化中心点及迭代更新中心点的过程中,通过综合利用指数机制和拉普拉斯机制,以解决初始聚类中心敏感及隐私泄露问题,同时减少计算过程中对数据实施的扰动.根据差分隐私的特性,从理论角度对整个算法进行证明,以满足ε-差分隐私保护.实验结果证明了该方法在确保聚类结果可用性的前提下,具备出色的隐私保护能力和高效的运行效率. 展开更多

关键词 数据挖掘 聚类算法 差分隐私 spark框架 指数机制

在线阅读 下载PDF 职称材料

基于分布式存储和并行计算的海量舆情数据分析方法研究 被引量：1

9

作者 邱国婷 《电子设计工程》 2023年第20期82-85,90,共5页

针对传统集中式数据分析方法难以适用于海量数据处理的问题,提出了一种基于分布式存储和并行计算的海量舆情数据分析方法。在构建完成的数据分析系统中,将采集的源数据存储在Hadoop分布式文件系统,并采用基于热点检测的缓存机制进行数... 针对传统集中式数据分析方法难以适用于海量数据处理的问题,提出了一种基于分布式存储和并行计算的海量舆情数据分析方法。在构建完成的数据分析系统中,将采集的源数据存储在Hadoop分布式文件系统,并采用基于热点检测的缓存机制进行数据读写。同时通过Spark进行数据查询,利用随机森林算法完成数据的高精度分析,且系统的数据分析结果会以各种形式显示并支持查询。在Hadoop 2.6.0与Spark 1.5.0平台上对所提方法进行的实验分析表明,30 000条记录的响应时间是7.8 s,分析准确率为96%,均优于其他对比方法,故具有一定的应用价值。 展开更多

关键词 分布式存储 并行计算 舆情数据 HADOOP分布式文件系统 spark 随机森林算法

在线阅读 下载PDF 职称材料

基于Spark计算框架的多目标优化算法实现 被引量：1

10

作者 何昱琪 李德禹 《现代信息科技》 2021年第22期66-70,共5页

为了降低分解型算法求解大规模问题的运行时间成本,结合分解型多目标进化算法(MOEA/D)和Spark分布式计算框架的特点,提出了一个主从分布式分解型多目标进化算法(MODEA/D-RDD)。在新的方案中每个Map保存且进化一个子问题,从而通过多个Ma... 为了降低分解型算法求解大规模问题的运行时间成本,结合分解型多目标进化算法(MOEA/D)和Spark分布式计算框架的特点,提出了一个主从分布式分解型多目标进化算法(MODEA/D-RDD)。在新的方案中每个Map保存且进化一个子问题,从而通过多个Map分布式计算提高效率。测试例上的实验结果表明,在求得解集质量不明显降低的前提下,全局种群进化方案能够有效缩短求解多目标问题的计算时间。 展开更多

关键词 spark计算框架 多目标优化 MOEA/D算法

在线阅读 下载PDF 职称材料

并行计算在机动飞行轨迹生成中的应用

11

作者 蒋超 王维嘉 王昊 《兵工自动化》 2020年第8期25-31,36,共8页

针对现有通用机动轨迹需要较长的预规划时间,无法在机载计算平台实时解算的问题,提出一种利用并行计算的方式对通用机动框架进行加速的方法。对现有的MCTS算法叶子节点并行、根节点并行和树并行方式进行分析,结合叶子节点并行和根节点... 针对现有通用机动轨迹需要较长的预规划时间,无法在机载计算平台实时解算的问题,提出一种利用并行计算的方式对通用机动框架进行加速的方法。对现有的MCTS算法叶子节点并行、根节点并行和树并行方式进行分析,结合叶子节点并行和根节点并行方式各自的优点,对每棵搜索树采用叶子节点并行方法,分别利用Pthread和CUDA对并行通用机动框架进行加速,并以筋斗机动为例对加速效果进行测试。实验结果表明:并行通用机动框架不仅性能优于串行框架,而且可大幅缩短机动解算时间。 展开更多

关键词 并行计算 蒙特卡罗树搜索算法 GPU 众核 通用机动框架

在线阅读 下载PDF 职称材料

Spark计算引擎的数据对象缓存优化研究 被引量：3

12

作者 陈康 王彬 冯琳 《中兴通讯技术》 2016年第2期23-27,共5页

研究了Spark并行计算集群对于内存的使用行为,认为其主要工作是通过对内存行为进行建模与分析,并对内存的使用进行决策自动化,使调度器自动识别出有价值的弹性分布式数据集(RDD)并放入缓存。另外,也对缓存替换策略进行优化,代替了原有... 研究了Spark并行计算集群对于内存的使用行为,认为其主要工作是通过对内存行为进行建模与分析,并对内存的使用进行决策自动化,使调度器自动识别出有价值的弹性分布式数据集(RDD)并放入缓存。另外,也对缓存替换策略进行优化,代替了原有的近期最少使用(LRU)算法。通过改进缓存方法,提高了任务在资源有限情况下的运行效率,以及在不同集群环境下任务效率的稳定性。 展开更多

关键词 并行计算 缓存 spark RDD

在线阅读 下载PDF 职称材料

基于Spark和三路交互信息的并行深度森林算法 被引量：2

13

作者 毛伊敏 周展 陈志刚 《通信学报》 EI CSCD 北大核心 2023年第8期228-240,共13页

针对并行深度森林在处理大数据时存在冗余及无关特征过多、类向量过长、模型收敛速度慢以及并行化训练效率低等问题,提出了基于Spark和三路交互信息的并行深度森林(PDF-STWII)算法。首先,提出基于特征交互的特征选择(FSFI)策略过滤原始... 针对并行深度森林在处理大数据时存在冗余及无关特征过多、类向量过长、模型收敛速度慢以及并行化训练效率低等问题,提出了基于Spark和三路交互信息的并行深度森林(PDF-STWII)算法。首先,提出基于特征交互的特征选择(FSFI)策略过滤原始特征,剔除无关及冗余特征;其次,提出多粒度向量消除(MGVE)策略,融合相似类向量,缩短类向量长度;再次,提出级联森林特征增强(CFFE)策略提高信息利用率,加快模型收敛速度;最后,结合Spark框架提出多级负载均衡(MLB)策略,通过自适应子森林划分和异构倾斜数据划分,提高并行化训练效率。实验结果表明,所提算法能显著提升模型分类效果,缩短并行化训练时间。 展开更多

关键词 spark框架 并行深度森林算法 特征选择 多级负载均衡

在线阅读 下载PDF 职称材料

基于Spark框架的图书馆微信服务平台设计研究 被引量：3

14

作者 黄铁娜 戴文静 曹君 《现代电子技术》 2021年第15期99-103,共5页

图书馆微信服务平台运行稳定性较差,导致平台的数据处理效率较低,对此,基于Spark框架设计一种新的图书馆微信服务平台。分析图书馆微信服务平台运行的基本原理,根据级别、分类设置和创建菜单,同时设置URL和USB两种消息接口,分别设计主... 图书馆微信服务平台运行稳定性较差,导致平台的数据处理效率较低,对此,基于Spark框架设计一种新的图书馆微信服务平台。分析图书馆微信服务平台运行的基本原理,根据级别、分类设置和创建菜单,同时设置URL和USB两种消息接口,分别设计主动推送功能、业务办理模式、查询帮助服务、在线咨询和社交平台、智能问答系统五项功能。通过预处理、特征提取以及并行化聚类三个阶段实现基于Spark框架的图书馆微信服务平台工作流程。实验结果表明,基于Spark框架的图书馆微信服务平台能够有效提高运行稳定性,增强数据处理效率。 展开更多

关键词 平台设计 微信服务平台 spark框架 特征提取 并行化聚类 运行稳定性 微时代

在线阅读 下载PDF 职称材料

基于Spark的OS-ELM并行化算法 被引量：2

15

作者 邓万宇 杨丽霞 《西安邮电大学学报》 2016年第2期101-104,118,共5页

针对Spark平台的弹性分布式数据集并行计算框架机制,提出一种在线连续极限学习机并行处理的改进算法。利用分离在线连续极限学习机矩阵之间的依赖关系,将大规模数据中的高度复杂的矩阵分布到Spark集群中并行化计算,并行计算多个增量数... 针对Spark平台的弹性分布式数据集并行计算框架机制,提出一种在线连续极限学习机并行处理的改进算法。利用分离在线连续极限学习机矩阵之间的依赖关系,将大规模数据中的高度复杂的矩阵分布到Spark集群中并行化计算,并行计算多个增量数据块的隐藏层输出矩阵,实现OS-ELM对矩阵的加速求解。实验结果表明,该算法在保持精度的同时可有效缩短学习时间,改善了大数据的扩展能力。 展开更多

关键词 在线连续极限学习机 大数据 spark 并行计算

在线阅读 下载PDF 职称材料

分布式并行智能计算模型研究 被引量：2

16

作者 牛伟 成娟 +1 位作者 高博 赵洋洋 《信息技术与信息化》 2021年第4期240-242,共3页

针对复杂系统数据处理计算量大、实时性要求高等问题,提出了一种分布式并行智能计算模型。利用Spark平台在分布式集群所有节点的内存RDD中完成遍历扫描运算,结合有向无环图搭建并行计算框架,引入负载均衡处理实现分布式系统所有节点能... 针对复杂系统数据处理计算量大、实时性要求高等问题,提出了一种分布式并行智能计算模型。利用Spark平台在分布式集群所有节点的内存RDD中完成遍历扫描运算,结合有向无环图搭建并行计算框架,引入负载均衡处理实现分布式系统所有节点能够均衡分担计算任务。结果表明,与单机情况相比,各节点的遍历任务分配更均衡,并行度更高。 展开更多

关键词 spark 并行计算 负载均衡处理

在线阅读 下载PDF 职称材料

基于Spark的并行遗传算法在状态方程构建中的应用 被引量：1

17

作者 张庆伟 杨大利 侯凌燕 《北京信息科技大学学报（自然科学版）》 2017年第5期84-90,96,共8页

对状态方程参数的确定问题,提出了基于Spark的变化搜索空间的并行遗传算法。把参数确定问题转化为函数最优化问题,可以使用遗传算法求解。通过将遗传算法与Spark相结合,加快算法的计算速度。在此基础上开发了基于Spark的并行遗传算法程... 对状态方程参数的确定问题,提出了基于Spark的变化搜索空间的并行遗传算法。把参数确定问题转化为函数最优化问题,可以使用遗传算法求解。通过将遗传算法与Spark相结合,加快算法的计算速度。在此基础上开发了基于Spark的并行遗传算法程序,数值实验表明算法可以用来解决状态方程中参数的确定问题,且实验所得结果的精度只与实验数据的精度有关。同时实验数据表明并行的遗传算法不仅可以加快计算速度还可以提高结果的精度和稳定性。 展开更多

关键词 遗传算法 并行计算 状态方程 spark

在线阅读 下载PDF 职称材料

基于Fork/Join多核并行框架的梯级水库群优化调度 被引量：4

18

作者 王森 马志鹏 +2 位作者 李善综 王凌河 熊静 《水利水电科技进展》 CSCD 北大核心 2017年第2期48-54,共7页

为了满足大规模梯级水库群优化调度精细化管理需求,解决决策计算耗时长及求解效率低等困难,提出了基于Fork/Join多核并行框架的梯级水库群优化调度并行求解方法,并以离散微分动态规划方法并行化为例,给出了梯级水库群优化调度方法在Fork... 为了满足大规模梯级水库群优化调度精细化管理需求,解决决策计算耗时长及求解效率低等困难,提出了基于Fork/Join多核并行框架的梯级水库群优化调度并行求解方法,并以离散微分动态规划方法并行化为例,给出了梯级水库群优化调度方法在Fork/Join框架下的并行化实现方式。红水河大规模梯级水库群长期发电优化调度测试结果表明,并行计算能够充分发挥多核处理器的加速性能,有效缩短计算耗时,提高求解效率;选择合理的Fork/Join框架规模控制阈值是充分发挥并行优势的关键因素。 展开更多

关键词 梯级水库群 优化调度 Fork/Join并行框架 多核处理器 并行计算

在线阅读 下载PDF 职称材料

多区域大规模迭代计算框架应用研究 被引量：1

19

作者 王晓斌 卢福军 +2 位作者 殷颖 闫萌 马忠义 《信息通信技术》 2018年第5期62-67,共6页

大数据环境下迭代计算是近年来的研究热点。文章基于大数据环境中的数据分散性、数据分区存储性、全集-局部数据分析的相对性等特点,提出基于Spark的多区域大规模的迭代计算框架,并给出多区域迭代计算框架和原生Spark框架的性能对比。... 大数据环境下迭代计算是近年来的研究热点。文章基于大数据环境中的数据分散性、数据分区存储性、全集-局部数据分析的相对性等特点,提出基于Spark的多区域大规模的迭代计算框架,并给出多区域迭代计算框架和原生Spark框架的性能对比。该框架能够对广分布的大数据分区多级进行迭代分析,优化算法的执行过程,缩短算法的执行时间,可以很好地适用于中国联通多层级组织机构对通信数据分析的需求,对于迭代算法的运行框架优化具有积极的指导和实践意义。 展开更多

关键词 迭代计算 多区域 大规模 迭代计算框架 大数据 spark

在线阅读 下载PDF 职称材料

基于Spark的大数据清洗框架设计与实现 被引量：2

20

作者 张菁楠 《科学技术创新》 2021年第22期109-110,共2页

大数据技术是以数据分析为核心,但是大数据清洗是解决大数据问题的关键,也是大数据处理的基础和前提。鉴于此在文章的研究中基于Spark设计了一套大数据清晰框架,其原理是充分利用Spark分布式计算能力将弹性分布式数据集的操作封装成大... 大数据技术是以数据分析为核心,但是大数据清洗是解决大数据问题的关键,也是大数据处理的基础和前提。鉴于此在文章的研究中基于Spark设计了一套大数据清晰框架,其原理是充分利用Spark分布式计算能力将弹性分布式数据集的操作封装成大数据清晰的任务单元,通过形成较为完整的大数据清晰流水线完成大数据清晰。通过一系列的实验证实基于Spark的大数据清晰框架能够有效的降低大数据清晰的成本,并且有效的促进了大数据清洗性能水平的提升,为大数据处理应用技术的发展提供了有效的保障,奠定了坚实的基础。 展开更多

关键词 spark 大数据清洗 框架设计

在线阅读 下载PDF 职称材料