期刊文献+
共找到143篇文章
< 1 2 8 >
每页显示 20 50 100
基于Spark并行计算框架的小波变换算法 被引量:1
1
作者 杨钰博 仲梁维 牛亚运 《农业装备与车辆工程》 2020年第1期80-84,132,共6页
目前在数字信号处理领域较为成熟的应用有DSP和LabVIEW等,这些方法适用于实时信号处理,但是对于大量的历史离线数据无法满足处理需求。而广泛应用于互联网行业的Spark可以作为离线信号处理的计算引擎。为了填补Spark缺少适用于并行计算... 目前在数字信号处理领域较为成熟的应用有DSP和LabVIEW等,这些方法适用于实时信号处理,但是对于大量的历史离线数据无法满足处理需求。而广泛应用于互联网行业的Spark可以作为离线信号处理的计算引擎。为了填补Spark缺少适用于并行计算引擎的数字信号处理方案这一空缺,针对小波变换算法提出了分布式小波变换算法的3种解决方案,并基于其中一种方法介绍了传统数字信号处理算法在Spark下的并行实现过程。最后,通过对该实现算法的正确性测试和性能分析,证明了该算法能够正确处理数字信号,并且能够满足工业对于大规模数字信号的计算要求。 展开更多
关键词 spark 数字信号处理 并行计算 小波算法
在线阅读 下载PDF
并行计算框架Spark的自适应缓存管理策略 被引量:19
2
作者 卞琛 于炯 +1 位作者 英昌甜 修位蓉 《电子学报》 EI CAS CSCD 北大核心 2017年第2期278-284,共7页
并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选... 并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Directed Acyclic Graph)结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明:我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用. 展开更多
关键词 并行计算 缓存管理策略 spark 弹性分布式数据集
在线阅读 下载PDF
并行计算框架Spark中一种新的RDD分区权重缓存替换算法 被引量:9
3
作者 刘恒 谭良 《小型微型计算机系统》 CSCD 北大核心 2018年第10期2279-2284,共6页
并行计算框架Spark的缓存替换机制是提高其计算性能和效率的重要手段.目前,针对Spark采用的缓存替换算法LRU会使高重用但最近未使用的Block容易被换出缓存的缺点,提出了基于权重的缓存替换算法,但已有的基于权重的缓存替换算法存在权重... 并行计算框架Spark的缓存替换机制是提高其计算性能和效率的重要手段.目前,针对Spark采用的缓存替换算法LRU会使高重用但最近未使用的Block容易被换出缓存的缺点,提出了基于权重的缓存替换算法,但已有的基于权重的缓存替换算法存在权重值计算不准确,考虑因素不全面,度量方法不够细致,影响了缓存的命中率和作业执行的效率.提出一种新的RDD分区的权重缓存替换算法——WCSRP.为了使RDD分区权重值的计算更加准确,WCSRP不仅综合考虑RDD的计算代价、使用次数、分区的大小和生命周期四大因素对权重的影响,而且还增加考虑了Task执行时Locality Level这个因素,并对以上五个因素进行了量化计算.实验结果表明WCSRP算法让RDD分区权重值的计算更准确,提高了内存资源利用率和作业执行效率. 展开更多
关键词 spark 弹性分布式数据集 缓存替换策略 并行计算 RDD缓存
在线阅读 下载PDF
JASMIN框架中多块结构网格拼接并行计算及其应用 被引量:12
4
作者 郭红 莫则尧 张爱清 《计算机工程与科学》 CSCD 北大核心 2012年第8期69-74,共6页
基于JASMIN框架,本文设计了多块结构网格拼接的并行算法并研制了相应的软件模块。该模块设计实现了网格块间关系统一描述算法,及网格片间统一通信调度策略,从而有效解决了多块结构网格拼接并行计算中的通信性能瓶颈问题。同时,该模块封... 基于JASMIN框架,本文设计了多块结构网格拼接的并行算法并研制了相应的软件模块。该模块设计实现了网格块间关系统一描述算法,及网格片间统一通信调度策略,从而有效解决了多块结构网格拼接并行计算中的通信性能瓶颈问题。同时,该模块封装了数据分布存储、数据通信等并行计算细节,提供了规范接口,能够支撑用户简便地实现多块结构网格拼接并行计算。数值测试表明,该模块具有很好的并行性能,可以支撑应用程序扩展到上千核。 展开更多
关键词 多块结构网格 并行计算 JASMIN框架
在线阅读 下载PDF
JASMIN框架中联邦并行计算及其在多物理耦合中的应用 被引量:4
5
作者 张爱清 莫则尧 +2 位作者 曹小林 安恒斌 郭红 《计算机工程与科学》 CSCD 北大核心 2013年第1期15-23,共9页
多物理耦合是一类普遍的复杂应用问题。并行计算时,在充分考虑各个物理过程的基础上,还需要在不同物理过程之间建立数据依赖关系并交换物理量值。这无论对并行算法设计,还是对并行编程实现来说,均具有较大的难度。JASMIN框架提供联邦计... 多物理耦合是一类普遍的复杂应用问题。并行计算时,在充分考虑各个物理过程的基础上,还需要在不同物理过程之间建立数据依赖关系并交换物理量值。这无论对并行算法设计,还是对并行编程实现来说,均具有较大的难度。JASMIN框架提供联邦计算功能,很好地封装和实现了单层结构网格上的多物理耦合并行计算。该功能实际应用于激光聚变和地球系统模式等领域,支撑研发了多个应用程序,可以有效使用成千上万个处理器核进行数值模拟。 展开更多
关键词 多物理 并行计算 JASMIN框架
在线阅读 下载PDF
基于JASMIN框架的抛物方程有限差分解法并行计算及其应用 被引量:3
6
作者 张青洪 廖成 +3 位作者 李瀚宇 周海京 刘强 盛楠 《强激光与粒子束》 EI CAS CSCD 北大核心 2015年第8期169-175,共7页
抛物方程有限差分解法的网格步长严格受波长限制,在求解城市小区电波传播问题时,计算速度明显变慢,为此,基于JASMIN框架研究了抛物方程有限差分解法的并行方法,通过将同一步进面划分成多个网格片,并分配到不同的处理器进行运算,实现了... 抛物方程有限差分解法的网格步长严格受波长限制,在求解城市小区电波传播问题时,计算速度明显变慢,为此,基于JASMIN框架研究了抛物方程有限差分解法的并行方法,通过将同一步进面划分成多个网格片,并分配到不同的处理器进行运算,实现了抛物方程有限差分解法的并行计算。与解析解的对比验证了并行程序的正确性,同时通过实例分析了并行程序的高效性,算例表明,抛物方程有限差分解法的求解效率得到了有效的提高。最后,模拟和分析了某一电信基站天线在包含9栋规则建筑物的城市小区环境中的电磁特性,结果表明,该方法能够得到基站在空间各处的信号覆盖强弱,可以为基站选址提供参考。 展开更多
关键词 抛物方程 有限差分解法 JASMIN框架 并行计算 城市小区
在线阅读 下载PDF
考虑楼板作用的钢筋混凝土框架有限元模型及并行计算效率 被引量:8
7
作者 王洪涛 谢礼立 《地震工程与工程振动》 CSCD 北大核心 2009年第1期63-69,共7页
对于钢筋混凝土框架,考虑楼板与梁的协同作用可以更充分地体现结构静动力性能。本文首先采用分层壳单元模拟楼板,通过刚臂耦合梁板,建立了可以较好模拟梁板协同工作的框架结构有限元模型,并与其它3种采用简化假定的模型进行了比较。为... 对于钢筋混凝土框架,考虑楼板与梁的协同作用可以更充分地体现结构静动力性能。本文首先采用分层壳单元模拟楼板,通过刚臂耦合梁板,建立了可以较好模拟梁板协同工作的框架结构有限元模型,并与其它3种采用简化假定的模型进行了比较。为了控制这种模型的分析误差,必须将梁、板划分为较小单元,所以需要耗费大量的计算机内存和时间。为此,比较分析了采用集群并行计算与普通串行计算的求解时间,结果说明对于中等到较大的框架模型,集群计算均可以大量减少计算时间。 展开更多
关键词 并行计算 集群 梁板 钢筋混凝土框架
在线阅读 下载PDF
一个层次式面向对象并行计算框架的设计 被引量:1
8
作者 李英军 吕建 +1 位作者 于大川 马晓星 《电子学报》 EI CAS CSCD 北大核心 2000年第8期113-114,共2页
本文讨论了一个层次式并行应用软件开发框架的设计思想 ,将并行计算底层细节进行逐级抽象 ,采用面向对象封装与继承机制 ,为科学计算领域提供了快速原型实验和应用开发环境 .该框架的层次结构使之成为独立于体系结构的并行开发环境 。
关键词 应用框架 并行计算 面向对象 软件开发
在线阅读 下载PDF
支持多种并行计算模型的面向对象框架研究 被引量:1
9
作者 吕建 陆陪 于大川 《软件学报》 EI CSCD 北大核心 1999年第3期270-276,共7页
为了支持并行程序设计,几乎所有的程序设计语言均通过提供并行与同步通信机制来支持某一高级并行计算模型,如Ada语言的任务与会合机制以及Java语言的线程和同步方法.显然,这样的程序设计语言仅能支持一种高级并行计算模型.... 为了支持并行程序设计,几乎所有的程序设计语言均通过提供并行与同步通信机制来支持某一高级并行计算模型,如Ada语言的任务与会合机制以及Java语言的线程和同步方法.显然,这样的程序设计语言仅能支持一种高级并行计算模型.尽管单模型的途径对某些应用来说简单而有效,但由于现实世界中的问题往往较为繁杂而难以完全用单一模型来解决.文章采用面向对象的语言机制和框架技术来解决此问题.通过分析现有各种语言中高级并行计算模型的共性,提出了若干新的面向对象语言机制.以此为基础,提出了并行面向对象框架的概念,并讨论用其表达和使用高级并行计算模型的方法.结果是,可在某种意义下将高级并行计算模型从语言中分离出来,而单一语言可由多个并行框架加以支撑,从而使得在单一面向对象语言中支持多种高级并行计算模型成为可能. 展开更多
关键词 并行计算模型 面向对象 并行框架 并行程序设计
在线阅读 下载PDF
基于分布式对象的并行计算框架(英文) 被引量:1
10
作者 李国东 张德富 《软件学报》 EI CSCD 北大核心 2002年第3期342-353,共12页
在为工作站机群构造并行软件的过程中,计算特征和组成特征非常重要.但是,由于缺乏有效的支撑环境,当今的分布式并行计算软件系统效率低下,这在计算特征方面尤为明显.提出一个基于分布式对象的并行计算框架,目的在于保证高效的并行计算开... 在为工作站机群构造并行软件的过程中,计算特征和组成特征非常重要.但是,由于缺乏有效的支撑环境,当今的分布式并行计算软件系统效率低下,这在计算特征方面尤为明显.提出一个基于分布式对象的并行计算框架,目的在于保证高效的并行计算开发,提供封装和复用并行程序的机制,并保证系统的动态平衡和容错性.框架是4层模型,包括对象组层和移动对象层.实验结果证明了方案的有效性. 展开更多
关键词 分布式对象 移动对象 并行计算 工作站机群 框架 并行软件 软件开发
在线阅读 下载PDF
钢筋混凝土框架结构计算机仿真与并行计算
11
作者 王洪涛 谢礼立 《世界地震工程》 CSCD 北大核心 2006年第3期14-20,共7页
介绍了钢筋混凝土框架结构计算机仿真和并行计算的研究现状。数值仿真主要采用有限元、离散元等数学物理模型,而可视化技术及图形仿真基于图形学和图像处理技术,是驾驭计算过程及理解大体积数据的唯一有效途径。有限元并行计算有SBS、EB... 介绍了钢筋混凝土框架结构计算机仿真和并行计算的研究现状。数值仿真主要采用有限元、离散元等数学物理模型,而可视化技术及图形仿真基于图形学和图像处理技术,是驾驭计算过程及理解大体积数据的唯一有效途径。有限元并行计算有SBS、EBE两种策略,非线性求解有直接与迭代解法,动力时程分析有显式、隐式和精细时程积分法。最后介绍了并行计算在钢筋混凝土结构分析中的应用。 展开更多
关键词 钢筋混凝土框架 仿真 并行计算
在线阅读 下载PDF
基于分布式数据集的并行计算框架内存优化方法 被引量:9
12
作者 夏立斌 刘晓宇 +1 位作者 姜晓巍 孙功星 《计算机工程》 CAS CSCD 北大核心 2023年第4期43-51,共9页
随着科学计算和人工智能技术的快速发展,分布式环境下的并行计算已成为解决大规模理论计算和数据处理问题的重要手段。内存容量的提高以及迭代算法的广泛应用,使得以Spark为代表的内存计算技术愈发成熟。但是,当前主流的分布式内存模型... 随着科学计算和人工智能技术的快速发展,分布式环境下的并行计算已成为解决大规模理论计算和数据处理问题的重要手段。内存容量的提高以及迭代算法的广泛应用,使得以Spark为代表的内存计算技术愈发成熟。但是,当前主流的分布式内存模型和计算框架难以兼顾易用性和计算性能,并且在数据格式定义、内存分配、内存使用效率等方面存在不足。提出一种基于分布式数据集的并行计算方法,分别从模型理论和系统开销两个角度对内存计算进行优化。在理论上,通过对计算过程进行建模分析,以解决Spark在科学计算环境下表达能力不足的问题,同时给出计算框架的开销模型,为后续性能优化提供支持。在系统上,提出一种框架级的内存优化方法,该方法主要包括对跨语言分布式内存数据集的重构、分布式共享内存的管理、消息传递过程的优化等模块。实验结果表明,基于该优化方法实现的并行计算框架可以显著提升数据集的内存分配效率,减少序列化/反序列化开销,缓解内存占用压力,应用测试的执行时间相比Spark减少了69%~92%。 展开更多
关键词 内存计算 并行计算 内存优化 spark框架 消息传递接口
在线阅读 下载PDF
应用并行计算框架提升地震数据处理效率分析 被引量:6
13
作者 祝树云 朱旭光 +1 位作者 颉冬莲 张丽梅 《石油地球物理勘探》 EI CSCD 北大核心 2011年第3期493-499,332,共7页
并行计算框架系统将地震数据可分割处理的特点与现代计算机群多节点、多线程的并行运算能力巧妙结合,在提升常规地震处理运算效率、缩短地震资料处理周期方面发挥了显著作用。本文通过大量数据的测试,对影响并行计算框架运算效率的各种... 并行计算框架系统将地震数据可分割处理的特点与现代计算机群多节点、多线程的并行运算能力巧妙结合,在提升常规地震处理运算效率、缩短地震资料处理周期方面发挥了显著作用。本文通过大量数据的测试,对影响并行计算框架运算效率的各种因素进行了分析。并行计算框架对地震数据处理运行效率的提高并不是随着并行任务数线性增长,与机群I/O效率及并行处理作业的计算量有关。随着并行任务数的增加,效率提高速度会逐步放缓,当达到最佳并行度时会出现拐点。另外,并行计算框架效率的提高与数据分割粒度有关,粗粒度分割更有利。因此应用并行框架系统时,应根据机群I/O效率与并行处理作业的计算量,选择合理的并行处理任务数。 展开更多
关键词 并行计算框架 并行效率 并行加速比 处理周期
在线阅读 下载PDF
适用于任意网格的大规模并行CFD计算框架PHengLEI 被引量:32
14
作者 赵钟 张来平 +3 位作者 何磊 何先耀 郭永恒 徐庆新 《计算机学报》 EI CSCD 北大核心 2019年第11期2368-2383,共16页
针对计算流体力学(Computational Fluid Dynamics,CFD)大规模并行计算的需要,我们设计了适用于任意网格类型的并行计算框架风雷(PHengLEI)软件,同时支持结构网格、非结构网格和重叠网格.为了实现并行通信与网格类型无关且与物理求解器... 针对计算流体力学(Computational Fluid Dynamics,CFD)大规模并行计算的需要,我们设计了适用于任意网格类型的并行计算框架风雷(PHengLEI)软件,同时支持结构网格、非结构网格和重叠网格.为了实现并行通信与网格类型无关且与物理求解器开发者隔离,我们设计了通用的通信模式和一种基于网格块的“三合一”的数据交换模式,即将多块结构网格块、并行分区网格块和结构/非结构网格块间的交界面数据完全标准化为数据底层后,在数据底层统一进行交换,使得数据交换不依赖于网格类型和数据类型,从而实现任意网格类型并行通信模式的统一.作为气动数据生产的“数值风洞”,要求代码将并行隔离至底层,为此针对主流计算机系统的特点,设计了粗粒度MPI/OpenMP混合并行模式,领域专家只需关注求解器开发而无需关注并行通信,在提高可移植性、可扩展性的同时尽可能兼顾封装性.针对大规模并行计算的实际工程需求,设计了并行分区、大规模并行文件存储模式,以缩短前置处理和文件I/O时间.最后,分别基于结构网格、非结构网格和重叠网格,给出了工程应用领域的标模算例,以说明PHengLEI并行计算框架对不同网格类型的适应性.大规模网格测试结果表明,国产定制集群上16.38万核并行效率达83%以上,“天河二号”上近10万核并行效率达95%以上,展现了较好的可扩展性和并行计算效率. 展开更多
关键词 并行计算 MPI/OpenMP混合并行 CFD并行计算框架 PHengLEI 风雷软件 HyperFLOW
在线阅读 下载PDF
基于Spark框架和ASPSO的并行划分聚类算法 被引量:11
15
作者 毛伊敏 甘德瑾 +1 位作者 廖列法 陈志刚 《通信学报》 EI CSCD 北大核心 2022年第3期148-163,共16页
针对划分聚类算法处理海量的数据存在的数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题,提出了一种基于Spark框架和粒子群优化自适应策略(ASPSO)的并行划分聚类(PDC-SFASPSO)算法... 针对划分聚类算法处理海量的数据存在的数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题,提出了一种基于Spark框架和粒子群优化自适应策略(ASPSO)的并行划分聚类(PDC-SFASPSO)算法。首先,提出了基于皮尔逊相关系数和方差的网格划分策略获取数据离散系数较小的网格单元并进行离群点过滤,解决了数据离散系数较大与抗干扰性差的问题;其次,提出了基于势函数与高斯函数的网格划分策略,获取局部聚类的簇数,解决了局部簇簇数难以确定的问题;再次,提出了ASPSO获取局部簇质心,解决了局部簇质心的随机性问题;最后,提出了基于簇半径与邻居节点的合并策略对相似度大的簇进行并行化合并,提高了局部簇并行化合并的效率。实验结果表明,PDC-SFASPSO算法在大数据环境下进行数据的划分聚类具有较好的性能表现,适用于对大规模的数据集进行并行化聚类。 展开更多
关键词 spark框架 并行划分聚类 网格划分 粒子群优化自适应策略 并行化合并
在线阅读 下载PDF
一种基于Spark框架的并行FP-Growth挖掘算法 被引量:14
16
作者 张稳 罗可 《计算机工程与科学》 CSCD 北大核心 2017年第8期1403-1409,共7页
Apriori和FP-Growth算法是频繁模式挖掘中的经典算法,由于Apriori存在更多缺陷,因此FP-Growth是单机计算环境下比较高效的算法。然而,对于非并行计算在大数据时代遇到的瓶颈,提出一种基于事务中项间联通权重矩阵的负载平衡并行频繁模式... Apriori和FP-Growth算法是频繁模式挖掘中的经典算法,由于Apriori存在更多缺陷,因此FP-Growth是单机计算环境下比较高效的算法。然而,对于非并行计算在大数据时代遇到的瓶颈,提出一种基于事务中项间联通权重矩阵的负载平衡并行频繁模式增长算法CWBPFP。算法在Spark框架上实现并行计算,数据分组时利用负载均衡策略,存入分组的数据是相应频繁项的编码。每个工作节点将分组数据中每一个事物中项的联通信息存入一个下三角联通权重矩阵中,使用被约束子树来加快每个工作节点挖掘频繁模式时创建条件FP-tree的速度,再用联通权重矩阵避免每次挖掘分组中频繁模式时对条件模式基的第一次扫描。由于联通权重矩阵和被约束子树的结合应用于每一个工作节点的FP-tree挖掘过程,因此提升了并行挖掘FP-tree性能。通过实验表明,所提出的并行算法对大的数据有较高性能和可扩展性。 展开更多
关键词 数据挖掘 关联规则 FP-GROWTH 大数据 并行计算 spark
在线阅读 下载PDF
数据驱动并行计算的3层软件架构设计及应用 被引量:3
17
作者 张爱清 莫则尧 杨章 《计算机研究与发展》 EI CSCD 北大核心 2014年第11期2538-2546,共9页
数据驱动并行计算是科学与工程计算中普遍存在的一类计算,其执行通常依赖于数据流有向图.在实际应用中,结点调度、数据通信和数值计算紧耦合并发执行,较难解耦编程,这给应用软件的协同研制和代码复用带来困难.借助于统一形式的数据流有... 数据驱动并行计算是科学与工程计算中普遍存在的一类计算,其执行通常依赖于数据流有向图.在实际应用中,结点调度、数据通信和数值计算紧耦合并发执行,较难解耦编程,这给应用软件的协同研制和代码复用带来困难.借助于统一形式的数据流有向图并行算法框架,分无环有向图调度、无环有向图建模和数值计算3个层次,设计了软件体系结构,实现于并行自适应结构网格应用支撑软件(J parallel adaptive structured mesh applications infrastructure,JASMIN)框架的通量扫描积分构件中,有力地支持了结点调度、数据通信和数值计算的解耦编程.研究成果成功应用于科学计算中典型的中子输运计算,典型的代码开销测试和2 048个处理器核的并行性能测试表明,软件架构及其构件化实现是有效的. 展开更多
关键词 数据驱动 并行计算 无环有向图 JASMIN框架 软件体系结构 解耦
在线阅读 下载PDF
基于Spark和NRSCA策略的并行深度森林算法
18
作者 毛伊敏 刘绍芬 《计算机应用研究》 CSCD 北大核心 2024年第1期126-133,共8页
针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题,提出了基于Spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA。首先,该算法提出了基于邻域粗糙集和Fisher ... 针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题,提出了基于Spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA。首先,该算法提出了基于邻域粗糙集和Fisher score的特征选择策略(FS-NRS),通过衡量特征的相关性和冗余度,对特征进行过滤,有效减少了冗余及无关特征的数量;其次,提出了一种随机选择和等距提取的扫描策略(S-RSEE),保证了所有特征能够同概率被利用,解决了多粒度扫描两端特征利用率低的问题;最后,结合Spark框架,实现级联森林并行化训练,提出了基于重要性指数的特征筛选机制(FFM-II),筛选出非关键性特征,平衡增强类向量与原始类向量维度,从而加快模型收敛速度,同时设计了基于SCA的任务调度机制(TSM-SCA),将任务重新分配,保证集群负载均衡,解决了级联森林并行效率低的问题。实验表明,PDF-SNRSCA算法能有效提高深度森林的分类效果,且对深度森林并行化训练的效率也有大幅提升。 展开更多
关键词 并行深度森林算法 spark框架 邻域粗糙集 正弦余弦算法 多粒度扫描
在线阅读 下载PDF
Spark框架下支持差分隐私保护的K-means++聚类方法 被引量:5
19
作者 石江南 彭长根 谭伟杰 《信息安全研究》 CSCD 北大核心 2024年第8期712-718,共7页
针对差分隐私聚类算法在处理海量数据时其隐私性和可用性之间的矛盾,提出了一种分布式环境下支持差分隐私的K-means++聚类算法.该算法通过内存计算引擎Spark,创建弹性分布式数据集,利用转换算子及行动算子操作数据进行运算,并在选取初... 针对差分隐私聚类算法在处理海量数据时其隐私性和可用性之间的矛盾,提出了一种分布式环境下支持差分隐私的K-means++聚类算法.该算法通过内存计算引擎Spark,创建弹性分布式数据集,利用转换算子及行动算子操作数据进行运算,并在选取初始化中心点及迭代更新中心点的过程中,通过综合利用指数机制和拉普拉斯机制,以解决初始聚类中心敏感及隐私泄露问题,同时减少计算过程中对数据实施的扰动.根据差分隐私的特性,从理论角度对整个算法进行证明,以满足ε-差分隐私保护.实验结果证明了该方法在确保聚类结果可用性的前提下,具备出色的隐私保护能力和高效的运行效率. 展开更多
关键词 数据挖掘 聚类算法 差分隐私 spark框架 指数机制
在线阅读 下载PDF
基于高性能计算的SWAT参数敏感度分析并行框架 被引量:4
20
作者 李强 陆忠华 +2 位作者 王彦棡 陈曦 罗毅 《计算机应用研究》 CSCD 北大核心 2015年第1期41-44,70,共5页
随着大规模水文模拟需求的不断提高,如何解决计算需求问题逐渐成为水文研究的一个热点。SWAT(soil and water assessment tool)模型在进行大规模水文模拟时有着良好的适应性与准确度,但其敏感度分析模块由于计算量过高,计算时长往往长... 随着大规模水文模拟需求的不断提高,如何解决计算需求问题逐渐成为水文研究的一个热点。SWAT(soil and water assessment tool)模型在进行大规模水文模拟时有着良好的适应性与准确度,但其敏感度分析模块由于计算量过高,计算时长往往长达数月之久。为了加快SWAT敏感度分析的运行速度,针对SWAT敏感度分析模块的特点,基于MPI提出了一种高效的主—从式并行计算框架,并在此框架的基础上,通过将正演过程并行化,在敏感度分析的主—从并行框架中引入通信子空间的操作,将并行化的正演与主—从式的外层并行框架相结合,得到一种混合式的敏感度分析并行框架,大大提高了对参数集合的敏感度分析速度,将SWAT敏感度分析模块使用的处理器数量从原始的单核串行一跃提升到百核的数量级。最后通过天山北坡流域的模拟验证了此并行框架的可行性。 展开更多
关键词 SWAT LH-OAT算法 参数敏感性分析 并行计算 通信子空间 主—从并行框架
在线阅读 下载PDF
上一页 1 2 8 下一页 到第
使用帮助 返回顶部