期刊文献+
共找到3,538篇文章
< 1 2 177 >
每页显示 20 50 100
基于负载均衡和冗余剪枝的并行FP-Growth算法 被引量:8
1
作者 刘祥哲 刘培玉 +2 位作者 任敏 伊静 高钊 《数据采集与处理》 CSCD 北大核心 2016年第1期223-230,共8页
针对现有的并行FP-Growth算法在数据并行分组时存在数据冗余和负载不均的问题,提出了基于负载估算和冗余剪枝的优化算法。首先,在采用高频策略分组时,引入节点任务估算方法,把每个分组中最大模式树的最长路径和支持度作为该分组的估计值... 针对现有的并行FP-Growth算法在数据并行分组时存在数据冗余和负载不均的问题,提出了基于负载估算和冗余剪枝的优化算法。首先,在采用高频策略分组时,引入节点任务估算方法,把每个分组中最大模式树的最长路径和支持度作为该分组的估计值,将估计值远大于其他节点的分组进行分割,平均到其他分组中,并且对不同分组中重复的列表元素进行截断,去除冗余数据。实验表明,本文提出的算法能够有效防止并行化的数据倾斜,减少数据冗余,在时间和空间复杂度上要低于以前的并行化FP-Growth算法。 展开更多
关键词 关联规则 MAPREDUCE 冗余剪枝 fp-growth算法
在线阅读 下载PDF
基于Spark的并行FP-Growth算法优化与实现 被引量:8
2
作者 陆可 桂伟 +1 位作者 江雨燕 杜萍萍 《计算机应用与软件》 2017年第9期273-278,共6页
频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集... 频繁模式挖掘作为模式识别的重要问题,一直受到研究者的广泛关注。FP-Growth算法因其高效快速的特点,被大量应用于频繁模式的挖掘任务中。然而,该算法依赖于内存运行的特性,使其难以适应大规模数据计算。针对上述问题,围绕大规模数据集下频繁模式挖掘展开研究,基于Spark框架,通过对支持度计数和分组过程的优化改进了FP-Growth算法,并实现了算法的分布式计算和计算资源的动态分配。运算过程中产生的中间结果均保存在内存中,因此有效减少数据的I/O消耗,提高算法的运行效率。实验结果表明,经优化后的算法在面向大规模数据时要优于传统的FP-Growth算法。 展开更多
关键词 频繁模式挖掘 fp-growth算法 分布式计算 Spark框架
在线阅读 下载PDF
基于ABWO的并行DCNN优化算法 被引量:1
3
作者 毛伊敏 刘映兴 《计算机工程与设计》 北大核心 2025年第2期353-359,共7页
针对并行DCNN算法在大数据环境下存在特征差异性较小、模型性能不足、参数更新慢和集群并行效率低等问题,提出一种基于ABWO的并行DCNN优化算法PDCNN-ABWO。提出一种基于自适应密度峰值聚类的特征选择策略FS-ADPC划分原始特征,筛选差异... 针对并行DCNN算法在大数据环境下存在特征差异性较小、模型性能不足、参数更新慢和集群并行效率低等问题,提出一种基于ABWO的并行DCNN优化算法PDCNN-ABWO。提出一种基于自适应密度峰值聚类的特征选择策略FS-ADPC划分原始特征,筛选差异性较大的特征;设计一种ResNet-CBAMDW模型,提升模型性能;提出一种基于自适应黑寡妇优化算法的并行训练策略PT-ABWO优化初始参数,加快参数更新速度;提出一种基于大数据基准测试的动态负载均衡策略DLB-BDB,合理分配任务负载,提升集群并行效率。实验结果表明,该算法能够有效提升DCNN在大数据环境下的训练效率。 展开更多
关键词 大数据 并行深度卷积神经网络算法 密度峰值聚类 自适应黑寡妇优化算法 并行训练 基准测试 负载均衡
在线阅读 下载PDF
基于ASCABC的并行DCNN优化算法
4
作者 胡健 周奇航 毛伊敏 《计算机工程与设计》 北大核心 2025年第4期983-989,共7页
针对大数据环境下并行DCNN存在冗余计算过多、收敛速度慢、参数寻优能力差以及中间数据倾斜等问题提出一种基于Spark和ASCABC的DCNN-SASCABC算法。提出基于冯诺依曼熵的FMC-VNE策略来对特征图进行压缩,降低冗余计算;提出基于自适应人工... 针对大数据环境下并行DCNN存在冗余计算过多、收敛速度慢、参数寻优能力差以及中间数据倾斜等问题提出一种基于Spark和ASCABC的DCNN-SASCABC算法。提出基于冯诺依曼熵的FMC-VNE策略来对特征图进行压缩,降低冗余计算;提出基于自适应人工蜂群算法的MPT-ASCABC策略进行参数初始化,提高DCNN收敛速度与参数寻优能力;提出中间数据分配策略BA-ID重分配中间数据,解决Spark中间数据倾斜的问题。实验结果表明,所提算法提高了大数据环境下模型训练效率。 展开更多
关键词 SPARK 大数据 并行DCNN 冗余数据 自适应人工蜂群算法 参数初始化 数据倾斜
在线阅读 下载PDF
基于强化学习与遗传算法的机器人并行拆解序列规划方法 被引量:2
5
作者 汪开普 马晓艺 +2 位作者 卢超 殷旅江 李新宇 《国防科技大学学报》 北大核心 2025年第2期24-34,共11页
在拆解序列规划问题中,为了提高拆解效率、降低拆解能耗,引入了机器人并行拆解模式,构建了机器人并行拆解序列规划模型,并设计了基于强化学习的遗传算法。为了验证模型的正确性,构造了混合整数线性规划模型。算法构造了基于目标导向的... 在拆解序列规划问题中,为了提高拆解效率、降低拆解能耗,引入了机器人并行拆解模式,构建了机器人并行拆解序列规划模型,并设计了基于强化学习的遗传算法。为了验证模型的正确性,构造了混合整数线性规划模型。算法构造了基于目标导向的编解码策略,以提高初始解的质量;采用Q学习来选择算法迭代过程中的最佳交叉策略和变异策略,以增强算法的自适应能力。在一个34项任务的发动机拆解案例中,通过与四种经典多目标算法对比,验证了所提算法的优越性;分析所得拆解方案,结果表明机器人并行拆解模式可以有效缩短完工时间,并降低拆解能耗。 展开更多
关键词 拆解序列规划 机器人并行拆解 混合整数线性规划模型 遗传算法 强化学习
在线阅读 下载PDF
三维抛物方程模型海底边界处理与并行算法研究
6
作者 瞿宇轩 程兴华 +1 位作者 周晓兰 邹劭芬 《声学技术》 北大核心 2025年第2期181-188,共8页
构建一种迅速而准确的三维声场模型以满足实际海洋条件,始终是当前科学研究的重点目标。作为一种步进求解的手段,抛物方程近似的方法在已知初始地的声场后以间距为单位步进,最终能得到整个波导中的声场,这对于处理声场三维变化和声道水... 构建一种迅速而准确的三维声场模型以满足实际海洋条件,始终是当前科学研究的重点目标。作为一种步进求解的手段,抛物方程近似的方法在已知初始地的声场后以间距为单位步进,最终能得到整个波导中的声场,这对于处理声场三维变化和声道水平变化相关的场景是十分方便的。但相对地,三维空间中的计算复杂度和计算范围要远大于二维空间,这就严重制约了模型的计算精度和速度。为了提高现有抛物方程模型的计算精度和运算速度,文章对同时考虑距离、深度和水平方位角的水下声传播模型,即三维抛物方程模型进行了推导并分析其数学特性。同时通过在海底边界插入完全匹配层的方法,对模型进行了改进,提出一种计算精度更高的抛物方程模型。此外,为了减小三维声场计算的时间,文章研究改进了模型的可并行性,在FOR3D串行算法的基础上基于多线程的共享内存技术OpenMP开发了三维抛物方程模型的并行算法,并与普通吸收层在不同线程数下的运行时间进行对比。结果表明,基于完全匹配层模型的并行算法与原模型相比,无论是在加速比还是运算速度上都有很大的提高,具有重要的工程意义。 展开更多
关键词 三维抛物方程 人工吸收层 完全匹配层 并行算法
在线阅读 下载PDF
基于压缩感知稀疏域模型并行坐标下降算法的DOA估计方法
7
作者 王宏妍 白艳萍 +2 位作者 郑文康 王立府 续婷 《吉林大学学报(理学版)》 北大核心 2025年第3期924-933,共10页
针对现有的波达方向(direction of arrival,DOA)估计方法在低信噪比、小快拍、多信源条件下估计精度较低的问题,提出一种基于并行坐标下降算法的DOA估计方法.首先,对空域等角度均匀划分,构造超完备冗余字典;其次,采用并行坐标下降算法... 针对现有的波达方向(direction of arrival,DOA)估计方法在低信噪比、小快拍、多信源条件下估计精度较低的问题,提出一种基于并行坐标下降算法的DOA估计方法.首先,对空域等角度均匀划分,构造超完备冗余字典;其次,采用并行坐标下降算法的思想对稀疏信号进行重构,得到信号在空域的稀疏系数矩阵;最后,将稀疏矩阵行向量的l2-范数映射到空域网格上,得到准确的DOA估计值.仿真实验结果表明:在低信噪比、小快拍、多信源条件下,该方法优于子空间类算法、贪婪类算法以及凸优化类算法,具有更低的均方根误差(RMSE)、更高的DOA估计精度和运行效率. 展开更多
关键词 波达方向估计 压缩感知 并行坐标下降算法 矢量水听器阵列信号
在线阅读 下载PDF
基于遗传算法的航天发射场多任务并行规划方法
8
作者 张俊新 胡梅 +4 位作者 钟文安 孙乐园 胡鹏 叶欣 晏政 《电子测量与仪器学报》 北大核心 2025年第5期117-124,共8页
当前,航天发射建设规模不断扩大,建设多个测试发射的设备设施后,发射场面临多枚运载火箭并行测试的任务规划问题。运载火箭进场、测试、总装、转运和加注发射分别在不同的测试区域完成,由于型号差异,某些测试区域可以共用,某些不能共用... 当前,航天发射建设规模不断扩大,建设多个测试发射的设备设施后,发射场面临多枚运载火箭并行测试的任务规划问题。运载火箭进场、测试、总装、转运和加注发射分别在不同的测试区域完成,由于型号差异,某些测试区域可以共用,某些不能共用,且同一测试区域能够容纳的运载火箭有限(通常仅能容纳1枚),在这些约束条件下,如何在尽可能短的时间内完成多任务并行的计划安排是必须解决的重要问题。通过对国内外相关问题研究的分析,梳理了2000年以来国内航天发射场测试发射工艺流程设计和优化的方法,现行的“双代号网络计划图”难以适应多任务并行规划需要,关键路径法、价值链分析法等缺乏定量分析能力。结合国内航天发射场规划问题的难点,采用遗传算法,通过双层编码方式,根据并行任务数量确定种群规模和迭代次数,以航天发射场任务规划的目标函数作为算法适应度计算函数。经过算例验证,可以得到可供工程应用的多任务并行规划较为优化的方案,求解5枚火箭任务并行规划方案用时<1 min,较传统手工绘制双代号网络计划图的方式效率大幅提升。方法具有一定的通用性和扩展性,可以根据不同火箭任务的流程对编码方法进行设置和细化,从而提高算法的实用性。 展开更多
关键词 多任务并行规划 航天发射任务规划 航班化发射 高效发射 遗传算法
在线阅读 下载PDF
基于复模态分析与并行遗传算法的车辆动力参数识别
9
作者 施剑锋 丁勇 +2 位作者 沈伯衡 韩凌霞 谢旭 《哈尔滨工业大学学报》 北大核心 2025年第7期42-51,共10页
获取准确的车辆动力参数是车桥耦合振动分析与桥梁健康监测的前提,为此,提出了一种基于复模态分析与多核并行遗传算法的车辆动力参数快速识别方法。首先,改进了复模态理论结合有限元方法获取车辆自振频率、阻尼比、模态振型的算法;然后... 获取准确的车辆动力参数是车桥耦合振动分析与桥梁健康监测的前提,为此,提出了一种基于复模态分析与多核并行遗传算法的车辆动力参数快速识别方法。首先,改进了复模态理论结合有限元方法获取车辆自振频率、阻尼比、模态振型的算法;然后,提出了车辆动力参数识别的多核并行遗传算法,采用多目标适应度评价,以快速、准确地识别车辆刚度、阻尼、转动惯量;最后,采用车轮跌落振动实验和环境激励峰值法实测车辆的模态,获取用于适应度评价的自振频率、阻尼比和振型。通过对轻型汽车、重型卡车的动力参数进行识别进行验证,结果表明:用识别的车辆动力参数计算得到的车辆振动模态,与实测振动模态吻合,其中前3阶固有频率的最大误差为0.8%、阻尼比最大误差为1.3%,计算与实测振型向量之间的夹角余弦接近1;车辆的分析模型有必要增加车体的扭转阻尼,以准确反映实际车辆的扭转振动特性;多核并行算法大大加速了识别过程。16核心CPU在15核心并行时的加速比达到最大值12.5,在复杂车辆的多目标、多参数识别中,采用多核并行算法是非常有效的。 展开更多
关键词 车桥耦合振动 车辆有限元模型 复模态分析 动力参数识别 多核并行计算 遗传算法
在线阅读 下载PDF
基于并行球形译码算法的PMSM多步预测控制
10
作者 刘涛 娄瀚文 +1 位作者 李跃华 李博 《组合机床与自动化加工技术》 北大核心 2025年第4期102-106,共5页
模型预测控制在近几十年成为永磁同步电机控制领域的研究热点,其中多步预测算法相比传统的单步预测算法,具有更优的动稳态性能。但其寻优过程复杂且计算量大,限制了其在电机驱动领域的应用。为此,针对永磁同步电机驱动系统进行研究,提... 模型预测控制在近几十年成为永磁同步电机控制领域的研究热点,其中多步预测算法相比传统的单步预测算法,具有更优的动稳态性能。但其寻优过程复杂且计算量大,限制了其在电机驱动领域的应用。为此,针对永磁同步电机驱动系统进行研究,提出了一种基于并行球形译码算法的多步预测控制策略。相比于传统的多步预测,所提控制策略将多步预测过程转化为最小二乘问题,采用并行球形译码寻优策略实现多个分支同时探索。在此基础上,设计了基于FPGA的并行计算方法,有效优化了寻优效率。实验结果表明,所提策略大大减少了多步预测算法的计算时间,进而实现更高的预测步数,有效降低了永磁同步电机的电流谐波失真与转矩脉动。 展开更多
关键词 永磁同步电机 多步预测控制 并行球形译码算法 并行计算
在线阅读 下载PDF
面向高速列车控制数据的推测并行检测算法
11
作者 马强 《计算机工程与设计》 北大核心 2025年第3期762-769,共8页
针对传统检测方法难以高效处理轨道交通中海量列控数据的问题,设计一种面向高速列车控制数据的推测并行检测算法。分析高速列车控制数据的结构,进行尝试性的数据划分,消解数据内部依赖;利用推测技术,对传统的检测算法展开并行化改造,规... 针对传统检测方法难以高效处理轨道交通中海量列控数据的问题,设计一种面向高速列车控制数据的推测并行检测算法。分析高速列车控制数据的结构,进行尝试性的数据划分,消解数据内部依赖;利用推测技术,对传统的检测算法展开并行化改造,规避传统方法中内联关系对检测顺序的影响;在分布式平台上使用并行化的算法对划分数据展开检测,借助推测并行技术和分布式平台,提高面向列车控制数据的检测效率。基于西安铁路局的列控数据进行实验,其结果表明,与传统检测方法和其它并行检测方法相比,所提并行算法具有更好的检测效率、良好的可扩展,能够对海量的高速列车控制数据展开及时有效的检测。 展开更多
关键词 轨道交通 高速列车 列控数据 异常检测 分布式计算 推测并行 并行算法
在线阅读 下载PDF
基于孤立集分区的并行Louvain社区发掘算法
12
作者 李世杰 刘阳 +1 位作者 唐晋韬 郄航 《计算机工程与科学》 北大核心 2025年第4期621-633,共13页
为了将社区发掘应用中流行的Louvain算法应用于大规模图网络,研究人员提出了一系列并行Louvain算法,但这些并行算法均面临着2个挑战:信息同步产生的延迟和社区标签交换问题。为此创新性地引入了“孤立集”的概念,根据孤立集特性对图网... 为了将社区发掘应用中流行的Louvain算法应用于大规模图网络,研究人员提出了一系列并行Louvain算法,但这些并行算法均面临着2个挑战:信息同步产生的延迟和社区标签交换问题。为此创新性地引入了“孤立集”的概念,根据孤立集特性对图网络进行分区,并在此基础上提出了基于孤立集的并行Louvain算法。该算法可并行计算和更新顶点信息,不再产生同步延迟或社区标签交换。而后针对孤立集并行算法存在数据长尾效应的局限性,提出了基于哈希表的改进融合算法,进一步提升了计算效能。实验结果表明,孤立集并行算法和融合算法相比传统算法具有良好的加速比和更高的模块度。 展开更多
关键词 并行计算 孤立集 图划分 Louvain算法 社区发掘
在线阅读 下载PDF
并行化的多目标优化海缆路由规划算法研究
13
作者 蒋佳芮 赵赞善 +1 位作者 段茂生 高冠军 《光通信研究》 北大核心 2025年第2期105-109,共5页
【目的】文章为了解决传统蚁群优化(ACO)算法更新同一张地图导致无法并行规划的缺陷,提出了一种并行多目标优化海缆路由规划算法,实现了局部区域的精细规划。【方法】文章采用分治思想将目标海域的栅格地图分割成多个栅格子图,建立了并... 【目的】文章为了解决传统蚁群优化(ACO)算法更新同一张地图导致无法并行规划的缺陷,提出了一种并行多目标优化海缆路由规划算法,实现了局部区域的精细规划。【方法】文章采用分治思想将目标海域的栅格地图分割成多个栅格子图,建立了并行化多目标优化海缆路由规划算法模型,并对模型关键参数进行优化,然后在最佳模型参数下,利用并行化蚁群优化(PACO)算法进行海底光缆路由规划,统计了Pareto前沿解下的海底光缆路由方案。【结果】仿真结果表明,并行多目标优化算法模型在分块数量为6,蚁群规模大小为150时,获得最佳的搜索能力和效率。PACO算法规划的海底光缆路由与传统ACO算法相比在相同风险条件下节省了33.9%的成本,且路由成本均小于传统ACO算法,路由最大成本与传统ACO算法的最小成本相比还降低了20.6%,同时相应的风险降低了65.8%。【结论】在多目标海底光缆路由规划中,与传统ACO算法相比,PACO算法不仅在规划结果上更优,而且运算时间效率提高至少8倍。 展开更多
关键词 海缆路由规划 并行蚁群优化算法 多目标优化
在线阅读 下载PDF
基于GPU的Winograd卷积算法并行化
14
作者 王鑫 甄雪茹 《计算机应用研究》 北大核心 2025年第8期2446-2451,共6页
针对现代卷积神经网络中计算负荷过重的问题,提出一种基于GPU的创新性Winograd并行卷积算法。该算法利用负载均衡的任务映射、优化数据加载策略以隐藏延迟,并结合动态填充方法,充分挖掘Winograd卷积算法与GPU架构的协同效应。实验结果表... 针对现代卷积神经网络中计算负荷过重的问题,提出一种基于GPU的创新性Winograd并行卷积算法。该算法利用负载均衡的任务映射、优化数据加载策略以隐藏延迟,并结合动态填充方法,充分挖掘Winograd卷积算法与GPU架构的协同效应。实验结果表明,在经典卷积神经网络模型ResNet的多个卷积层上,提出的算法优于NVIDIA cuDNN 8.3.0库中的标准Winograd卷积算法,在Turing架构的RTX 2080Ti GPU上实现高达2.46的加速比,并且保持较高的计算准确性。与基于GPU的标准Winograd卷积算法相比,该算法显著提升了卷积计算效率。 展开更多
关键词 Winograd算法 并行计算 CUDA 卷积神经网络
在线阅读 下载PDF
一种基于Spark框架的并行FP-Growth挖掘算法 被引量:14
15
作者 张稳 罗可 《计算机工程与科学》 CSCD 北大核心 2017年第8期1403-1409,共7页
Apriori和FP-Growth算法是频繁模式挖掘中的经典算法,由于Apriori存在更多缺陷,因此FP-Growth是单机计算环境下比较高效的算法。然而,对于非并行计算在大数据时代遇到的瓶颈,提出一种基于事务中项间联通权重矩阵的负载平衡并行频繁模式... Apriori和FP-Growth算法是频繁模式挖掘中的经典算法,由于Apriori存在更多缺陷,因此FP-Growth是单机计算环境下比较高效的算法。然而,对于非并行计算在大数据时代遇到的瓶颈,提出一种基于事务中项间联通权重矩阵的负载平衡并行频繁模式增长算法CWBPFP。算法在Spark框架上实现并行计算,数据分组时利用负载均衡策略,存入分组的数据是相应频繁项的编码。每个工作节点将分组数据中每一个事物中项的联通信息存入一个下三角联通权重矩阵中,使用被约束子树来加快每个工作节点挖掘频繁模式时创建条件FP-tree的速度,再用联通权重矩阵避免每次挖掘分组中频繁模式时对条件模式基的第一次扫描。由于联通权重矩阵和被约束子树的结合应用于每一个工作节点的FP-tree挖掘过程,因此提升了并行挖掘FP-tree性能。通过实验表明,所提出的并行算法对大的数据有较高性能和可扩展性。 展开更多
关键词 数据挖掘 关联规则 fp-growth 大数据 并行计算 SPARK
在线阅读 下载PDF
负载均衡的FP-growth并行算法研究 被引量:10
16
作者 曾志勇 杨呈智 陶冶 《计算机工程与应用》 CSCD 北大核心 2010年第4期125-126,229,共3页
针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证... 针对在大数据量频繁模式挖掘的时候,有效地利用空闲的计算资源,提出一种基于FP-growth算法的并行算法。该算法有效地将FP-growth主要的计算部分合理地分配到各个计算节点上,各个节点独立完成挖掘后返回结果,从而缩短总计算时间。实验证明,该算法可以完整高效地挖掘频繁模式,并且实现均衡负载。 展开更多
关键词 数据挖掘 并行算法 FP—growth 频繁模式
在线阅读 下载PDF
集群系统中的FP-Growth并行算法 被引量:8
17
作者 陈敏 李徽翡 《计算机工程》 CAS CSCD 北大核心 2009年第20期71-72,75,共3页
针对FP-Growth算法面临大规模数据库时空效率不高的问题,提出一种面向计算机集群的并行算法。采用投影方法直接寻找频繁项的条件数据库,将挖掘条件数据库的工作分化成若干独立的子任务,分配到集群中的节点上并行实现,由中央节点汇总结... 针对FP-Growth算法面临大规模数据库时空效率不高的问题,提出一种面向计算机集群的并行算法。采用投影方法直接寻找频繁项的条件数据库,将挖掘条件数据库的工作分化成若干独立的子任务,分配到集群中的节点上并行实现,由中央节点汇总结果并输出。结果证明,该算法不仅能够提高计算速度,解决数据库规模过大时内存溢出的情况,且具有良好的延展性。 展开更多
关键词 fp-growth算法 计算机集群 并行算法
在线阅读 下载PDF
基于Hadoop的FP-Growth关联规则并行改进算法 被引量:15
18
作者 厍向阳 张玲 《计算机应用研究》 CSCD 北大核心 2018年第1期109-112,共4页
大数据环境下,传统的串行FP-Growth算法在处理海量数据时,占用内存过大、频繁项多,适用于大数据情况的PFP(parallel FP-Growth)算法存在数据量增大无法处理的缺陷。针对这些问题,提出了基于Hadoop的负载均衡数据分割FP-Growth并行算法。... 大数据环境下,传统的串行FP-Growth算法在处理海量数据时,占用内存过大、频繁项多,适用于大数据情况的PFP(parallel FP-Growth)算法存在数据量增大无法处理的缺陷。针对这些问题,提出了基于Hadoop的负载均衡数据分割FP-Growth并行算法。在Hadoop平台下,使用负载均衡和数据分割相结合的方式对原始事务数据集分片实现并行化。实验证明,基于Hadoop的负载均衡数据分割FP-Growth并行算法在处理数据量和效率上有所提高。 展开更多
关键词 fp-growth算法 HADOOP 数据分割 负载均衡
在线阅读 下载PDF
基于Spark和NRSCA策略的并行深度森林算法
19
作者 毛伊敏 刘绍芬 《计算机应用研究》 CSCD 北大核心 2024年第1期126-133,共8页
针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题,提出了基于Spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA。首先,该算法提出了基于邻域粗糙集和Fisher ... 针对并行深度森林在大数据环境下存在冗余及无关特征过多、两端特征利用率过低、模型收敛速度慢以及级联森林并行效率低等问题,提出了基于Spark和NRSCA策略的并行深度森林算法——PDF-SNRSCA。首先,该算法提出了基于邻域粗糙集和Fisher score的特征选择策略(FS-NRS),通过衡量特征的相关性和冗余度,对特征进行过滤,有效减少了冗余及无关特征的数量;其次,提出了一种随机选择和等距提取的扫描策略(S-RSEE),保证了所有特征能够同概率被利用,解决了多粒度扫描两端特征利用率低的问题;最后,结合Spark框架,实现级联森林并行化训练,提出了基于重要性指数的特征筛选机制(FFM-II),筛选出非关键性特征,平衡增强类向量与原始类向量维度,从而加快模型收敛速度,同时设计了基于SCA的任务调度机制(TSM-SCA),将任务重新分配,保证集群负载均衡,解决了级联森林并行效率低的问题。实验表明,PDF-SNRSCA算法能有效提高深度森林的分类效果,且对深度森林并行化训练的效率也有大幅提升。 展开更多
关键词 并行深度森林算法 Spark框架 邻域粗糙集 正弦余弦算法 多粒度扫描
在线阅读 下载PDF
面向GPU的地形遮蔽探测并行算法
20
作者 孙卡 俞俗强 《计算机工程与应用》 CSCD 北大核心 2024年第15期66-76,共11页
地形遮蔽算法在军事、民航和气象分析等领域有广泛应用。随着仿真规模的扩大、仿真结果实时性要求越来越高,传统计算模型俨然不能满足当下的实时性要求。为解决这一不足,实现了在统一计算设备架构(CUDA)并行计算平台上的地形遮蔽探测算... 地形遮蔽算法在军事、民航和气象分析等领域有广泛应用。随着仿真规模的扩大、仿真结果实时性要求越来越高,传统计算模型俨然不能满足当下的实时性要求。为解决这一不足,实现了在统一计算设备架构(CUDA)并行计算平台上的地形遮蔽探测算法,解决了仿真计算速度慢的问题。在CPU端将雷达探测区域内离散采样点的高程数据矩阵化,进而提升高程值在并行化计算中的读取速度。针对雷达仿真计算参数对线程分配方式进行优化,采用循环对比方式对地形遮蔽角的计算进行并行加速。采用设备端线程同步和数据交替传输技术,确保计算结果一致性和最大化利用GPU端计算资源。采用多模式并行化计算模式,使用多线程并行化计算和单线程串行化计算来支撑GPU端计算资源不足时的退化计算,从而保证计算的高可用。实验结果表明,相较于i7-12700H CPU在仿真粒度为3 600条探测波束下的地形遮蔽串行计算和多线程并行计算,在3060 Laptop GPU下分别获取了48倍和17倍加速,为仿真实时性提供了有效的工程解决方案。 展开更多
关键词 并行计算 统一计算设备架构(CUDA) 高程矩阵 地球曲率 地形遮蔽算法
在线阅读 下载PDF
上一页 1 2 177 下一页 到第
使用帮助 返回顶部