一种近似最小有效瓶颈优先的Coflow调度机制 被引量：1

1

作者 李文信 周晓波 +2 位作者 徐仁海 齐恒 李克秋 《计算机工程》 CAS CSCD 北大核心 2019年第10期19-25,32,共8页

针对先验知识未知场景下的Coflow调度问题,提出一种近似最小有效瓶颈优先的Coflow调度方法。通过结合Coflow当前大小和宽度决定Coflow的调度顺序,并区分出流大小以及短与长等特征的Coflow,从而加大调度优化的空间。实验结果表明,与先验... 针对先验知识未知场景下的Coflow调度问题,提出一种近似最小有效瓶颈优先的Coflow调度方法。通过结合Coflow当前大小和宽度决定Coflow的调度顺序,并区分出流大小以及短与长等特征的Coflow,从而加大调度优化的空间。实验结果表明,与先验知识未知场景下的Aalo方法相比,该方法可使Coflow的平均完成时间降低33.2%,相较于先验知识已知场景下的SEBF方法,Coflow平均完成时间与其仅有7.3%的性能差距。 展开更多

关键词 数据中心 并行计算 Coflow调度 流量调度 近似最小有效瓶颈优先

在线阅读 下载PDF 职称材料

基于流计算和大数据平台的实时交通流预测 被引量：2

2

作者 李星辉 曾碧 魏鹏飞 《计算机工程与设计》 北大核心 2024年第2期553-561,共9页

目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后... 目前交通流预测实时性差,很难满足在线分析和预测任务的需求,基于此提出一种Flink流计算框架和大数据平台结合的实时交通流预测方法。基于流计算框架实时捕捉和预处理数据,包括采用Flink的transform算子对数据进行校验和处理,将处理后的数据sink到大数据的HDFS文件系统,交由下一步的大数据并行框架进行分析建模与训练,实现基于流计算和大数据平台的实时交通流预测。实验结果表明,Flink能够实时捕捉和预处理交通流数据,把数据准时无误送入分布式文件系统中,在此基础上借助大数据框架下的并行分析和建模优势,在实时性数据分析与预测方面取得了较好的效果。 展开更多

关键词 大数据 数据并行 流计算框架 实时处理 交通流预测 分布式系统 实时性分析

在线阅读 下载PDF 职称材料

一种利用并行复算实现的OpenMP容错机制 被引量：7

3

作者 富弘毅 丁滟 +1 位作者 宋伟 杨学军 《软件学报》 EI CSCD 北大核心 2012年第2期411-427,共17页

基于并行复算的故障恢复技术,将故障恢复的计算任务分配至未发生故障的结点上并行执行,从而显著缩短复算时间,有效降低故障恢复开销,提高并行程序容错性能.基于该故障恢复技术,提出了一种针对OpenMP并行程序的容错机制PR-OMP,有效解决... 基于并行复算的故障恢复技术,将故障恢复的计算任务分配至未发生故障的结点上并行执行,从而显著缩短复算时间,有效降低故障恢复开销,提高并行程序容错性能.基于该故障恢复技术,提出了一种针对OpenMP并行程序的容错机制PR-OMP,有效解决了分段复算、复算负载重分布等问题;此外,还扩展了传统编译数据流分析技术,提出了针对OpenMP并行程序的数据流分析技术,并基于该技术计算状态保存开销进行优化.设计实现了用于支持PR-OMP的编译工具GiFT-OMP,并通过实验证明了PR-OMP机制及其支持工具的有效性,评估并分析了其性能和可扩展性. 展开更多

关键词 容错 OPENMP 并行复算 数据流分析

在线阅读 下载PDF 职称材料

一种基于平行坐标系的流转数据可视化方法 被引量：8

4

作者 张元鸣 高亚琳 +3 位作者 蒋建波 陆佳炜 徐俊 肖刚 《计算机应用与软件》 北大核心 2018年第4期55-60,116,共7页

流转数据是一种重要的数据类别,其中蕴含了较为丰富的规律性知识。如何通过数据可视化技术挖掘分析其中的知识具有重要意义。为此,提出一种基于平行坐标系的流转数据可视化方法,定义了流转数据可视化模型,将可视化过程抽象为流转数据集... 流转数据是一种重要的数据类别,其中蕴含了较为丰富的规律性知识。如何通过数据可视化技术挖掘分析其中的知识具有重要意义。为此,提出一种基于平行坐标系的流转数据可视化方法,定义了流转数据可视化模型,将可视化过程抽象为流转数据集、矩阵模型、平行坐标系可视结构三个主要模型。流转数据集是可视化的数据对象,矩阵模型是可视化的内部表示,平行坐标系结构是可视化的图形元素,并通过转换算法实现三个模型的相互映射。此外,为解决海量流转数据可视化性能瓶颈与折线重叠问题,实现了基于Spark框架的并行处理算法。该算法采用K-Means聚类思想对流转数据聚类,增强了平行坐标系的视觉效果。实验证明,所提出的可视化方法能够真实有效地可视化流转数据,同时也适用于对海量流转数据集的可视化。 展开更多

关键词 平行坐标系 流转数据 可视化模型 SPARK

在线阅读 下载PDF 职称材料

直接模拟蒙特卡洛问题的并行化方法 被引量：4

5

作者 花嵘 傅游 康继昌 《计算机工程》 CAS CSCD 北大核心 2004年第5期40-41,74,共3页

对直接模拟蒙特卡洛问题的动态数据分布特点进行了研究，提出了该类问题的并行化方法，并对实际算例进行处理，在集群系统上获得的测试结果表明该方法正确而有效，能够满足用户的高性能计算需要。

关键词 直接模拟蒙特卡洛问题 并行化 数据并行 稀薄气体流动模拟 集群

在线阅读 下载PDF 职称材料

大流量网络平台下并行数据库的设计与实现 被引量：2

6

作者 田志宏 云晓春 +1 位作者 胡铭曾 方滨兴 《计算机工程与应用》 CSCD 北大核心 2003年第25期187-189,共3页

随着计算机网络的迅猛发展,网络速度已经从10Mb/s、100Mb/s达到了1Gb/s,因此,一般工作在网络平台下的数据库随着数据量的增加,往往难以满足用户的需求。因此,该文将并行处理与数据库技术相结合,设计并实现了应用于大流量网络平台的并行... 随着计算机网络的迅猛发展,网络速度已经从10Mb/s、100Mb/s达到了1Gb/s,因此,一般工作在网络平台下的数据库随着数据量的增加,往往难以满足用户的需求。因此,该文将并行处理与数据库技术相结合,设计并实现了应用于大流量网络平台的并行数据库。 展开更多

关键词 数据库 并行处理 大流量

在线阅读 下载PDF 职称材料

采用数据驱动机制的多核处理器 被引量：2

7

作者 毕卓 徐云川 王镇 《上海交通大学学报》 EI CAS CSCD 北大核心 2013年第1期81-85,共5页

针对当前工艺条件下多核处理器存在程序并行性不足的问题,设计了一种采用数据驱动机制、支持函数语言风格编程的多核处理器,包括通用处理器核、数据驱动模块和片内路由器.其中:通用处理器核用于执行常规程序;数据驱动模块用于检测数据... 针对当前工艺条件下多核处理器存在程序并行性不足的问题,设计了一种采用数据驱动机制、支持函数语言风格编程的多核处理器,包括通用处理器核、数据驱动模块和片内路由器.其中:通用处理器核用于执行常规程序;数据驱动模块用于检测数据的完备性;片内路由器则可提供处理器核之间及簇之间的通信.实验结果表明,所设计的多核处理器能够支持C语言"函数式语言"风格的编程模板.每个C代码段执行纯函数的操作,消除了函数间的共享变量,使得并行编程的复杂度有所降低.同时,所采用的数据驱动机制没有执行顺序的严格限制,充分挖掘了算法潜在的并行性.经测试,数据驱动多核处理器的加速比随着计算资源的增加而增大,从而验证了数据流计算机的加速倍数随处理器数目增加而线性增长的结论. 展开更多

关键词 数据驱动 并行编程模型 数据流机 多核处理器

在线阅读 下载PDF 职称材料

基于并行数据库的海量商务数据管理系统研究 被引量：3

8

作者 彭宏 杜楠 《计算机应用研究》 CSCD 北大核心 2009年第2期614-616,共3页

为了使海量商务数据得到高效、稳定、安全的处理,提出了一种针对基于并行数据流技术的海量数据管理系统,详细探讨了该系统中并行数据加载模块和并行数据查询模块的关键技术及具体体系结构,并对其中的并行查询技术提出相关的优化方案。

关键词 海量商务数据 数据管理系统 并行数据流技术 并行数据查询 并行数据加载

在线阅读 下载PDF 职称材料

科学计算可视化的研究现状和发展趋势 被引量：22

9

作者 唐伏良 张向明 +1 位作者 茅及愚 刘令勋 《计算机应用》 CSCD 1997年第3期8-10,共3页

科学计算可视化（ＶＩＳＣ）作为８０年代后期在计算机图形学的基础上发展起来的一种全新的计算风格，日益受到人们的重视，并在航空航天、船舶、建筑等许多领域得到越来越广泛的应用。本文阐述了ＶＩＳＣ的发展历程，首先指出了ＶＩＳ... 科学计算可视化（ＶＩＳＣ）作为８０年代后期在计算机图形学的基础上发展起来的一种全新的计算风格，日益受到人们的重视，并在航空航天、船舶、建筑等许多领域得到越来越广泛的应用。本文阐述了ＶＩＳＣ的发展历程，首先指出了ＶＩＳＣ的研究现状以及迄今为止所取得一些重要成果；当今可视化研究的主要方向。重点介绍了当前可视技术的热门研究的体绘制技术； 展开更多

关键词 科学计算可视化 体绘制 可视编程 计算机图形

在线阅读 下载PDF 职称材料

基于分层排队网络模型的MCU性能预测及优化研究 被引量：10

10

作者 边学工 胡瑞敏 +1 位作者 陈军 李德仁 《计算机学报》 EI CSCD 北大核心 2004年第2期209-215,共7页

针对视频会议系统中的多点控制单元 (MCU)提出了一个基于分层排队网络模型的性能预测方法 .通过对分层排队网络模型进行扩展 ,建立了多点控制单元的分层排队模型 .设计了一个仿真程序对模型进行评价 ,仿真程序的输入即模型配置文件 .该... 针对视频会议系统中的多点控制单元 (MCU)提出了一个基于分层排队网络模型的性能预测方法 .通过对分层排队网络模型进行扩展 ,建立了多点控制单元的分层排队模型 .设计了一个仿真程序对模型进行评价 ,仿真程序的输入即模型配置文件 .该方法可以较快地从多种设计方案或硬件平台中选择满足系统性能设计目标的软件或硬件配置 .仿真结果显示 ,选择双处理器配置和采用多线程技术 ,多点控制单元的接入容量提高了 5 0 % .最后 ,多点控制单元终端接入实验证明了该方法的有效性 . 展开更多

关键词 视频会议 多点控制单元 MCU 分层排队网络 接入容量

在线阅读 下载PDF 职称材料

并行数据库的查询处理并行化技术和物理设计方法 被引量：32

11

作者 李建中 《软件学报》 EI CSCD 北大核心 1994年第10期1-10,共10页

近几年，随着并行计算机系统的迅速发展，并行数据库系统已经成为一个新的数据库研究领域，引起了学术界和工业界的极大关注，很多研究成果已经出现．本文是综述并行数据库系统研究与进展情况的两篇文章之一，重点探讨目前并行数据库系... 近几年，随着并行计算机系统的迅速发展，并行数据库系统已经成为一个新的数据库研究领域，引起了学术界和工业界的极大关注，很多研究成果已经出现．本文是综述并行数据库系统研究与进展情况的两篇文章之一，重点探讨目前并行数据库系统的研究方向和问题，综述有关并行数据库的物理设计方法和查询处理并行化技术的主要研究成果． 展开更多

关键词 并行数据库 查询处理 并行化 物理设计法

在线阅读 下载PDF 职称材料

一个基于面向对象模型的并行翻译器 被引量：1

12

作者 肖侬 卢宇彤 +1 位作者 胡守仁 高洪奎 《计算机学报》 EI CSCD 北大核心 1997年第5期451-458,共8页

本文介绍了一个面向对象范式和大粒度数据流模型结合的ＯＯＤＡ模型和基于此模型的一个并行翻译器．ＯＯＤＡ模型支持对象之间和对象内部的并行性开发，支持面向对象范式．我们设计的并行翻译器根据ＯＯＤＡ模型的特点，自动将Ｃ＋＋程... 本文介绍了一个面向对象范式和大粒度数据流模型结合的ＯＯＤＡ模型和基于此模型的一个并行翻译器．ＯＯＤＡ模型支持对象之间和对象内部的并行性开发，支持面向对象范式．我们设计的并行翻译器根据ＯＯＤＡ模型的特点，自动将Ｃ＋＋程序划分成多个独立执行的并行对象程序，并对程序进行重构． 展开更多

关键词 面向对象 数据流 并行翻译器 程序设计

在线阅读 下载PDF 职称材料

基于多核的Rijndael算法的并行优化与实现 被引量：6

13

作者 钱晓捷 师攀攀 王建辉 《计算机工程与设计》 CSCD 北大核心 2012年第6期2197-2202,2235,共7页

为提高Rijndael算法的执行效率,从对Rijndael算法的核心部分-轮变换的分析入手,在多核平台下提出了一种基于数据流分解的方式对Rijndael算法进行并行优化。采用的主要方法是将轮变换的各构成变换对整个状态的作用分割成对状态的每个组... 为提高Rijndael算法的执行效率,从对Rijndael算法的核心部分-轮变换的分析入手,在多核平台下提出了一种基于数据流分解的方式对Rijndael算法进行并行优化。采用的主要方法是将轮变换的各构成变换对整个状态的作用分割成对状态的每个组成单元的作用,使得各构成变换可以并行进行。实验结果表明,采用基于数据流的分解方式对Rijndael算法分解可有效的提高其执行效率。 展开更多

关键词 RIJNDAEL算法 轮变换 多核 数据流分解 并行优化

在线阅读 下载PDF 职称材料

面向对象C++并行编译系统的总体设计和实现 被引量：1

14

作者 肖侬 胡守仁 +1 位作者 韩冰 宋辉 《计算机研究与发展》 EI CSCD 北大核心 1997年第4期292-297,共6页

面向对象语言在大型并行软件设计和开发上具有巨大的潜力．本文介绍了在网络环境上，我们设计的面向对象Ｃ＋＋并行编译系统ＯＯＣＰＣＳ的面向对象的大粒度数据流并行模型（ＯＯＬＧＤＦＭ）和总体设计。

关键词 代理对象 数据流 并行识别 C++语言

在线阅读 下载PDF 职称材料

一种用于实时图像处理的众核结构设计 被引量：4

15

作者 刘镇弢 李涛 +2 位作者 黄虎才 韩俊刚 沈绪榜 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2015年第2期95-101,共7页

基于数据流模型和硬件可重构技术,提出了一种面向图像处理应用的可重构的多模式众核处理器结构.处理器采用了可扩展的层次化阵列结构,分布式共享存储和带硬件握手的近邻互连,可以分区并发实现多种并行模式,并克服了传统处理器实现数据... 基于数据流模型和硬件可重构技术,提出了一种面向图像处理应用的可重构的多模式众核处理器结构.处理器采用了可扩展的层次化阵列结构,分布式共享存储和带硬件握手的近邻互连,可以分区并发实现多种并行模式,并克服了传统处理器实现数据流计算的低效性;基于VC++开发了集成仿真平台,用于对结构性能和指令性能的仿真验证,并在现场可编程门阵列上实现了包含64个处理单元的所提结构.仿真结果表明,所提结构实现了超过图形处理单元的性能以及接近专用集成电路的数据吞吐量. 展开更多

关键词 多模式可重构结构 数据流 众核 并行计算

在线阅读 下载PDF 职称材料

发动机进口流场温度畸变测试技术研究 被引量：6

16

作者 展之宏 宁烽 宁交贤 《数据采集与处理》 EI CSCD 2000年第2期226-230,共5页

进口流场的温度畸变对军用飞机发动机稳定性具有比压力畸变更大的影响。文中采用研制的 DAP- ID3型高速大容量数据采集及实时存储处理系统 ,对温度畸变试验及温度畸变模拟装置调试、评价中的一些测量技术问题进行了研究 ,在现场获得成... 进口流场的温度畸变对军用飞机发动机稳定性具有比压力畸变更大的影响。文中采用研制的 DAP- ID3型高速大容量数据采集及实时存储处理系统 ,对温度畸变试验及温度畸变模拟装置调试、评价中的一些测量技术问题进行了研究 ,在现场获得成功的试验结果。并对影响精度的一些因素进行了分析 ,提出了一些有益建议。 展开更多

关键词 航空发动机 进口流场 温度畸变 测试

在线阅读 下载PDF 职称材料

长持续时间数据流的并行检测算法 被引量：2

17

作者 周爱平 程光 +1 位作者 郭晓军 朱琛刚 《通信学报》 EI CSCD 北大核心 2015年第11期156-166,共11页

针对现有长持续时间数据流检测算法的实时性差、检测精度与估计精度低的问题,提出长持续时间数据流的并行检测算法。基于共享数据结构的长持续时间数据流的并行检测算法中不同线程访问共享数据结构,线程之间的同步开销过大。在此基础上... 针对现有长持续时间数据流检测算法的实时性差、检测精度与估计精度低的问题,提出长持续时间数据流的并行检测算法。基于共享数据结构的长持续时间数据流的并行检测算法中不同线程访问共享数据结构,线程之间的同步开销过大。在此基础上,基于独立数据结构的长持续时间数据流的并行检测算法中不同线程具有本地数据结构,线程之间不需要同步,产生较少的开销。理论分析与实验结果表明,基于独立数据结构的长持续时间数据流的并行检测算法具有良好的时间效率、较高的检测精度和流持续时间估计精度。 展开更多

关键词 流量测量 流持续时间 数据流 并行算法

在线阅读 下载PDF 职称材料

基于融合程序控制流的动态分解算法 被引量：1

18

作者 韩林 赵荣彩 姚远 《计算机工程》 CAS CSCD 北大核心 2008年第9期61-63,共3页

计算和数据分解是分布主存系统中并行编译的关键,在并行优化编译器的并行识别过程中,许多串行代码无法找到全局一致的分解结果。针对这种情况,该文提出一种融合程序控制流的动态分解算法,增加控制流对分解的影响,使生成的分解结果更适... 计算和数据分解是分布主存系统中并行编译的关键,在并行优化编译器的并行识别过程中,许多串行代码无法找到全局一致的分解结果。针对这种情况,该文提出一种融合程序控制流的动态分解算法,增加控制流对分解的影响,使生成的分解结果更适合于后端自动生成的并行代码。实验分析结果表明了该方法的有效性。 展开更多

关键词 并行编译 动态分解 数据重分布 控制流

在线阅读 下载PDF 职称材料

一种高性能流式并行加密算法 被引量：2

19

作者 费雄伟 李肯立 阳王东 《计算机工程与科学》 CSCD 北大核心 2017年第2期258-266,共9页

随着网络用户的数量持续增多和对安全需求的增长,以AES加密的方式对用户数据流进行加密保护得到了广泛的应用。对服务器而言,大量用户形成的数据流具有流速高和突发性强的特点,而传统的串行加密却效率低下,会造成服务失效或服务质量差,... 随着网络用户的数量持续增多和对安全需求的增长,以AES加密的方式对用户数据流进行加密保护得到了广泛的应用。对服务器而言,大量用户形成的数据流具有流速高和突发性强的特点,而传统的串行加密却效率低下,会造成服务失效或服务质量差,因此在目前普及的CPU+GPU异构环境的基础上,通过流水线方式组织并行AES加密,以提高加密的性能,并通过滑动窗口进行突发流量控制,以提供高质量的流加密服务。实验结果显示,所提出的异构环境下的流式AES并行加密算法能满足高速率突发性的用户数据流的流式加密的需求,提高了加密的处理速度并有效地控制了流量。 展开更多

关键词 用户数据流 异构环境 并行加密 高级加密标准 效率 流量控制

在线阅读 下载PDF 职称材料

一种面向数据流程序的软件流水并行化方法 被引量：5

20

作者 魏海涛 于俊清 +1 位作者 余华飞 秦明康 《计算机学报》 EI CSCD 北大核心 2011年第5期889-898,共10页

数据流编程被广泛应用于多媒体、图像处理和信号处理等领域.多核处理器为数据流程序提供了强大并行计算资源,如何利用多核处理器的并行性以提高数据流程序性能,对满足媒体处理等实时性需求具有重要意义.基于多核处理器提出了一种面向数... 数据流编程被广泛应用于多媒体、图像处理和信号处理等领域.多核处理器为数据流程序提供了强大并行计算资源,如何利用多核处理器的并行性以提高数据流程序性能,对满足媒体处理等实时性需求具有重要意义.基于多核处理器提出了一种面向数据流程序的软件流水并行化方法,利用整数线性规划理论对软件流水中的计算、通信资源和流水线执行阶段等进行统一的形式化建模,在最大化流水线计算速率的同时最小化通信开销;同时对存储资源进行了形式化建模,提高存储访问的性能.通过设计数据流编程语言DFBrook,在Cell处理器实现了上述方法.实验结果表明,该软件流水并行方法比其它方法在提高数据流程序性能的同时,降低了通信开销. 展开更多

关键词 数据流程序 多核处理器 软件流水 并行

在线阅读 下载PDF 职称材料