基于数据流模型的航线网络结构可视分析方法

1

作者 贺怀清 宋淼 刘浩翰 《现代电子技术》 北大核心 2024年第19期27-32,共6页

针对航线网络结构多维属性关联分析问题,提出一种基于数据流模型的多视图协同网络结构可视分析方法。引入数据流模型,增强多维数据分析时的交互和多视图协同效果;构建基于数据流模型的航线网络结构可视分析系统用于方法验证。该方法对... 针对航线网络结构多维属性关联分析问题,提出一种基于数据流模型的多视图协同网络结构可视分析方法。引入数据流模型,增强多维数据分析时的交互和多视图协同效果;构建基于数据流模型的航线网络结构可视分析系统用于方法验证。该方法对比和实验结果表明,利用航线网络数据流实时交互和多视图协同分析网络结构数据,完成聚类、相关性、异常值分析任务,能更好地分析数据之间的关联关系,有助于理解航线网络的结构和特征。最后,通过以上方法分析网络结构特点与不足,提出航线网络优化建议,能更好地帮助用户完成可视分析任务,探索数据分布特征、发现多维数据之间的关联关系。 展开更多

关键词 数据流模型 航线网络 可视分析 多视图协同 实时交互 网络结构

在线阅读 下载PDF 职称材料

基于MLIR的数据流模型

2

作者 李金熹 尹首一 +1 位作者 魏少军 胡杨 《计算机工程与科学》 CSCD 北大核心 2024年第7期1151-1157,共7页

在冯诺依曼架构下,指令集的使用让软硬件得以解耦并各自飞速发展。然而,近年来并行多核架构加速器的热潮为冯诺依曼架构下的顺序编程模型带来了挑战。在顺序编程模型下设计而成的指令集缺乏对并行硬件的抽象,因此仅仅使用指令集已不能... 在冯诺依曼架构下,指令集的使用让软硬件得以解耦并各自飞速发展。然而,近年来并行多核架构加速器的热潮为冯诺依曼架构下的顺序编程模型带来了挑战。在顺序编程模型下设计而成的指令集缺乏对并行硬件的抽象,因此仅仅使用指令集已不能完全完成软硬件的解耦。人工智能软件编译栈领域需要新的编程模型,以对接顺序执行的编程平台和并行多核的硬件后端,并进一步探索并行硬件提供的优化机会。使用数据流模型作为编程模型,为顺序执行程序和并行硬件指令集的对接过程提供通用抽象,在指令集的基础上进一步实现软件前端与硬件后端的解耦。为确保项目的可复用性,将数据流模型以codelet dialect的形式实现在谷歌提出的编译器框架MLIR上。MLIR致力于整合碎片化的编译器生态,提高前后端对接流程的可复用性,在MLIR上实现的数据流模型将进一步提升MLIR系统的可复用性。 展开更多

关键词 数据流模型 端到端编译 MLIR

在线阅读 下载PDF 职称材料

USB数据流模型 被引量：11

3

作者 陈启美 张静 +1 位作者 丁传锁 陈锁柱 《电力自动化设备》 EI CSCD 北大核心 2001年第3期55-60,共6页

USB数据流模型描述了主机与外部设备之间的连接交互关系 ,提出了解决USB不同服务的技术实现 ,揭示了USB基本组织机构 ,反映了USB的核心内容。其表现为 3个层次 :应用层、逻辑设备层、总线接口层。主机通过逻辑意义上的数据流来统一对US... USB数据流模型描述了主机与外部设备之间的连接交互关系 ,提出了解决USB不同服务的技术实现 ,揭示了USB基本组织机构 ,反映了USB的核心内容。其表现为 3个层次 :应用层、逻辑设备层、总线接口层。主机通过逻辑意义上的数据流来统一对USB设备的操作方式。USB设有 2种通道 :流通道和信息通道 ;提供了 4种传送方式 :控制传送、同步传送、中断传送、批传送 ;定义了2种数据格式 :USB数据格式、非USB数据格式。针对USB设备的连接 ,及USB所传输的数据特性 ,如突发性、连续性、实时性、可靠性等 ,USB系统软件安排了相应的通道、传送方式及数据格式。就这 4种传送方式重点介绍了数据格式、传送的方向、包长限制、总线访问。 展开更多

关键词 计算机接口 USB接口 USB通道 USB总线 传送控制 数据流模型

在线阅读 下载PDF 职称材料

面向图形化编程的事件触发并发数据流模型 被引量：2

4

作者 王瑞荣 汪乐宇 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2002年第5期535-539,共5页

目前的许多图形化编程语言 (又称为可视化语言 )多是基于动态纯数据流 DHDF(dynam ic hom ogeneousdataflow) .由于 DHDF的自然属性 (数据驱动 )与操作系统事件驱动模型不能很好地结合 ,导致了两个明显的不足 :运行效率低 ,CPU占用率高 ... 目前的许多图形化编程语言 (又称为可视化语言 )多是基于动态纯数据流 DHDF(dynam ic hom ogeneousdataflow) .由于 DHDF的自然属性 (数据驱动 )与操作系统事件驱动模型不能很好地结合 ,导致了两个明显的不足 :运行效率低 ,CPU占用率高 ;对外部事件响应速度慢 ,系统实时性差 .文中提出了一种事件触发并发数据流 ECDF(event triggered concurrent dataflow)模型 ,并给出了基于该模型的图形化编程语言的构建技术 .ECDF模型通过引入多优先级线程以及事件触发机制 ,在很大程度上提高了系统的实时性与运行效率 ,并且使得基于该模型的图形化编程语言能够实现事件驱动、阻塞调用及重叠 I/O等各种操作模式 .通过一个面向测试系统的图形化程序实例表明 :ECDF模型确实大大提高了图形化程序的运行效率和对外部事件的响应速度 . 展开更多

关键词 事件触发并发数据流模型 图形化编程 数据处理 多优先级线程 事件触发机制

在线阅读 下载PDF 职称材料

开关设备数字化车间的纵横一体运行数据流模型设计 被引量：4

5

作者 赵红武 史亚斌 +2 位作者 赵勇 胡进寿 闫兴浪 《工业技术经济》 CSSCI 北大核心 2019年第4期77-86,共10页

为了给开关设备行业数字化车间运行管理提供基本规范,本文根据数据的集成规范,从产品生命周期和工厂结构纵横2个维度,提出了开关设备数字化车间运行数据流模型,并对该模型进行了验证。为保证车间运行数据的准确性与完整性,对基础数据进... 为了给开关设备行业数字化车间运行管理提供基本规范,本文根据数据的集成规范,从产品生命周期和工厂结构纵横2个维度,提出了开关设备数字化车间运行数据流模型,并对该模型进行了验证。为保证车间运行数据的准确性与完整性,对基础数据进行了规范化设计。本文研究对于规范开关设备行业数字化车间运行各业务活动之间的数据传递与集成,提升基础数据管理水平具有重要作用,并为该行业数字化车间运行管理提供有效指导。 展开更多

关键词 数字化车间 运行管理 数据流模型 开关设备行业 产品生命周期 工厂结构

在线阅读 下载PDF 职称材料

几个新的数据流模型

6

作者 李忠杰 胡久稔 《小型微型计算机系统》 CSCD 北大核心 1997年第12期59-65,共7页

数据流是一种与ｖｏｎＮｅｕｍａｎｎ计算机全然不同的新的计算模型，它是高度并行化的计算模型，然而由于其本身存在着一些问题，特别是数据通信问题，影响了它的发展。本文提出了几个新的数据流模型：时序通信模型、有限资源条件下的... 数据流是一种与ｖｏｎＮｅｕｍａｎｎ计算机全然不同的新的计算模型，它是高度并行化的计算模型，然而由于其本身存在着一些问题，特别是数据通信问题，影响了它的发展。本文提出了几个新的数据流模型：时序通信模型、有限资源条件下的处理器分配模型和一种结合数据流与控制流的机器模型。这些模型不但具有理论上的意义，对设计新的数据流机器亦有重要的现实意义。 展开更多

关键词 数据流 数据流模型 数据通信

在线阅读 下载PDF 职称材料

传统数据流模型的分析及改进

7

作者 王永革 《软件学报》 EI CSCD 北大核心 1994年第3期43-48,共6页

数据流计算机作为新一代并行机迅速发展起来，但由于数据流模型本身的局限性，使得商用数据流机器的制造还难于普及．本文通过分析运算的操作字符与非操作字符，改进传统模型的点火规则、引入变量并拓广变量的概念，定义了粗粒度数据流... 数据流计算机作为新一代并行机迅速发展起来，但由于数据流模型本身的局限性，使得商用数据流机器的制造还难于普及．本文通过分析运算的操作字符与非操作字符，改进传统模型的点火规则、引入变量并拓广变量的概念，定义了粗粒度数据流模型ＣＤＦＭ（ＣｏａｒｓｅｇｒａｎｕｌａｒｉｔｙＤａｔａＦｌｏｗＭｏｄｅｌ）． 展开更多

关键词 数据流模型 并行计算机

在线阅读 下载PDF 职称材料

基于数据流处理模型的多查询优化算法 被引量：5

8

作者 左利云 马英杰 《计算机工程与科学》 CSCD 北大核心 2009年第3期71-74,共4页

针对现今数据处理日益复杂、数据量剧增的情况,本文提出使用数据流处理模型。该模型主要使用于需要实时在线处理并及时反馈结果的数据处理。在此模型的基础上,本文提出一种新的多查询优化算法——INCO算法。该算法计算简单,而且不牵涉... 针对现今数据处理日益复杂、数据量剧增的情况,本文提出使用数据流处理模型。该模型主要使用于需要实时在线处理并及时反馈结果的数据处理。在此模型的基础上,本文提出一种新的多查询优化算法——INCO算法。该算法计算简单,而且不牵涉其他查询。实验证明,该算法在连接查询方面有明显优势。 展开更多

关键词 数据流处理模型 INCO算法 探测序列

在线阅读 下载PDF 职称材料

Internet环境下一种基于数据流的构件组装模型 被引量：2

9

作者 陈章 陈志刚 《小型微型计算机系统》 CSCD 北大核心 2006年第10期1865-1870,共6页

随着Internet上提供在线复用的构件增多,用这种构件服务组装软件系统就成为可能.本文首先针对Internet环境构件组装系统分析了现有相关技术的不足,讨论了组装技术应用上的关键问题.为此将构件与传统的数据流计算模型相结合,设计并实现... 随着Internet上提供在线复用的构件增多,用这种构件服务组装软件系统就成为可能.本文首先针对Internet环境构件组装系统分析了现有相关技术的不足,讨论了组装技术应用上的关键问题.为此将构件与传统的数据流计算模型相结合,设计并实现了支持广域构件组装的DFCM组装框架;给出了DFCM的总体结构,描述了其中的关键技术;经过对原型系统的模拟表明该模型框架是有效的,能够充分利用Internet固有的并行性,具有扩展性. 展开更多

关键词 INTERNET环境 构件组装 数据流计算模型

在线阅读 下载PDF 职称材料

基于数据流的大图中频繁模式挖掘算法研究 被引量：7

10

作者 汤小春 樊雪枫 +1 位作者 周佳文 李战怀 《计算机学报》 EI CSCD 北大核心 2020年第7期1293-1311,共19页

随着单个图数据规模的扩大以及应用领域的扩展,大规模单图的频繁模式挖掘的需求越来越强烈.传统的单机环境已经无法满足大规模图数据挖掘的要求,而现有的并行或者分布式环境下的挖掘方法,普遍受到并行性以及数据倾斜等问题的限制,论文... 随着单个图数据规模的扩大以及应用领域的扩展,大规模单图的频繁模式挖掘的需求越来越强烈.传统的单机环境已经无法满足大规模图数据挖掘的要求,而现有的并行或者分布式环境下的挖掘方法,普遍受到并行性以及数据倾斜等问题的限制,论文在分析了现有的频繁模式挖掘算法后,提出了一种基于数据流的单个大图频繁模式挖掘方法.首先,建立基于数据流的频繁模式挖掘模型,将MapReduce模型中的“批”数据变成“微批”数据,提高了数据处理的并行度,并且其迭代方式也满足频繁子图挖掘的反单调性;其二,设计了数据流模型中的频繁模式检查、子图实例扩展以及正规编码计算等操作,实现了基于数据流模型的频繁模式挖掘算法;其三,为解决正规编码计算中的复杂性问题,提出了基于不变关系的正规编码计算策略以及基于编码树的优化策略,优化正规编码比未优化编码的计算性能提升了30%,基于编码树的优化策略比原始编码计算策略在性能上提升了10%;最后,对涉及的相关算法进行了实验测试,实验证明,算法提高了频繁模式挖掘的并行性,大幅度减少了大图的搜索空间,降低了正规编码的计算时间,相比于传统算法大规模单图中频繁模式挖掘的效率提升了30%. 展开更多

关键词 图挖掘 频繁模式 数据流模型 并行算法 编码树

在线阅读 下载PDF 职称材料

产品开发过程中的数据流建模与分析 被引量：2

11

作者 李伟刚 王文斌 沈钧毅 《计算机学报》 EI CSCD 北大核心 2008年第10期1804-1813,共10页

通过分析产品开发过程管理中各种数据的特征,指出数据流建模和分析在面向产品开发过程的工作流管理系统中格外重要.基于提出的工作流模型,开发了一种面向版本控制的数据流模型,它支持包含任意环的过程结构.引入变量影响列表描述这种数... 通过分析产品开发过程管理中各种数据的特征,指出数据流建模和分析在面向产品开发过程的工作流管理系统中格外重要.基于提出的工作流模型,开发了一种面向版本控制的数据流模型,它支持包含任意环的过程结构.引入变量影响列表描述这种数据流模型并给出该模型正确性分析的方法.能够适应面向产品开发过程的工作流管理系统中数据管理的需求. 展开更多

关键词 产品开发过程 工作流 数据流模型 分析 检验

在线阅读 下载PDF 职称材料

一种基于多时间粒度的数据流建模方法 被引量：2

12

作者 侯东风 杨强 邓苏 《计算机工程与科学》 CSCD 2006年第2期111-114,共4页

在很多领域中,越来越多的数据以数据流的形式存在于各种应用当中,这些数据的特点是实时的、连续的、时变的、快速的。由于这些特点,在数据处理方法上引入了很多挑战性问题。本文重点从多时间粒度的角度研究了数据流建模问题,提出了多时... 在很多领域中,越来越多的数据以数据流的形式存在于各种应用当中,这些数据的特点是实时的、连续的、时变的、快速的。由于这些特点,在数据处理方法上引入了很多挑战性问题。本文重点从多时间粒度的角度研究了数据流建模问题,提出了多时间粒度的数据流滑窗建模方法,采用层次窗口模型对数据流进行描述,有效解决了Ad-Hoc查询中的历史数据管理问题。 展开更多

关键词 数据流模型 多粒度 滑窗

在线阅读 下载PDF 职称材料

基于事件触发并发数据流的可视化语言

13

作者 王瑞荣 汪乐宇 周泓 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2003年第1期32-36,共5页

数据流模型不仅可以有效地描述数据处理问题,而且具有很好的可视性与直观性,因此特别适合用于开发面向虚拟仪器的可视化编程语言.目前开发的可视化编程语言多是基于纯数据流(HomogeneousDataflow)模型的.纯数据流模型不能很好地与目前... 数据流模型不仅可以有效地描述数据处理问题,而且具有很好的可视性与直观性,因此特别适合用于开发面向虚拟仪器的可视化编程语言.目前开发的可视化编程语言多是基于纯数据流(HomogeneousDataflow)模型的.纯数据流模型不能很好地与目前多数操作系统基于的事件驱动模型协调,存在CPU利用率低,对外部事件响应慢等缺点.在事件触发并发数据流(ECDF)的基础上,提出了一种面向虚拟仪器的可视化编程语言E.该语言支持并发多线程机制,支持外部事件驱动、阻塞调用(锁定)以及重叠I/O模式.针对不同的操作模式提出了六类仪器控件,同时还提出并实现了同一资源的双向对话通信模式.试验结果表明:该语言运行效率高、对外部事件响应时间短,对虚拟仪器系统具有较强的描述能力. 展开更多

关键词 可视化编程语言 数据流模型 数据处理 事件触发并发数据流 事件驱动模型 虚拟仪器

在线阅读 下载PDF 职称材料

EMS数据流管理系统的框架设计 被引量：8

14

作者 何轶璇 罗毅 涂光瑜 《电力系统自动化》 EI CSCD 北大核心 2006年第24期33-38,共6页

针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速... 针对现有关系型数据库系统在能量管理系统(EMS)实时应用中存在的缺陷,设计了一个新型EMS数据流管理系统的框架,并建立了相对应的数据流模型。该框架能够根据流速不同对采集数据进行分类处理,通过数据流查询窗口对相量测量单元(PMU)高速数据进行分割、降速、筛选,实现了对PMU数据和原有监控与数据采集(SCADA)系统测量值的并行实时处理,并且能够在实现稳态计算功能的同时对系统进行动态监测。文中描述了系统的基本结构、各组成部分的功能和关键技术,并在数据流处理方面提出了一些提高效率的改进措施。 展开更多

关键词 EMS PMU 数据流管理系统 数据流模型 滑动窗口

在线阅读 下载PDF 职称材料

基于GPU的多数据流相关系数并行计算方法研究 被引量：3

15

作者 周勇 王皓 +1 位作者 程春田 郭禾 《计算机应用研究》 CSCD 北大核心 2010年第4期1232-1235,共4页

为了满足多数据流处理的实时性需求,提出一种跨PCIE总线的四层滑动窗口模型和基于图形处理器的多数据流并行处理框架模型,在此框架模型下可以并行维护数量巨大的滑动实时多数据流统计信息,同时采用精确方法并行计算多数据流间任意两条... 为了满足多数据流处理的实时性需求,提出一种跨PCIE总线的四层滑动窗口模型和基于图形处理器的多数据流并行处理框架模型,在此框架模型下可以并行维护数量巨大的滑动实时多数据流统计信息,同时采用精确方法并行计算多数据流间任意两条的相关系数。通过对比在同样的实验环境下只使用CPU的计算处理方法,验证了新方法的实时计算性能具有显著的提高。 展开更多

关键词 数据流 滑动多数据流相关系数 图形处理器 多数据流并行计算模型 空间复杂度降载

在线阅读 下载PDF 职称材料

基于DFT-MARTE模型的时序分析算法 被引量：1

16

作者 徐嘉 周晴 +1 位作者 杜家昊 王一华 《计算机工程与设计》 北大核心 2024年第1期120-129,共10页

针对航天嵌入式软件(aerospace embedded software,AES)时序需求复杂带来的时序需求定义不准确问题,提出一种基于MARTE(modeling and analysis of real-time and embedded systems)模型的数据流时序(data flow timing based on MARTE,DF... 针对航天嵌入式软件(aerospace embedded software,AES)时序需求复杂带来的时序需求定义不准确问题,提出一种基于MARTE(modeling and analysis of real-time and embedded systems)模型的数据流时序(data flow timing based on MARTE,DFT-MARTE)模型,设计基于该模型的处理点缓存计算算法、时序偏离概率检测算法和时序序列分析算法。处理点缓存计算算法动态更新缓存空间,使后续时序检测正常执行;时序偏离概率检测算法利用多线程并发模拟时序特性,检测需求中时序偏离问题;时序序列分析算法是基于梯度下降算法,拟合时序序列,指导用户优化需求。该模型相比传统数据流模型更适用航天嵌入式软件,利于后续开发和维护,具有极高的应用价值。 展开更多

关键词 数据流时序模型 数据流图 嵌入式软件 时序偏离检测 多线程 时序分析 梯度下降算法

在线阅读 下载PDF 职称材料

错误流模型:硬件故障的软件传播建模与分析 被引量：9

17

作者 杨学军 高珑 《软件学报》 EI CSCD 北大核心 2007年第4期808-820,共13页

无论是可靠性工程还是软件可靠性中的可靠性模型,都难以描述硬件故障在程序中的传播问题.首先建立了计算数据流模型,并以无穷存储机器的指令集为例,说明可以为任意程序建立计算数据流图.在计算数据流模型的基础上,进一步建立了错误流模... 无论是可靠性工程还是软件可靠性中的可靠性模型,都难以描述硬件故障在程序中的传播问题.首先建立了计算数据流模型,并以无穷存储机器的指令集为例,说明可以为任意程序建立计算数据流图.在计算数据流模型的基础上,进一步建立了错误流模型.把计算过程中的错误分成物理错误和传播错误两种,通过分析这两种错误的本质和传播规律,给出了6条有关错误传播的规则和2条独立定律.根据这些规则和定律,能够计算出在程序运行过程中,任意时刻在任意位置上出现错误的概率.最后以一个简单的无穷存储机器程序为例,简要地展示了错误流模型描述硬件故障在程序中传播的能力. 展开更多

关键词 软件实现的硬件容错 可靠性 计算数据流模型 错误流模型 错误传播

在线阅读 下载PDF 职称材料

一种改进的TCP稳态流吞吐量模型及其性能分析 被引量：2

18

作者 赵炯 张树京 周其刚 《通信学报》 EI CSCD 北大核心 2003年第1期52-59,共8页

根据对Internet上TCP稳态数据流的实测分析,在Padhye模型的基础上,本文提出了一种改进的TCP稳态数据流模型。该模型不仅考虑了三次重复应答和超时事件对TCU稳态流吞吐量的影响,而且还充分考虑了超时后慢启动过程的影响。文中给出了改进... 根据对Internet上TCP稳态数据流的实测分析,在Padhye模型的基础上,本文提出了一种改进的TCP稳态数据流模型。该模型不仅考虑了三次重复应答和超时事件对TCU稳态流吞吐量的影响,而且还充分考虑了超时后慢启动过程的影响。文中给出了改进模型与实测结果的分析比较,表明改进的模型能更好地预测实际TCP数据流的吞吐量性能。最后,本文还分析了模型的几个主要参数对TCP吞吐量性能的影响。 展开更多

关键词 传输控制协议 拥塞控制 吞吐量 TCP 稳态数据流模型

在线阅读 下载PDF 职称材料

可重构CNN处理器的高效能自适应映射策略

19

作者 常立博 武丹妮 +3 位作者 杜慧敏 张盛兵 郝鹏 蔡秀霞 《计算机辅助设计与图形学学报》 北大核心 2025年第7期1157-1169,共13页

针对因CNN模型巨大的参数规模和数据访问量,及不同CNN模型或同一模型中不同层的计算模式存在多样性,导致其仅可支持单一或固定映射方式及片上数据缓存的计算系统整体效能较低的问题,提出软硬件协同设计策略.将基于深度强化学习的自适应... 针对因CNN模型巨大的参数规模和数据访问量,及不同CNN模型或同一模型中不同层的计算模式存在多样性,导致其仅可支持单一或固定映射方式及片上数据缓存的计算系统整体效能较低的问题,提出软硬件协同设计策略.将基于深度强化学习的自适应访存优化机制与片上弹性缓存动态划分方法结合,根据可重构CNN处理器中存储结构相关参数,针对不同CNN运算层自动搜索最优的循环调度策略;并通过设计可重构片上互联结构、地址映射逻辑以及动态存储调度方法,使片上弹性缓存可根据不同调度策略动态划分地址映射空间.在基于Eyeriss和TPU的CNN处理器构架上,与对比的调度策略相比,采用所提方法可分别将2种可重构CNN处理器的效能提升约3倍和4倍;并且,采用相同的调度策略,与固定容量双缓存结构相比,文中的弹性存储划分方法可分别将功耗减少30.28%和18.43%.与基于FPGA平台的相关研究相比,文中可重构CNN处理器将计算效率和计算效能分别提高了约10倍和2倍. 展开更多

关键词 卷积神经网络模型映射器 卷积神经网络模型数据流 深度强化学习 片上弹性缓存

在线阅读 下载PDF 职称材料

面向Dataflow的异构集群混合式资源调度框架研究 被引量：6

20

作者 汤小春 赵全 +4 位作者 符莹 朱紫钰 丁朝 胡小雪 李战怀 《软件学报》 EI CSCD 北大核心 2022年第12期4704-4726,共23页

Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有... Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有效的CPU-GPU资源解耦方式,降低了资源使用效率.在分析现有的集群资源调度框架的基础上,设计并实现了一种可以感知批处理/流处理应用的混合式资源调度框架HRM.它以共享状态架构为基础,采用乐观封锁协议和悲观封锁协议相结合的方式,确保流处理作业和批处理作业的不同资源要求.在计算节点上,提供CPU-GPU资源的灵活绑定,采用队列堆叠技术,不但满足流处理作业的实时性需求,也减少了反馈延迟并实现了GPU资源的共享.通过模拟大规模作业的调度,结果显示,HRM的调度延迟只有集中式调度框架的75%左右;使用实际负载测试,批处理与流处理共享集群时,使用HRM调度框架,CPU资源利用率提高25%以上;而使用细粒度作业调度方法,不但GPU利用率提高2倍以上,作业的完成时间也能够减少50%左右. 展开更多

关键词 数据流模型 批处理 流处理 作业感知 CPU-GPU 队列堆叠

在线阅读 下载PDF 职称材料