期刊文献+
共找到335篇文章
< 1 2 17 >
每页显示 20 50 100
分布式数据流处理系统管理中负载均衡问题建模与求解 被引量:4
1
作者 唐颖峰 陈世平 《运筹与管理》 CSSCI CSCD 北大核心 2021年第4期155-162,共8页
对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;... 对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;然后采用蚁群算法对模型进行求解,并针对分布式数据流处理系统实时性的需求对算法进行改进;最后用实验证明本文所建立的模型及其求解方法对于解决分布式数据流处理系统管理中节点负载均衡问题的有效性。 展开更多
关键词 系统管理 分布式数据流处理系统 负载均衡 组合优化问题 蚁群算法
在线阅读 下载PDF
分布式数据流处理系统的动态负载平衡技术 被引量:13
2
作者 邓华锋 刘云生 肖迎元 《计算机科学》 CSCD 北大核心 2007年第7期120-123,共4页
设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成,负载在每个服务器集群内部多台同构的服务器之间获得平衡,从而达到整个系统的负载平衡。集群设计的主要目标之一是以资源换性能,服务器集群中服... 设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成,负载在每个服务器集群内部多台同构的服务器之间获得平衡,从而达到整个系统的负载平衡。集群设计的主要目标之一是以资源换性能,服务器集群中服务器的最大数目足够保证系统不再发生过载现象,不再需要会降低性能的卸载技术。而且投入运行的服务器的数目根据实际的系统负载来决定,负载较轻时,一部分服务器可以进入休眠状态来减少能源的消耗。根据系统动态增减服务器的特点,设计了全新的初始化算法、动态负载平衡算法。与以前的分布式数据流处理系统相比,由于单个集群的服务器的数目大大减少,算法复杂性降低、速度加快、优化的空间增大。 展开更多
关键词 分布式数据处理系统 动态负载平衡 卸载 节能
在线阅读 下载PDF
支持非等值连接的分布式数据流处理系统
3
作者 陈明珠 王晓桐 +1 位作者 房俊华 张蓉 《华东师范大学学报(自然科学版)》 CAS CSCD 北大核心 2017年第5期11-19,共9页
实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布... 实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现. 展开更多
关键词 数据流处理系统 连接处理 分布式计算
在线阅读 下载PDF
基于结构化P2P的分布式数据流系统的查询处理模型 被引量:1
4
作者 刘云生 赵海谊 《计算机应用研究》 CSCD 北大核心 2007年第12期74-76,共3页
分析了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束问题(主要是内存),提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。
关键词 分布式数据流管理系统 结构化覆盖网 分布式散列表 滑动窗口
在线阅读 下载PDF
分布式系统数据一致性处理的研究 被引量:5
5
作者 成汝震 尚志恩 +1 位作者 刘宏忠 张运凯 《计算机科学》 CSCD 北大核心 2001年第8期69-71,共3页
Through structure and analyse of data object attribute, this paper discusses the scheme on consistency processing of distributed bot multimedia data of structured and common data. The scheme provides a new way for sol... Through structure and analyse of data object attribute, this paper discusses the scheme on consistency processing of distributed bot multimedia data of structured and common data. The scheme provides a new way for solving difficult problem of distributed data on consistency processing. 展开更多
关键词 分布式系统 数据一致性处理 数据对象 多媒体数据系统
在线阅读 下载PDF
分布式地震数据处理系统研究 被引量:2
6
作者 高少武 赵卫峰 +2 位作者 赵波 梁意文 陈世鸿 《计算机工程与设计》 CSCD 2003年第1期20-23,共4页
地震数据处理是一个非常复杂的系统工程,其过程涉及到大量的功能模块,这些功能模块构成了一个完整的地震数据处理系统。针对当前单个地震数据处理系统存在的突出问题,提出了一种基于网络技术的分布式地震数据处理系统,以适应愈来愈复杂... 地震数据处理是一个非常复杂的系统工程,其过程涉及到大量的功能模块,这些功能模块构成了一个完整的地震数据处理系统。针对当前单个地震数据处理系统存在的突出问题,提出了一种基于网络技术的分布式地震数据处理系统,以适应愈来愈复杂的地震数据处理的需要,达到提高地震数据处理质量,减少地震数据处理周期的目的。分布式地震数据处理系统的地震数据采用局部地震数据库和全局地震数据库两种管理方式,功能模块设计为局部的,使用该处理系统进行管理。通过计算机网络功能,将多台计算机上的多个地震数据处理系统有机地结合起来,共同完成一次地震数据处理过程。其最大特点就是能够优化模块组合,进行数据共享,形成最佳处理流程,快速、高效地完成处理工作。 展开更多
关键词 计算机网络 分布式地震数据处理系统 功能模块 地震数据
在线阅读 下载PDF
基于分布式系统的地震数据处理平台 被引量:1
7
作者 王娟 刘俊民 +2 位作者 盖磊 张波 许进 《核电子学与探测技术》 CAS CSCD 北大核心 2006年第2期187-190,共4页
基于分布式应用控制系统的地震数据处理平台是针对地震数据处理的特点设计的。该平台为地震数据处理提供了一个分布处理的框架,支持地震数据的自动处理和交互分析,把分布于各个工作站上的UNIX软件进程连接为一个统一的、一致的处理分析... 基于分布式应用控制系统的地震数据处理平台是针对地震数据处理的特点设计的。该平台为地震数据处理提供了一个分布处理的框架,支持地震数据的自动处理和交互分析,把分布于各个工作站上的UNIX软件进程连接为一个统一的、一致的处理分析平台。该平台的建立,大大加快了地震数据处理的速度。 展开更多
关键词 分布式系统 地震数据处理 底层平台
在线阅读 下载PDF
分布式数据库查询优化处理在校园一卡通系统中的应用 被引量:4
8
作者 王艳 陶俊才 周兴斌 《现代电子技术》 2005年第14期34-36,共3页
校园一卡通系统的开发建设将进一步提高校园的信息化管理水平,实现由面向计算机管理向面向数据管理的转变。以校园一卡通系统的建设规划为背景,根据有多个独立校区的具体情况,详细介绍了分布式数据库在校园一卡通系统中的应用,并简要介... 校园一卡通系统的开发建设将进一步提高校园的信息化管理水平,实现由面向计算机管理向面向数据管理的转变。以校园一卡通系统的建设规划为背景,根据有多个独立校区的具体情况,详细介绍了分布式数据库在校园一卡通系统中的应用,并简要介绍了分布式查询优化的目标、策略及查询优化方法。 展开更多
关键词 校园一卡通系统 数据库查询 优化处理 应用 分布式数据 计算机管理 管理水平 开发建设 数据管理 建设规划 详细介绍 查询优化 优化方法 信息化 面向
在线阅读 下载PDF
热电厂分布式生产实时监测系统数据处理技术研究
9
作者 邢建春 王平 +3 位作者 杨启亮 张海涛 卫立新 张宗涛 《计算机工程与应用》 CSCD 北大核心 2002年第8期253-256,共4页
该文以一个工程实例为背景,深入剖析了热电厂生产运行数据一般处理方案,并认为热电厂分布式生产实时监测系统在数据处理上可概括为测点表建立、数据的提取与转储、数据的存储组织、数据的信息表达四个主要部分。最后分析了数据处理中应... 该文以一个工程实例为背景,深入剖析了热电厂生产运行数据一般处理方案,并认为热电厂分布式生产实时监测系统在数据处理上可概括为测点表建立、数据的提取与转储、数据的存储组织、数据的信息表达四个主要部分。最后分析了数据处理中应用的ADO和DAO数据访问技术、VBA技术、信号量互斥机制等关键技术。 展开更多
关键词 热电厂 分布式生产实时监测系统 数据处理 电力系统 计算机
在线阅读 下载PDF
一个分布式数据采集与处理系统
10
作者 陈燎原 叶高英 +1 位作者 邓慧忱 李宗源 《计算机应用》 CSCD 1995年第6期44-46,共3页
针对中国环流新一号HL—1M受控核聚变装置实验对实时数据获取和处理的要求,开发了一个专用分布式实时数据采集和处理系统。系统有效地利用了网络的快速传送和数据吞吐能力,充分地发挥分布处理功能,使实时响应和数据处理能力大大... 针对中国环流新一号HL—1M受控核聚变装置实验对实时数据获取和处理的要求,开发了一个专用分布式实时数据采集和处理系统。系统有效地利用了网络的快速传送和数据吞吐能力,充分地发挥分布处理功能,使实时响应和数据处理能力大大提高。每次放电采集数据量达20MB以上,实时处理并显示结果,数据曲线可在30秒内完成在过处理将5—7MB数据存入数据库保存供脱机分析用,并在两次放电间隙完成近400个通道数据曲线的硬拷贝。 展开更多
关键词 分布式系统 数据采集 数据处理
在线阅读 下载PDF
基于分布式多策略粒子群优化算法的多区域互联经济调度 被引量:2
11
作者 任旭阳 卜旭辉 +1 位作者 尹艳玲 刘静滑 《太阳能学报》 北大核心 2025年第5期99-108,共10页
为提高带有风电、光伏发电和储能单元的多区域互联经济调度问题求解精度,加强各区域的隐私保护能力,提出一种分布式多策略粒子群优化算法。首先,为提高粒子群优化算法的全局搜索能力,利用竞争机制将种群分区,根据分区使用多策略方案,增... 为提高带有风电、光伏发电和储能单元的多区域互联经济调度问题求解精度,加强各区域的隐私保护能力,提出一种分布式多策略粒子群优化算法。首先,为提高粒子群优化算法的全局搜索能力,利用竞争机制将种群分区,根据分区使用多策略方案,增强算法多样性。其次,构建带有风电、光伏发电和储能单元的多区域互联经济调度模型,各区域之间通过边界联络线传输信息,然后提出一种分布式方法应用于多策略粒子群优化算法中,各子算法分别求解与各区域相关的子问题。最后,将IEEE39节点系统分为两区域与三区域互联系统,并在修改后的IEEE39节点系统上验证算法性能,通过与其他3种优化算法进行对比分析,实验结果验证了基于竞争分区的粒子群优化算法的有效性和分布式方法的可行性。 展开更多
关键词 互联电力系统 调度 粒子群优化 分布式优化 竞争机制 联络线约束处理
在线阅读 下载PDF
基于混合处理模型的乱序数据流分布式聚合查询处理技术 被引量:2
12
作者 杨宁 许嘉 +1 位作者 吕品 李陶深 《广西科学》 CAS 2019年第4期398-404,共7页
为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用... 为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。 展开更多
关键词 乱序数据流 混合处理模型 聚合查询 分布式查询处理
在线阅读 下载PDF
基于分布式数据流的网络处理器数据收集分类平台 被引量:2
13
作者 段汝林 林德丰 《现代电子技术》 北大核心 2019年第4期117-120,共4页
自适应分布式数据流处理调整技术进行分布式数据收集与分类时,未构建精准的数据分类器,导致分类精度有所偏差,设计基于分布式数据流的网络处理器数据收集分类平台。所设计平台总体架构包括平台管理层、分布式数据收集层、分布式数据分类... 自适应分布式数据流处理调整技术进行分布式数据收集与分类时,未构建精准的数据分类器,导致分类精度有所偏差,设计基于分布式数据流的网络处理器数据收集分类平台。所设计平台总体架构包括平台管理层、分布式数据收集层、分布式数据分类层;网络处理器通过网络交换机端口接收分布式数据流,采用变压器、PHY处理所获数据,与主控芯片FPGA交互将数据保存,实现分布式数据流收集;网络处理器实现分布式数据流分类过程包括训练阶段与测试阶段,训练阶段采用分布式数据流更新规则完成数据特征选择,测试阶段进行分布式数据流分类特征更新,对关联度较大的特征数据实施筛选,实现分布式数据流的分类。实验结果表明,所设计平台分类精确度均值高达99.5%,且用时短、使用内存小。 展开更多
关键词 分布式数据流 网络处理 数据收集 数据分类 分类平台 特征更新
在线阅读 下载PDF
分布式数据处理系统内存对象管理问题分析 被引量:2
14
作者 张雄 陆路 石宣化 《中兴通讯技术》 2016年第2期19-22,共4页
通过从程序语言的特性、垃圾回收机制、内存对象的序列化机制到基于区域的内存管理机制分析了内存对象的管理存在的问题,并分析了内存对象的生命周期在内存对象管理中能发挥的作用。提出了基于内存对象的生命周期对内存进行区域化管理... 通过从程序语言的特性、垃圾回收机制、内存对象的序列化机制到基于区域的内存管理机制分析了内存对象的管理存在的问题,并分析了内存对象的生命周期在内存对象管理中能发挥的作用。提出了基于内存对象的生命周期对内存进行区域化管理的思路,可以从根本上解决垃圾回收问题。 展开更多
关键词 数据 内存对象管理 分布式数据处理系统
在线阅读 下载PDF
分布式实时数据处理系统的设计与实现 被引量:1
15
作者 韩凯 陈跃国 王京春 《计算机工程》 CAS CSCD 北大核心 2005年第23期227-228,231,共3页
分析了DRDPS系统的用户需求,提出了可调度实时和非实时事务的混合型事务调度算法FP-EDF,并根据系统特点设计了提交协议DRDPS-CP。在此基础上,设计并实现了DRDPS系统。
关键词 实时数据 事务调度算法 提交协议 分布式实时数据处理系统
在线阅读 下载PDF
分布式原子分子碰撞数据获得和处理系统
16
作者 吴世英 王营冠 +4 位作者 姚养森 许祖润 缪竞威 师勉恭 唐阿友 《原子与分子物理学报》 CAS CSCD 北大核心 1998年第S1期139-140,共2页
描述了用单片微机和PC微机组成的分布式原子分子碰撞数据获取和处理系统及其在原子分子碰撞实验中的应用。
关键词 原子分子碰撞 分布式 数据获取和处理 系统
在线阅读 下载PDF
基于云计算技术的分布式网络海量数据处理系统设计 被引量:17
17
作者 卢鹏 芦立华 《现代电子技术》 北大核心 2020年第18期36-39,共4页
传统的数据集中处理系统数据处理频率较低,导致对海量数据的反馈效果不佳,为此基于云计算技术,设计网络海量数据的分布式处理系统。该系统在原有系统硬件基础上,替换其中的数据处理器,并增加该处理器的总使用数量,实现对海量数据的分布... 传统的数据集中处理系统数据处理频率较低,导致对海量数据的反馈效果不佳,为此基于云计算技术,设计网络海量数据的分布式处理系统。该系统在原有系统硬件基础上,替换其中的数据处理器,并增加该处理器的总使用数量,实现对海量数据的分布式同步处理。在软件设计方面,通过协议使系统单元、模块之间形成交互,改进系统的数据通信方式;计算欧氏距离,设置系统的分布式处理方式;根据云计算定义,使用分类函数确定约束条件,建立处理频率方程,实现对海量数据的快速处理。实验结果表明,与传统系统相比,所设计系统对海量数据的处理频率更快,反馈给用户的效果更好。由此可见,该系统的应用可以增强用户的体验感受。 展开更多
关键词 分布式网络 数据处理 系统设计 云计算技术 处理方程建立 对比验证
在线阅读 下载PDF
RGraph:基于RDMA的高效分布式图数据处理系统 被引量:6
18
作者 崔鹏杰 袁野 +2 位作者 李岑浩 张灿 王国仁 《软件学报》 EI CSCD 北大核心 2022年第3期1018-1042,共25页
图是描述实体间关系的重要数据结构,被广泛地应用于信息科学、物理学、生物学、环境生态学等重要的科学领域.现如今,随着图数据规模的不断增大,利用分布式系统来处理大图数据已经成为主流,出现了形如Pregel、GraphX、Power Graph和Gemin... 图是描述实体间关系的重要数据结构,被广泛地应用于信息科学、物理学、生物学、环境生态学等重要的科学领域.现如今,随着图数据规模的不断增大,利用分布式系统来处理大图数据已经成为主流,出现了形如Pregel、GraphX、Power Graph和Gemini等经典的分布式大图数据处理系统.然而,与当前先进的基于单机的图处理系统相比,这些经典的分布式图处理系统在处理真实的图数据时并没有充足或稳定的性能优势.分析了几个有代表性的分布式图处理系统,总结并归纳出了影响其性能的主要挑战.通过对这些挑战的深入研究,提出了RGraph——一个基于RDMA的高效分布式大图数据处理系统.RGraph旨在通过充分利用RDMA的优势来提升图处理系统多个方面的性能.在图划分方面,RGraph采用基于块的划分方式避免破坏原始图数据的局部性,从而保证顶点的高效访问.在负载方面,RGraph提出了基于RDMA单边READ的任务迁移机制和线程间细粒度的任务抢夺方式来分别保证计算节点间以及计算节点内线程间的动态负载均衡,确保集群中的所有计算资源能够被充分利用.在通信方面,RGraph通过对IB verbs的有效封装,实现了符合图计算语义的多线程RDMA通信模型.相比于传统的MPI,RGraph的通信机制可以减少计算节点间2.1倍以上的通信延迟.最后,利用5个真实大图数据集和1个合成数据集,在拥有8个计算节点的高性能集群上测试了RGraph.实验结果表明,RGraph具有明显的性能优势.相比于Powergraph,RGraph具有10.1-16.8倍的加速比,与当前最先进的分布式图处理系统相比,RGraph的加速比仍能达到2.89-5.12倍.同时,RGraph在极度偏斜的幂律图上也能保证稳定的性能优势. 展开更多
关键词 分布式 处理系统 高性能 RDMA 动态负载均衡 RDMA通信模型
在线阅读 下载PDF
基于NOWs分布式共享存储系统的并行图像处理数据通讯研究
19
作者 黄国满 何建邦 《计算机科学》 CSCD 北大核心 2002年第3期96-98,共3页
1.引言目前,并行分布式系统的应用正在不断地发展和扩大.将现有的微机、工作站用高速网络连接起来,再配上并行分布式计算的软件环境,便能实现高速的并行计算….这将有利于普及并行计算.在所有类型的并行系统中,基于分布式存储的工作站集... 1.引言目前,并行分布式系统的应用正在不断地发展和扩大.将现有的微机、工作站用高速网络连接起来,再配上并行分布式计算的软件环境,便能实现高速的并行计算….这将有利于普及并行计算.在所有类型的并行系统中,基于分布式存储的工作站集群(NOWs)由于具有很高的性价比,越来越受到高性能计算领域的重视[2~4]. 展开更多
关键词 并行图像处理 数据通讯 NOWs 分布式共享存储系统 计算机
在线阅读 下载PDF
面向地震数据处理的并行与分布式编程框架 被引量:17
20
作者 赵长海 晏海华 +2 位作者 王宏琳 史晓华 王雷 《石油地球物理勘探》 EI CSCD 北大核心 2010年第1期146-155,共10页
本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CP... 本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CPU核的调度、通讯与节点故障恢复、模块之间的数据传输等并行编程细节。经过实验评估,GeoPF框架从串行到并行的线性加速性能有所提高,处理相同任务的时间从21h33min缩减到15min27s,效果显著。GeoPF与商用的地震数据处理系统相比,在业务流程方面有一些相同特点,其不同之处就是GeoPF的处理模块具有自动并行特点,而大部分地震处理模块只能是串行方式。 展开更多
关键词 并行执行模型 地震数据处理 编程框架 分布式 计算节点 地震资料处理 数据处理系统 串行方式
在线阅读 下载PDF
上一页 1 2 17 下一页 到第
使用帮助 返回顶部