期刊文献+
共找到142篇文章
< 1 2 8 >
每页显示 20 50 100
分布式数据流处理系统的动态负载平衡技术 被引量:13
1
作者 邓华锋 刘云生 肖迎元 《计算机科学》 CSCD 北大核心 2007年第7期120-123,共4页
设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成,负载在每个服务器集群内部多台同构的服务器之间获得平衡,从而达到整个系统的负载平衡。集群设计的主要目标之一是以资源换性能,服务器集群中服... 设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成,负载在每个服务器集群内部多台同构的服务器之间获得平衡,从而达到整个系统的负载平衡。集群设计的主要目标之一是以资源换性能,服务器集群中服务器的最大数目足够保证系统不再发生过载现象,不再需要会降低性能的卸载技术。而且投入运行的服务器的数目根据实际的系统负载来决定,负载较轻时,一部分服务器可以进入休眠状态来减少能源的消耗。根据系统动态增减服务器的特点,设计了全新的初始化算法、动态负载平衡算法。与以前的分布式数据流处理系统相比,由于单个集群的服务器的数目大大减少,算法复杂性降低、速度加快、优化的空间增大。 展开更多
关键词 分布式数据处理流系统 动态负载平衡 卸载 节能
在线阅读 下载PDF
分布式数据流处理系统管理中负载均衡问题建模与求解 被引量:4
2
作者 唐颖峰 陈世平 《运筹与管理》 CSSCI CSCD 北大核心 2021年第4期155-162,共8页
对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;... 对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;然后采用蚁群算法对模型进行求解,并针对分布式数据流处理系统实时性的需求对算法进行改进;最后用实验证明本文所建立的模型及其求解方法对于解决分布式数据流处理系统管理中节点负载均衡问题的有效性。 展开更多
关键词 系统管理 分布式数据处理系统 负载均衡 组合优化问题 蚁群算法
在线阅读 下载PDF
分布式系统数据一致性处理的研究 被引量:5
3
作者 成汝震 尚志恩 +1 位作者 刘宏忠 张运凯 《计算机科学》 CSCD 北大核心 2001年第8期69-71,共3页
Through structure and analyse of data object attribute, this paper discusses the scheme on consistency processing of distributed bot multimedia data of structured and common data. The scheme provides a new way for sol... Through structure and analyse of data object attribute, this paper discusses the scheme on consistency processing of distributed bot multimedia data of structured and common data. The scheme provides a new way for solving difficult problem of distributed data on consistency processing. 展开更多
关键词 分布式系统 数据一致性处理 数据对象 多媒体数据系统
在线阅读 下载PDF
分布式地震数据处理系统研究 被引量:2
4
作者 高少武 赵卫峰 +2 位作者 赵波 梁意文 陈世鸿 《计算机工程与设计》 CSCD 2003年第1期20-23,共4页
地震数据处理是一个非常复杂的系统工程,其过程涉及到大量的功能模块,这些功能模块构成了一个完整的地震数据处理系统。针对当前单个地震数据处理系统存在的突出问题,提出了一种基于网络技术的分布式地震数据处理系统,以适应愈来愈复杂... 地震数据处理是一个非常复杂的系统工程,其过程涉及到大量的功能模块,这些功能模块构成了一个完整的地震数据处理系统。针对当前单个地震数据处理系统存在的突出问题,提出了一种基于网络技术的分布式地震数据处理系统,以适应愈来愈复杂的地震数据处理的需要,达到提高地震数据处理质量,减少地震数据处理周期的目的。分布式地震数据处理系统的地震数据采用局部地震数据库和全局地震数据库两种管理方式,功能模块设计为局部的,使用该处理系统进行管理。通过计算机网络功能,将多台计算机上的多个地震数据处理系统有机地结合起来,共同完成一次地震数据处理过程。其最大特点就是能够优化模块组合,进行数据共享,形成最佳处理流程,快速、高效地完成处理工作。 展开更多
关键词 计算机网络 分布式地震数据处理系统 功能模块 地震数据
在线阅读 下载PDF
基于分布式系统的地震数据处理平台 被引量:1
5
作者 王娟 刘俊民 +2 位作者 盖磊 张波 许进 《核电子学与探测技术》 CAS CSCD 北大核心 2006年第2期187-190,共4页
基于分布式应用控制系统的地震数据处理平台是针对地震数据处理的特点设计的。该平台为地震数据处理提供了一个分布处理的框架,支持地震数据的自动处理和交互分析,把分布于各个工作站上的UNIX软件进程连接为一个统一的、一致的处理分析... 基于分布式应用控制系统的地震数据处理平台是针对地震数据处理的特点设计的。该平台为地震数据处理提供了一个分布处理的框架,支持地震数据的自动处理和交互分析,把分布于各个工作站上的UNIX软件进程连接为一个统一的、一致的处理分析平台。该平台的建立,大大加快了地震数据处理的速度。 展开更多
关键词 分布式系统 地震数据处理 底层平台
在线阅读 下载PDF
分布式数据库查询优化处理在校园一卡通系统中的应用 被引量:4
6
作者 王艳 陶俊才 周兴斌 《现代电子技术》 2005年第14期34-36,共3页
校园一卡通系统的开发建设将进一步提高校园的信息化管理水平,实现由面向计算机管理向面向数据管理的转变。以校园一卡通系统的建设规划为背景,根据有多个独立校区的具体情况,详细介绍了分布式数据库在校园一卡通系统中的应用,并简要介... 校园一卡通系统的开发建设将进一步提高校园的信息化管理水平,实现由面向计算机管理向面向数据管理的转变。以校园一卡通系统的建设规划为背景,根据有多个独立校区的具体情况,详细介绍了分布式数据库在校园一卡通系统中的应用,并简要介绍了分布式查询优化的目标、策略及查询优化方法。 展开更多
关键词 校园一卡通系统 数据库查询 优化处理 应用 分布式数据 计算机管理 管理水平 开发建设 数据管理 建设规划 详细介绍 查询优化 优化方法 信息化 面向
在线阅读 下载PDF
分布式流处理系统中基于位置感知的操作共享优化算法
7
作者 魏晓辉 刘晓斐 +4 位作者 李洪亮 李兰馨 李丽娜 崔浩龙 李想 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2016年第5期1047-1054,共8页
针对流数据规模大、基本数据处理操作有重叠等特点,提出一种基于位置感知的操作共享优化算法.假设操作预先分配了计算节点资源,在保证流处理实时性和动态性的基础上,利用多个流数据作业间拓扑结构和操作功能的相似性,基于DAG图匹配方法... 针对流数据规模大、基本数据处理操作有重叠等特点,提出一种基于位置感知的操作共享优化算法.假设操作预先分配了计算节点资源,在保证流处理实时性和动态性的基础上,利用多个流数据作业间拓扑结构和操作功能的相似性,基于DAG图匹配方法建立操作共享备选集;以输出带宽为约束条件,建立一个操作共享收益优化问题模型,解决了流处理过程中传统操作共享方法对集群的输出带宽影响考虑不充分的问题.仿真实验结果表明,该方法较原有算法更充分地考虑了计算节点制约因素,并提高了共享收益,从而可有效地节省系统计算资源. 展开更多
关键词 数据 分布式处理 操作共享 共享优化
在线阅读 下载PDF
支持非等值连接的分布式数据流处理系统
8
作者 陈明珠 王晓桐 +1 位作者 房俊华 张蓉 《华东师范大学学报(自然科学版)》 CAS CSCD 北大核心 2017年第5期11-19,共9页
实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布... 实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现. 展开更多
关键词 数据处理系统 连接处理 分布式计算
在线阅读 下载PDF
热电厂分布式生产实时监测系统数据处理技术研究
9
作者 邢建春 王平 +3 位作者 杨启亮 张海涛 卫立新 张宗涛 《计算机工程与应用》 CSCD 北大核心 2002年第8期253-256,共4页
该文以一个工程实例为背景,深入剖析了热电厂生产运行数据一般处理方案,并认为热电厂分布式生产实时监测系统在数据处理上可概括为测点表建立、数据的提取与转储、数据的存储组织、数据的信息表达四个主要部分。最后分析了数据处理中应... 该文以一个工程实例为背景,深入剖析了热电厂生产运行数据一般处理方案,并认为热电厂分布式生产实时监测系统在数据处理上可概括为测点表建立、数据的提取与转储、数据的存储组织、数据的信息表达四个主要部分。最后分析了数据处理中应用的ADO和DAO数据访问技术、VBA技术、信号量互斥机制等关键技术。 展开更多
关键词 热电厂 分布式生产实时监测系统 数据处理 电力系统 计算机
在线阅读 下载PDF
一个分布式数据采集与处理系统
10
作者 陈燎原 叶高英 +1 位作者 邓慧忱 李宗源 《计算机应用》 CSCD 1995年第6期44-46,共3页
针对中国环流新一号HL—1M受控核聚变装置实验对实时数据获取和处理的要求,开发了一个专用分布式实时数据采集和处理系统。系统有效地利用了网络的快速传送和数据吞吐能力,充分地发挥分布处理功能,使实时响应和数据处理能力大大... 针对中国环流新一号HL—1M受控核聚变装置实验对实时数据获取和处理的要求,开发了一个专用分布式实时数据采集和处理系统。系统有效地利用了网络的快速传送和数据吞吐能力,充分地发挥分布处理功能,使实时响应和数据处理能力大大提高。每次放电采集数据量达20MB以上,实时处理并显示结果,数据曲线可在30秒内完成在过处理将5—7MB数据存入数据库保存供脱机分析用,并在两次放电间隙完成近400个通道数据曲线的硬拷贝。 展开更多
关键词 分布式系统 数据采集 数据处理
在线阅读 下载PDF
基于分布式流处理的自适应数据分发策略 被引量:2
11
作者 闾程豪 荆一楠 +1 位作者 何震瀛 王晓阳 《计算机应用与软件》 北大核心 2018年第8期24-30,共7页
现有的分布式流数据分发方法通常只针对某一类数据分布的特征进行优化,以降低处理的延迟时间。现实情况中,数据分布的特征往往会随着时间发生变化,导致针对特定数据分布特征进行优化的分发方法无法总是获得最低的处理延迟时间。解决上... 现有的分布式流数据分发方法通常只针对某一类数据分布的特征进行优化,以降低处理的延迟时间。现实情况中,数据分布的特征往往会随着时间发生变化,导致针对特定数据分布特征进行优化的分发方法无法总是获得最低的处理延迟时间。解决上述问题可以使用一种自适应数据分发策略APS(Adaptive Partition Strategy)。在mini-batch分布式流处理模型中,APS策略选取一系列当下被广泛使用的数据分发方法作为候选,在每个minibatch上对不同候选方法的最大负载和键值分离程度进行整体评估,进而根据评估结果进行分发方法的调整。实验结果表明,在处理维基项目的真实数据集时,该策略与现有分发方法相比,最多能将处理延迟时间降低26.7%。 展开更多
关键词 分布式数据处理 数据分发 负载均衡 键值分离 自适应策略
在线阅读 下载PDF
风浪流水槽分布式数据采集与分析系统设计 被引量:3
12
作者 杨宁 朱晓阳 +2 位作者 齐连明 熊焰 王花梅 《电子测量技术》 2013年第5期105-110,共6页
设计了一种应用在风浪流水槽的分布式数据采集与分析系统。对于传感器输出模拟信号首先采用巴特沃斯方法和抗混叠方法进行滤波,弱信号滤波后还要进行信号放大,然后按照奈奎斯特采样定理要求,前端采集器将模拟信号转换成数字信号,通过以... 设计了一种应用在风浪流水槽的分布式数据采集与分析系统。对于传感器输出模拟信号首先采用巴特沃斯方法和抗混叠方法进行滤波,弱信号滤波后还要进行信号放大,然后按照奈奎斯特采样定理要求,前端采集器将模拟信号转换成数字信号,通过以太网传输给后端数据分析与监控软件完成数据存储、分析和显示。实际应用表明对于4~20mA的弱电流信号,能够以20kHz的频率实时连续采集,对于-5~+5V的标准电压信号,能够以15kHz的频率连续采集,解决了由于水槽面积大,传感器数量多、布局分散所引起的信号传输质量差和采集准确性低的问题。 展开更多
关键词 风浪水槽 分布式数据采集与分析系统 实时连续采集
在线阅读 下载PDF
分布式数据处理系统内存对象管理问题分析 被引量:2
13
作者 张雄 陆路 石宣化 《中兴通讯技术》 2016年第2期19-22,共4页
通过从程序语言的特性、垃圾回收机制、内存对象的序列化机制到基于区域的内存管理机制分析了内存对象的管理存在的问题,并分析了内存对象的生命周期在内存对象管理中能发挥的作用。提出了基于内存对象的生命周期对内存进行区域化管理... 通过从程序语言的特性、垃圾回收机制、内存对象的序列化机制到基于区域的内存管理机制分析了内存对象的管理存在的问题,并分析了内存对象的生命周期在内存对象管理中能发挥的作用。提出了基于内存对象的生命周期对内存进行区域化管理的思路,可以从根本上解决垃圾回收问题。 展开更多
关键词 数据 内存对象管理 分布式数据处理系统
在线阅读 下载PDF
面向R语言的分布式流处理系统设计与实现 被引量:3
14
作者 高官涛 郑小盈 李明齐 《科学技术与工程》 北大核心 2016年第2期208-213,共6页
为了使得在数据分析领域广泛使用的R语言能够应用于大规模数据的分布式流处理计算,基于Spark Streaming框架,设计和实现了一个面向R语言的分布式流处理系统。系统提出了一套完备的R/Java跨语言交互模型,实现了R语言程序和Java程序的互... 为了使得在数据分析领域广泛使用的R语言能够应用于大规模数据的分布式流处理计算,基于Spark Streaming框架,设计和实现了一个面向R语言的分布式流处理系统。系统提出了一套完备的R/Java跨语言交互模型,实现了R语言程序和Java程序的互相调用,从而使得R语言程序可以运行在Java平台上,改进了R语言在大规模数据处理和并发计算等方面的不足。系统也提供了Spark Streaming的R语言编程接口,提高了后者的易用性。通过实例验证了该系统的可行性和实用性。 展开更多
关键词 处理 分布式系统 并行计算 R语言 SPARK STREAMING
在线阅读 下载PDF
分布式实时数据处理系统的设计与实现 被引量:1
15
作者 韩凯 陈跃国 王京春 《计算机工程》 CAS CSCD 北大核心 2005年第23期227-228,231,共3页
分析了DRDPS系统的用户需求,提出了可调度实时和非实时事务的混合型事务调度算法FP-EDF,并根据系统特点设计了提交协议DRDPS-CP。在此基础上,设计并实现了DRDPS系统。
关键词 实时数据 事务调度算法 提交协议 分布式实时数据处理系统
在线阅读 下载PDF
分布式原子分子碰撞数据获得和处理系统
16
作者 吴世英 王营冠 +4 位作者 姚养森 许祖润 缪竞威 师勉恭 唐阿友 《原子与分子物理学报》 CAS CSCD 北大核心 1998年第S1期139-140,共2页
描述了用单片微机和PC微机组成的分布式原子分子碰撞数据获取和处理系统及其在原子分子碰撞实验中的应用。
关键词 原子分子碰撞 分布式 数据获取和处理 系统
在线阅读 下载PDF
基于云计算技术的分布式网络海量数据处理系统设计 被引量:17
17
作者 卢鹏 芦立华 《现代电子技术》 北大核心 2020年第18期36-39,共4页
传统的数据集中处理系统数据处理频率较低,导致对海量数据的反馈效果不佳,为此基于云计算技术,设计网络海量数据的分布式处理系统。该系统在原有系统硬件基础上,替换其中的数据处理器,并增加该处理器的总使用数量,实现对海量数据的分布... 传统的数据集中处理系统数据处理频率较低,导致对海量数据的反馈效果不佳,为此基于云计算技术,设计网络海量数据的分布式处理系统。该系统在原有系统硬件基础上,替换其中的数据处理器,并增加该处理器的总使用数量,实现对海量数据的分布式同步处理。在软件设计方面,通过协议使系统单元、模块之间形成交互,改进系统的数据通信方式;计算欧氏距离,设置系统的分布式处理方式;根据云计算定义,使用分类函数确定约束条件,建立处理频率方程,实现对海量数据的快速处理。实验结果表明,与传统系统相比,所设计系统对海量数据的处理频率更快,反馈给用户的效果更好。由此可见,该系统的应用可以增强用户的体验感受。 展开更多
关键词 分布式网络 数据处理 系统设计 云计算技术 处理方程建立 对比验证
在线阅读 下载PDF
分布式流处理技术综述 被引量:51
18
作者 崔星灿 禹晓辉 +1 位作者 刘洋 吕朝阳 《计算机研究与发展》 EI CSCD 北大核心 2015年第2期318-332,共15页
随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景... 随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向. 展开更多
关键词 数据 数据 分布式处理 实时处理 分布式系统
在线阅读 下载PDF
基于NOWs分布式共享存储系统的并行图像处理数据通讯研究
19
作者 黄国满 何建邦 《计算机科学》 CSCD 北大核心 2002年第3期96-98,共3页
1.引言目前,并行分布式系统的应用正在不断地发展和扩大.将现有的微机、工作站用高速网络连接起来,再配上并行分布式计算的软件环境,便能实现高速的并行计算….这将有利于普及并行计算.在所有类型的并行系统中,基于分布式存储的工作站集... 1.引言目前,并行分布式系统的应用正在不断地发展和扩大.将现有的微机、工作站用高速网络连接起来,再配上并行分布式计算的软件环境,便能实现高速的并行计算….这将有利于普及并行计算.在所有类型的并行系统中,基于分布式存储的工作站集群(NOWs)由于具有很高的性价比,越来越受到高性能计算领域的重视[2~4]. 展开更多
关键词 并行图像处理 数据通讯 NOWs 分布式共享存储系统 计算机
在线阅读 下载PDF
面向地震数据处理的并行与分布式编程框架 被引量:17
20
作者 赵长海 晏海华 +2 位作者 王宏琳 史晓华 王雷 《石油地球物理勘探》 EI CSCD 北大核心 2010年第1期146-155,共10页
本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CP... 本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CPU核的调度、通讯与节点故障恢复、模块之间的数据传输等并行编程细节。经过实验评估,GeoPF框架从串行到并行的线性加速性能有所提高,处理相同任务的时间从21h33min缩减到15min27s,效果显著。GeoPF与商用的地震数据处理系统相比,在业务流程方面有一些相同特点,其不同之处就是GeoPF的处理模块具有自动并行特点,而大部分地震处理模块只能是串行方式。 展开更多
关键词 并行执行模型 地震数据处理 编程框架 分布式 计算节点 地震资料处理 数据处理系统 串行方式
在线阅读 下载PDF
上一页 1 2 8 下一页 到第
使用帮助 返回顶部