期刊文献+
共找到365篇文章
< 1 2 19 >
每页显示 20 50 100
基于Spark分布式框架的海量星表数据时序重构方法研究 被引量:1
1
作者 赵青 权文利 +2 位作者 陈亚瑞 崔辰州 樊东卫 《天文学进展》 CSCD 北大核心 2024年第1期86-101,共16页
时序重构是时域天文学中的一个重要数据处理步骤,也是拟合光变曲线、开展时域分析研究的基础。Hadoop、Spark这类MapReduce分布式模型在执行过程中分布式集群节点间的任务比较独立,需要跨节点的数据传输量较少。提出了非阻塞异步执行流... 时序重构是时域天文学中的一个重要数据处理步骤,也是拟合光变曲线、开展时域分析研究的基础。Hadoop、Spark这类MapReduce分布式模型在执行过程中分布式集群节点间的任务比较独立,需要跨节点的数据传输量较少。提出了非阻塞异步执行流程,每个分布式进程完全针对独立天区的数据进行连续处理,而分块边缘的新增天体导致的其他节点的新增证认任务延时批量追加,并且会根据各进程间的进度不同确定追加方式,保证证认计算没有遗漏,从而在提高并发效率的同时保证算法的精度。此外,对两表间的不同Join策略从理论和实验两个角度进行了研究并提出了免Join策略。最后通过基于Spark分布式框架的高效时序重构系统的设计完成了以上研究的验证。实验表明,与以往研究结果相比,该时序重构算法效率提升明显,为时域天文学中的天文时序数据分析的开展打下了良好的基础。 展开更多
关键词 时域天文学 交叉证认计算 时序重构 分布式计算 spark
在线阅读 下载PDF
基于分布式的海洋综合导航系统框架设计与实现
2
作者 方守川 易昌华 +3 位作者 曹国发 张瑞天 韩华 吴文俊 《石油地球物理勘探》 北大核心 2025年第4期1059-1066,共8页
以往海洋综合导航系统功能较单一,存在不能跨操作系统平台发布,不能适应野外作业船队仪器室、震源枪控系统操作室、驾驶台、后甲板等各个空间位置的各具特色的显示和操作,从而影响生产作业效率,且后续维护开发、功能扩展不易等问题。为... 以往海洋综合导航系统功能较单一,存在不能跨操作系统平台发布,不能适应野外作业船队仪器室、震源枪控系统操作室、驾驶台、后甲板等各个空间位置的各具特色的显示和操作,从而影响生产作业效率,且后续维护开发、功能扩展不易等问题。为此,系统梳理了海洋综合导航系统软件功能模块、各个模块的数据交互及协同工作、作业船队安全管理、关键基础信息管理及各个作业班组的具体导航作业需求,并通过对比REST与gRPC在接口协议约定、传输协议、流式处理与请求响应、强类型与序列化及系统性能等五个方面的差异,论证了gRPC在海洋勘探高并发、低延迟场景下的技术优势,设计了基于gRPC框架的分布式海洋勘探综合导航系统的框架,开发了综合导航系统的主程序和远程过程调用服务程序,实现了由一个系统服务程序动态管理和监视系统中运行的其他模块,并由主程序进行综合导航系统子模块程序的系统配置、启动和停止等运行管理。开发实践证明:基于该分布式系统架构的综合导航系统,实现了系统模块在本地和远端的部署,能够满足施工船队各个作业空间位置的导航操作、导航显示和质量控制的需要。 展开更多
关键词 海洋地震勘探 综合导航 分布式框架 REST技术 gRPC技术
在线阅读 下载PDF
面向结构化篇级科技文献数据治理的高性能分布式计算框架研究 被引量:3
3
作者 范萌 常志军 +1 位作者 钱力 郭丹 《情报杂志》 CSSCI 北大核心 2024年第3期182-189,121,共9页
[研究目的]为解决MapReduce、Spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理... [研究目的]为解决MapReduce、Spark等主流分布式计算框架存在的研发周期长、技术门槛高等问题,提出了一种高灵活、低门槛的高性能计算框架ArticleCF。[研究方法]ArticleCF框架吸收了主流分布式技术的优点,同时深度结合科技文献数据治理的特性,设计了Master/Slave的软件架构,在功能上针对科技文献数据特点进行多个维度的设计,重点设计了分布式任务分发策略、并行计算策略以及故障转移机制。[研究结论]通过21个指标将ArticleCF与MapReduce、Spark、Storm进行对比实验,有效验证所提方法的可行性、有效性,ArticleCF能够满足海量结构化科技文献数据的多样化处理需求。 展开更多
关键词 科技文献 数据治理 分布式计算 结构化数据 在线可视化编程 高性能计算 MAPREDUCE spark
在线阅读 下载PDF
面向实时水环境监测大数据分析的分布式处理框架研究 被引量:3
4
作者 陈江龙 宋炜炜 +3 位作者 李嘉豪 韦群兰 王金霞 代博兰 《测绘通报》 CSCD 北大核心 2024年第10期25-31,共7页
水质监测数据的迅速积累和增长,给水质研究带来了新的机遇和挑战。针对目前水质监测与分析面临的实时性差、数据显示不直观、数据处理效率低等问题,本文基于大数据技术和数据可视化技术,构建了用于实时水环境监测与大数据分析的分布式... 水质监测数据的迅速积累和增长,给水质研究带来了新的机遇和挑战。针对目前水质监测与分析面临的实时性差、数据显示不直观、数据处理效率低等问题,本文基于大数据技术和数据可视化技术,构建了用于实时水环境监测与大数据分析的分布式处理框架WaterSpark。使用改进的加拿大环境部长理事会水质指数(CCME-WQI)和Spark机器学习库(MLlib),进行云南省九大高原湖泊水质监测数据。结果表明,WaterSpark在实时水质传输、清洗归档、高效计算分析等方面表现出色,能够及时准确地捕获和分析大规模水质数据,分布式数据集和集群能够应对不断增长的水质数据,保证性能的可扩展性,支持更多的水质指标和更大规模的水质监测。 展开更多
关键词 水质监测 分布式处理框架 水质指数 云南省九大高原湖泊
在线阅读 下载PDF
Spark框架下利用分布式NBC的大数据文本分类方法 被引量:6
5
作者 臧艳辉 赵雪章 席运江 《计算机应用研究》 CSCD 北大核心 2019年第12期3705-3708,3712,共5页
针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战,提出了基于MapReduce和Apache Spark框架的分布式朴素贝叶斯文本分类方法。通过研究MapReduce和Apache Spark框架的适应性来探索朴素贝叶斯分类器(NBC),并研究了现有... 针对现有面向大数据的计算框架在可扩展性机器学习研究中面临的挑战,提出了基于MapReduce和Apache Spark框架的分布式朴素贝叶斯文本分类方法。通过研究MapReduce和Apache Spark框架的适应性来探索朴素贝叶斯分类器(NBC),并研究了现有面向大数据的计算框架。首先,基于朴素贝叶斯文本分类模型将训练样本数据集分为m类;进一步在训练阶段中,将前一个MapReduce的输出作为后一个MapReduce的输入,采用四个MapReduce作业得出模型。该设计过程充分利用了MapReduce的并行优势,最后在分类器测试时取出最大值所属的类标签值。在Newgroups数据集进行实验,在所有五类新闻数据组上的分类都取得了99%以上的结果,并且均高于对比算法,证明了提出方法的准确性。 展开更多
关键词 文本分类 MAPREDUCE spark框架 分布式 朴素贝叶斯分类器 机器学习
在线阅读 下载PDF
Spark框架下分布式K-means算法优化方法 被引量:13
6
作者 王法玉 刘志强 《计算机工程与设计》 北大核心 2019年第6期1595-1600,共6页
针对传统K-means算法在处理海量数据时存在计算效率低和时间复杂度高的缺点,提出一种基于Spark计算框架的改进K-means算法。利用网格单元保存数据点的空间位置信息,通过与聚类中心的空间位置关系减少冗余计算,为提高算法处理海量数据的... 针对传统K-means算法在处理海量数据时存在计算效率低和时间复杂度高的缺点,提出一种基于Spark计算框架的改进K-means算法。利用网格单元保存数据点的空间位置信息,通过与聚类中心的空间位置关系减少冗余计算,为提高算法处理海量数据的能力,采用Spark框架对算法进行并行化实现。在集群环境下进行测试,基于Spark框架的改进后算法能有效降低计算的时间复杂度,算法具有良好扩展性,计算效率有显著提高。 展开更多
关键词 K-MEANS算法 spark计算框架 分布式 网格 空间位置
在线阅读 下载PDF
一种基于Spark的大规模语义数据分布式推理框架 被引量:2
7
作者 陈恒 《计算机科学》 CSCD 北大核心 2016年第S2期93-96,共4页
随着大规模语义数据的涌现,研究高效的并行化语义推理成为热点问题之一。现有推理框架大多存在可扩展性方面的不足,难以满足大规模语义数据的需求。针对现有推理框架的不足,提出一种基于Spark的大规模语义数据分布式推理框架。该框架主... 随着大规模语义数据的涌现,研究高效的并行化语义推理成为热点问题之一。现有推理框架大多存在可扩展性方面的不足,难以满足大规模语义数据的需求。针对现有推理框架的不足,提出一种基于Spark的大规模语义数据分布式推理框架。该框架主要包括语义建模、规则提取和基于Spark的并行推理机等3个模块。通过过程分析和推理实例验证,提出的分布式并行推理的计算性能(T(n)=O(log_(2)n))远远优于顺序式推理的计算性能(T(n)=O(n))。 展开更多
关键词 spark 并行化语义推理 分布式框架 语义大数据
在线阅读 下载PDF
Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架
8
作者 谭文婷 吕存驰 +1 位作者 史骁 赵晓芳 《高技术通讯》 CAS 北大核心 2024年第3期219-232,共14页
跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性... 跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。 展开更多
关键词 跨地域分布式机器学习(ML)训练 跨云ML训练 分布式训练框架 serverless 跨云模型同步
在线阅读 下载PDF
基于Spark SQL的分布式全文检索框架的设计与实现 被引量:5
9
作者 崔光范 许利杰 +2 位作者 刘杰 叶丹 钟华 《计算机科学》 CSCD 北大核心 2018年第9期104-112,145,共10页
随着信息化的深入,大数据在各个领域产生了巨大的价值,海量数据的存储和快速分析成为新的挑战。传统的关系型数据库由于性能、扩展性的不足以及价格昂贵等方面的缺点,难以满足大数据的存储和分析需求。Spark SQL是基于大数据处理框架Sp... 随着信息化的深入,大数据在各个领域产生了巨大的价值,海量数据的存储和快速分析成为新的挑战。传统的关系型数据库由于性能、扩展性的不足以及价格昂贵等方面的缺点,难以满足大数据的存储和分析需求。Spark SQL是基于大数据处理框架Spark的数据分析工具,目前已支持TPC-DS基准,成为大数据背景下传统数据仓库的替代解决方案。全文检索作为一种文本搜索的有效方式,能够与一般的查询操作结合使用,提供更加丰富的查询和分析操作。目前,Spark SQL仅支持简单的查询操作,不支持全文检索。为了满足传统业务迁移和现有业务的使用需求,提出了分布式全文检索框架,涵盖了SQL文法、SQL翻译转换框架、全文检索并行化、检索优化4个模块,并在Spark SQL上进行了实现。实验结果表明相比于传统的数据库,在两种检索优化策略下,该框架的索引构建时间、查询时间分别减少到传统数据库的0.6%/0.5%和1%/10%,索引存储量减少为传统数据库的55.0%。 展开更多
关键词 spark SQL 全文检索 翻译转换框架 检索并行化 检索优化
在线阅读 下载PDF
Spark-GPU框架下海洋地理空间数据分布式并行处理任务调度 被引量:5
10
作者 景辉 秦勃 +1 位作者 姜晓轶 夏海涛 《中国海洋大学学报(自然科学版)》 CAS CSCD 北大核心 2018年第A02期180-186,共7页
大规模长时间序列海洋地理空间数据处理属于计算密集型任务。本文重点介绍Spark框架下如何利用GPU并行计算机制实现海洋地理空间数据分布式并行处理的任务调度,以提高大规模长时间序列海洋地理空间数据处理效率,满足实时交互需求。Spark... 大规模长时间序列海洋地理空间数据处理属于计算密集型任务。本文重点介绍Spark框架下如何利用GPU并行计算机制实现海洋地理空间数据分布式并行处理的任务调度,以提高大规模长时间序列海洋地理空间数据处理效率,满足实时交互需求。Spark-GPU框架包括Spark-GPU调度器和Spark-GPU运行时两部分。任务计算量和GPU设备计算能力作为调度策略因子,采用一个多项式时间的2近似算法求解,是一个著名的无关并行机任务调度问题。本文以流场可视化线积分卷积算法作为测试用例,1 000~2 000场的任务调度测试结果表明与原生Spark调度算法相比,Spark-GPU框架执行时间减少了14%~18%,GPU占用比提高了10%~20%。 展开更多
关键词 spark 云计算 分布式并行 GPU 任务调度 无关并行机任务调度
在线阅读 下载PDF
基于Spark的分布式机器人强化学习训练框架 被引量:1
11
作者 方伟 黄增强 +2 位作者 徐建斌 黄羿 马新强 《图学学报》 CSCD 北大核心 2019年第5期852-857,共6页
强化学习能够通过自主学习的方式对机器人难以利用控制方法实现的各种任务进行训练完成,有效避免了系统设计人员对系统建模或制定规则。然而,强化学习在机器人开发应用领域中训练成本高昂,需要花费大量时间成本、硬件成本实现学习训练,... 强化学习能够通过自主学习的方式对机器人难以利用控制方法实现的各种任务进行训练完成,有效避免了系统设计人员对系统建模或制定规则。然而,强化学习在机器人开发应用领域中训练成本高昂,需要花费大量时间成本、硬件成本实现学习训练,虽然基于仿真可以一定程度减少硬件成本,但对类似Gazebo这样的复杂机器人训练平台,仿真过程工作效率低,数据采样耗时长。为了有效解决这些问题,针对机器人仿真过程的平台易用性、兼容性等方面进行优化,提出一种基于Spark的分布式强化学习框架,为强化学习的训练与机器人仿真采样提供分布式支持,具有高兼容性、健壮性的特性。通过实验数据分析对比,表明本系统框架不仅可有效提高机器人的强化学习模型训练速度,缩短训练时间花费,且有助于节约硬件成本。 展开更多
关键词 机器人 强化学习 spark 分布式 数据管道
在线阅读 下载PDF
基于Spark平台和多变量L_2-Boosting回归模型的分布式能源系统短期负荷预测 被引量:34
12
作者 马天男 牛东晓 +1 位作者 黄雅莉 杜振东 《电网技术》 EI CSCD 北大核心 2016年第6期1642-1649,共8页
分布式能源系统负荷预测是系统规划与经济运行的可靠前提和依据,在当前海量高维数据的背景下,有效的在线数据处理平台与精确的负荷预测方法是当前的研究重点。基于分布式能源系统负荷数据特点,在缺失数据处理、坏数据分类以及特征选择... 分布式能源系统负荷预测是系统规划与经济运行的可靠前提和依据,在当前海量高维数据的背景下,有效的在线数据处理平台与精确的负荷预测方法是当前的研究重点。基于分布式能源系统负荷数据特点,在缺失数据处理、坏数据分类以及特征选择的基础上,建立了基于Spark平台与多变量L_2-Boosting回归模型的分布式能源系统短期负荷预测方法。首先,利用Spark平台分割全部数据得到多个子数据模型,通过并行计算提高数据处理效率,采用特征提取方法得出模型需要的输入向量;其次,将得出的有效数据信息输入到多变量L_2-Boosting回归模型进行训练学习,得到训练后的多变量L_2-Boosting回归模型;最后,利用测试数据测试模型。算例结果验证了所提模型的有效性。 展开更多
关键词 短期负荷预测 多变量L2-Boosting回归模型 分布式能源系统 spark平台
在线阅读 下载PDF
分布式虚拟制造系统的框架体系 被引量:13
13
作者 姚健 严隽琪 +2 位作者 傅仕伟 蒋祖华 马登哲 《中国机械工程》 EI CAS CSCD 北大核心 1999年第4期408-410,共3页
指出了分布式虚拟制造的技术特性;以上海市科委重大科技攻关项目“SAMTC—DVMS”系统为背景,介绍了该系统的三维框架体系,着重分析了分布式虚拟制造的两个核心功能:并发活动控制和分布式信息流管理;并提出了分布式虚拟制... 指出了分布式虚拟制造的技术特性;以上海市科委重大科技攻关项目“SAMTC—DVMS”系统为背景,介绍了该系统的三维框架体系,着重分析了分布式虚拟制造的两个核心功能:并发活动控制和分布式信息流管理;并提出了分布式虚拟制造的下一步研究方向。 展开更多
关键词 分布式 虚拟制造 并行活动 框架体系
在线阅读 下载PDF
一种基于Hadoop的语义大数据分布式推理框架 被引量:15
14
作者 陈曦 陈华钧 +3 位作者 顾珮嵚 张宁豫 陈娇彦 于彤 《计算机研究与发展》 EI CSCD 北大核心 2013年第S2期103-113,共11页
随着语义万维网(sematic Web)和关联数据集项目(linked data project)的不断发展,各领域的语义数据正在大规模扩增.同时,这些大规模语义数据之间存在着复杂的语义关联性,这些关联信息的挖掘对于研究者来说有着重要的意义.为解决传统推... 随着语义万维网(sematic Web)和关联数据集项目(linked data project)的不断发展,各领域的语义数据正在大规模扩增.同时,这些大规模语义数据之间存在着复杂的语义关联性,这些关联信息的挖掘对于研究者来说有着重要的意义.为解决传统推理引擎在进行大规模语义数据推理时存在的计算性能和可扩展性不足等问题,提出了一种基于Hadoop的语义大数据分布式推理框架,并且设计了相应的基于属性链(property chain)的原型推理系统来高效地发现海量语义数据中潜在的有价值的信息.实验主要关注于医疗和生命科学领域各本体之间的语义关联发现,实验结果表明,该推理系统取得了良好的性能———扩展性以及准确性. 展开更多
关键词 HADOOP 语义推理 大数据 属性链 分布式框架
在线阅读 下载PDF
基于词分布式表征的汉语框架排歧模型 被引量:7
15
作者 张力文 王瑞波 +1 位作者 李茹 张晟 《中文信息学报》 CSCD 北大核心 2017年第6期50-57,共8页
框架排歧是根据句子中目标词的上下文语境,从框架库中为该目标词自动选择一个合适的框架。该任务在一定程度上解决了动词中一词多义的现象。该文基于词语及句子的分布式表征,提出了基于距离和基于词语相似度矩阵的框架排歧模型。与传统... 框架排歧是根据句子中目标词的上下文语境,从框架库中为该目标词自动选择一个合适的框架。该任务在一定程度上解决了动词中一词多义的现象。该文基于词语及句子的分布式表征,提出了基于距离和基于词语相似度矩阵的框架排歧模型。与传统方法相比,该模型有效避免了人工选择特征,克服了特征空间维度过高、特征之间没有关联性等缺点,使框架排歧的准确率达到65.71%。并与当前最好的模型,进行显著性和一致性检验,进一步验证了词分布式表征对框架排歧任务的有效性。 展开更多
关键词 汉语框架 框架排歧 分布式表征
在线阅读 下载PDF
一个面向分布式程序的测试系统框架 被引量:8
16
作者 顾庆 陈道蓄 +2 位作者 韩杰 谢立 孙钟秀 《软件学报》 EI CSCD 北大核心 2000年第8期1053-1059,共7页
提出了一个面向分布式程序的测试系统框架 TFDS(test system framework for distributed softwaresystem) ,并介绍了它在异构网络中的一个实现原型 PSET* (distributed program structure and event trace,revised version) .框架的主... 提出了一个面向分布式程序的测试系统框架 TFDS(test system framework for distributed softwaresystem) ,并介绍了它在异构网络中的一个实现原型 PSET* (distributed program structure and event trace,revised version) .框架的主要功能是对分布式程序进行单元测试和集成测试 .包括面向规约设计和源码分析的静态部分和面向程序执行和事件序列分析的动态部分 .在构件的基础上 ,PSET* 的功能可以较容易地得以改进和增强 . 展开更多
关键词 测试系统框架 分布式程序 客户/服务器
在线阅读 下载PDF
分布式仿真训练系统通用开发框架研究 被引量:5
17
作者 谢晓钢 安建祝 +2 位作者 岳玉芳 张玉双 甘光勇 《计算机工程与设计》 CSCD 北大核心 2012年第11期4283-4287,共5页
针对当前复杂分布式仿真训练系统在开发过程中存在着大量重复工作的问题,在分析其共性特征的基础上,提出了一套适用于分布式仿真训练系统的通用开发框架。该框架采用基于HLA的分布式结构,包含岗位训练软件开发框架、训练指挥台开发框架... 针对当前复杂分布式仿真训练系统在开发过程中存在着大量重复工作的问题,在分析其共性特征的基础上,提出了一套适用于分布式仿真训练系统的通用开发框架。该框架采用基于HLA的分布式结构,包含岗位训练软件开发框架、训练指挥台开发框架、三维场景显示开发框架和一个数据库系统,满足共性特征。详细阐述了通用开发框架的软件架构、通用功能类库和自动化科目生成器。描述了使用该框架进行仿真训练系统开发的一般流程。实际应用表明,该框架不仅能够大大减少重复的开发工作,而且统一的软件架构也有利于系统的维护。 展开更多
关键词 仿真训练系统 开发框架 分布式 通用 科目生成
在线阅读 下载PDF
基于分布式对象技术的CAD集成框架的模型与结构 被引量:7
18
作者 杨军 李思昆 郭阳 《国防科技大学学报》 EI CAS CSCD 1998年第2期35-38,共4页
分布式对象技术是当前实现企业应用集成的主流技术。本文首先介绍了基于分布式对象技术的CAD集成框架支撑平台的总体结构,以此为基础,设计了大型电子设备并行设计CAD集成框架的体系结构,提出“框架总线+软构件”的框架模型,... 分布式对象技术是当前实现企业应用集成的主流技术。本文首先介绍了基于分布式对象技术的CAD集成框架支撑平台的总体结构,以此为基础,设计了大型电子设备并行设计CAD集成框架的体系结构,提出“框架总线+软构件”的框架模型,最终探讨了集成框架具体的实现方法和技术。 展开更多
关键词 集成框架 软构件 分布式对象技术 CAD
在线阅读 下载PDF
面向地震数据处理的并行与分布式编程框架 被引量:17
19
作者 赵长海 晏海华 +2 位作者 王宏琳 史晓华 王雷 《石油地球物理勘探》 EI CSCD 北大核心 2010年第1期146-155,共10页
本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CP... 本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CPU核的调度、通讯与节点故障恢复、模块之间的数据传输等并行编程细节。经过实验评估,GeoPF框架从串行到并行的线性加速性能有所提高,处理相同任务的时间从21h33min缩减到15min27s,效果显著。GeoPF与商用的地震数据处理系统相比,在业务流程方面有一些相同特点,其不同之处就是GeoPF的处理模块具有自动并行特点,而大部分地震处理模块只能是串行方式。 展开更多
关键词 并行执行模型 地震数据处理 编程框架 分布式 计算节点 地震资料处理 数据处理系统 串行方式
在线阅读 下载PDF
一种基于Web的分布式应用程序框架的构建技术 被引量:6
20
作者 赵燕飞 朱飞 孙玉星 《计算机工程与应用》 CSCD 北大核心 2004年第36期168-170,共3页
随着国际互联网的高速发展,基于Web的分布式计算结构由于其自身的众多优点得到了日益广泛的应用。与此同时,目前基于B/S结构的开发技术还存在许多不尽人意的地方。该文针对当前B/S结构中存在的问题,提出了一种构建分布式Web应用程序框... 随着国际互联网的高速发展,基于Web的分布式计算结构由于其自身的众多优点得到了日益广泛的应用。与此同时,目前基于B/S结构的开发技术还存在许多不尽人意的地方。该文针对当前B/S结构中存在的问题,提出了一种构建分布式Web应用程序框架的方法。最后,详细描述了Web应用程序框架的实现模型,并简要介绍了Web应用程序框架在生产运营管理信息系统中的应用。 展开更多
关键词 B/S 框架 中间件 分布式数据访问
在线阅读 下载PDF
上一页 1 2 19 下一页 到第
使用帮助 返回顶部