基于注册服务的分布式并行遥感影像处理系统模型研究与实验 被引量：1

1

作者 马伟锋 雷运发 +2 位作者 郑月锋 骆剑承 沈占锋 《电子技术应用》 北大核心 2005年第6期18-20,23,共4页

提出了一种基于注册服务的分布式并行遥感影像处理系统模型,利用注册机制实现各类资源的集成,实现系统的可扩展性,同时给出了该模型详细的逻辑框架和工作流程设计以及具体的关键技术实现。给出了OTSU分割算法在实验系统运行的实例。

关键词 分布式并行 系统模型 影像处理 注册服务 实验 遥感 注册机制 可扩展性 技术实现 流程设计 逻辑框架 系统运行 分割算法

在线阅读 下载PDF 职称材料

面向地震数据处理的并行与分布式编程框架 被引量：17

2

作者 赵长海 晏海华 +2 位作者 王宏琳 史晓华 王雷 《石油地球物理勘探》 EI CSCD 北大核心 2010年第1期146-155,共10页

本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CP... 本文提出了一个适用于地震资料处理的并行与分布式编程框架GeoPF。该框架构建在集群系统之上,采用粗粒度数据并行执行模型,它可以调度串行语言编写的处理模块,同时运行在多个计算节点或者单个节点内的多个CPU核上,隐藏了计算节点及其CPU核的调度、通讯与节点故障恢复、模块之间的数据传输等并行编程细节。经过实验评估,GeoPF框架从串行到并行的线性加速性能有所提高,处理相同任务的时间从21h33min缩减到15min27s,效果显著。GeoPF与商用的地震数据处理系统相比,在业务流程方面有一些相同特点,其不同之处就是GeoPF的处理模块具有自动并行特点,而大部分地震处理模块只能是串行方式。 展开更多

关键词 并行执行模型 地震数据处理 编程框架 分布式 计算节点 地震资料处理 数据处理系统 串行方式

在线阅读 下载PDF 职称材料

基于社区森林模型的分布式重叠社区发现算法

3

作者 张妍 刘滨 +5 位作者 梅卫 许云峰 谷利东 于彭帅 石钰 魏西峰 《河北科技大学学报》 CAS 北大核心 2022年第2期194-203,共10页

重叠社区发现是复杂网络挖掘中的重要基础工作,可以应用于社交网络、通讯网络、蛋白质相互作用网络、代谢路径网络、交通网络等多种网络的数据分析,从而服务智慧交通、传染病防治、舆情分析、新药研制和人力资源管理等领域。传统的单机... 重叠社区发现是复杂网络挖掘中的重要基础工作,可以应用于社交网络、通讯网络、蛋白质相互作用网络、代谢路径网络、交通网络等多种网络的数据分析,从而服务智慧交通、传染病防治、舆情分析、新药研制和人力资源管理等领域。传统的单机运算架构已经难以满足各类大规模复杂网络的分析和计算要求。人工智能领域的研究人员提出将社区发现应用到网络表示学习领域,以丰富网络中节点和边的特征,但传统的重叠社区发现算法在设计时未能考虑来自网络表示学习任务的相关要求,只重点关注节点的社区划分,缺乏对社区内部结构和外部边界的考虑,例如没有涉及节点在社区内部的权重和属于多个社区的归属度排序等,因而不能提供网络中节点和社区更丰富的特征信息,导致对网络表示学习任务支持不足。针对传统单机重叠社区发现算法已经不适用于大规模复杂网络挖掘,以及不能满足网络表示学习任务的相关要求等问题,提出一种基于社区森林模型的分布式重叠社区发现算法(distributed community forest model,简称DCFM算法)。首先,将网络数据集存储到分布式文件系统,将数据分块,使用分布式计算框架在每个数据分块上执行CFM算法;然后,执行社区合并;最后,汇总社区划分结果,使用真实的DBLP数据集将算法运行于Spark集群上,采用F均值和运行时间对算法进行评估。结果表明,DCFM算法的F均值稍逊于CFM算法,但其运算时间随着节点的增加接近线性下降,在牺牲小部分F均值的同时,DCFM算法具备处理大规模网络数据的能力;分割份数对计算时间的影响很大,在com-dblp.ungraph.txt数据集上,CFM算法处理数据需要192 min,而DCFM算法在将数据分成6份时,需要约91 min,分成100份后仅需要约13 min。因此,在大数据平台上采用分布式计算骨干度,从而进行社区划分、合并的DCFM算法是一种可行的大规模复杂网络挖掘方法,通过分割网络,可以大幅加快社区划分速度,提高社区发现效率。 展开更多

关键词 分布式处理系统 社交网络 重叠社区 社区森林模型 社区发现

在线阅读 下载PDF 职称材料

大数据环境下Hadoop分布式系统的研究与设计 被引量：10

4

作者 廖锋 成静静 《广东通信技术》 2013年第10期22-27,共6页

随着互联网应用的飞速发展和信息的社会化数据呈爆发式的增长,传统的关系数据库在处理分析如此海量的数据时出现性能和可扩展性的瓶颈,通过介绍目前大数据时代面临的挑战,分析了大数据对IT系统的挑战以及针对大数据业务特点的应对策略... 随着互联网应用的飞速发展和信息的社会化数据呈爆发式的增长,传统的关系数据库在处理分析如此海量的数据时出现性能和可扩展性的瓶颈,通过介绍目前大数据时代面临的挑战,分析了大数据对IT系统的挑战以及针对大数据业务特点的应对策略。目前大数据技术目前还没形成统一标准,但业界已经广泛使用Hadoop分布式系统作为其大数据处理平台,对大数据环境下Hadoop分布式系统进行了详尽的研究与设计,包括分布式文件系统、并行计算模型、分布式数据库、分布式锁服务等各个功能模块,大数据环境下的Hadoop分布式系统将更有效支撑未来电信运营商业务的发展。 展开更多

关键词 大数据 高并发 高存储 高扩展性和可用性 MPP架构 NOSQL数据库 Hadoop分布式系统分布式文件系统(HDFS) 并行数据处理模型(MapReduce) 分布式数据库(HBase BigTable) 分布式锁服务(ZooKeeper Chubby)

在线阅读 下载PDF 职称材料

一种基于Java2平台的分布式测量模型

5

作者 宋光明 宋爱国 黄惟一 《东南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2005年第3期372-375,共4页

针对基于Web的分布式测量应用的需求,提出了一种新的分布式测量软件模型.该模型充分利用Java2平台和其他Web工具的优势,在实现客户服务器间便捷有效的网络通信方面具有显著特色.使用Java2平台下的分布式对象技术简化了繁琐的底层协议处... 针对基于Web的分布式测量应用的需求,提出了一种新的分布式测量软件模型.该模型充分利用Java2平台和其他Web工具的优势,在实现客户服务器间便捷有效的网络通信方面具有显著特色.使用Java2平台下的分布式对象技术简化了繁琐的底层协议处理,使用Java本机接口解决了跨语言调用底层硬件驱动的问题.用此模型成功开发了一个应用实例,基于Internet的远程机器人实时测试系统,验证了模型的可行性和有效性. 展开更多

关键词 JAVA2平台 测量模型 Internet 分布式对象技术 分布式测量 实时测试系统 基于Web 客户服务器 远程机器人 软件模型 充分利用 协议处理 网络通信 应用实例 成功开发 硬件驱动 底层 调用 接口

在线阅读 下载PDF 职称材料

分布式C^3I系统信息融合技术研究 被引量：2

6

作者 张晓刚 刘进忙 刘昌云 《情报指挥控制系统与仿真技术》 2002年第11期35-41,共7页

本文在介绍信息融合与C3I系统发展的基础上,分析了分布式C3I系统的特征,对其信息及其来源进行了分析与分类,并给出了对应的功能结构模型;根据信息融合的功能层次,结合C3I系统的模块处理单元,提出了信息融合系统的六级处理模型;研究了信... 本文在介绍信息融合与C3I系统发展的基础上,分析了分布式C3I系统的特征,对其信息及其来源进行了分析与分类,并给出了对应的功能结构模型;根据信息融合的功能层次,结合C3I系统的模块处理单元,提出了信息融合系统的六级处理模型;研究了信息融合的结构层次、理论基础及各部分的实现技术,并介绍了各部分的融合算法,最后探讨了信息融合技术的发展方向。 展开更多

关键词 信息融合技术 分布式系统 防空C^3I 多传感器 信息处理 功能模型 信息战

在线阅读 下载PDF 职称材料

分布式数据采集系统的性能研究

7

作者 陈之虹 盛寿麟 陶惠良 《微电子学与计算机》 CSCD 北大核心 1991年第7期27-29,共3页

本文对具有数据固定优先级的分布式数据采集系统,运用随机服务系统理论进行了研究,建立了用于评价系统实时性指标的数学模型.

关键词 分布式数据采集系统 性能分析 数学模型 随机服务系统理论 数据处理

全文增补中

多智能体系统的Web动态协调模型研究 被引量：3

8

作者 张全海 施鹏飞 《高技术通讯》 EI CAS CSCD 2002年第6期10-15,共6页

通过对相关协调模型和机制的研究 ,适应现实社会中开放和动态的特性 ,从软件设计的角度提出了一种Web动态分布式协调模型DCM。该模型利用面向对象的思想 ,通过建立一个层次状组协调结构 ,使系统具有动态扩展性 ,使控制权分散化 ,并且通... 通过对相关协调模型和机制的研究 ,适应现实社会中开放和动态的特性 ,从软件设计的角度提出了一种Web动态分布式协调模型DCM。该模型利用面向对象的思想 ,通过建立一个层次状组协调结构 ,使系统具有动态扩展性 ,使控制权分散化 ,并且通过各智能体 (agent)的通信来使协调智能体 (collaborationagent)具有自学习和调节的能力 ,使各智能体的信念、愿望和意图达到平衡 。 展开更多

关键词 多智能体系统 动态协调模型 网络技术 协调智能体 分布式处理 分布式人工智能

在线阅读 下载PDF 职称材料

基于概率模型检验的Web服务系统可靠性分析 被引量：1

9

作者 高洪皓 开金宇 +3 位作者 周家安 缪淮扣 黄婉秋 王皙 《东南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2017年第A01期132-139,共8页

为了实现对Web服务系统进行可靠性分析,采用概率模型检验技术对其行为模型进行形式化验证是一种有效方法.但该方法需要对服务系统的分布式特征进行建模,因此利用分布式日志收集系统Flume NG实时收集Web服务器日志并对其进行预处理操作,... 为了实现对Web服务系统进行可靠性分析,采用概率模型检验技术对其行为模型进行形式化验证是一种有效方法.但该方法需要对服务系统的分布式特征进行建模,因此利用分布式日志收集系统Flume NG实时收集Web服务器日志并对其进行预处理操作,针对日志采集频率问题采用Kafka进行日志缓存,通过Storm分析日志数据并构造用于描述服务可靠性的概率迁移矩阵.采用概率标签迁移系统PLTS描述服务行为模型,采用概率计算树逻辑PCTL描述服务系统需求性质,集成概率模型检验器PRISM支持自动化定量验证和分析,从而实现基于概率模型检验的Web服务可靠性分析.最后通过案例研究和验证数据分析证明所提方法的有效性和可行性. 展开更多

关键词 WEB服务系统 概率迁移矩阵 概率模型检验 可靠性分析 分布式日志处理

在线阅读 下载PDF 职称材料

基于大数据分析技术的光纤通信系统安全态势预测 被引量：20

10

作者 何卫华 王宏 《现代电子技术》 北大核心 2020年第7期6-9,共4页

为了获得理想的光纤通信系统安全态势预测效果,针对光纤通信系统安全态势预测建模过程中存在的一些问题,设计基于大数据分析技术的光纤通信系统安全态势预测方法。首先,搭建光纤通信系统安全态势预测的Hadoop分布式数据处理平台;然后,... 为了获得理想的光纤通信系统安全态势预测效果,针对光纤通信系统安全态势预测建模过程中存在的一些问题,设计基于大数据分析技术的光纤通信系统安全态势预测方法。首先,搭建光纤通信系统安全态势预测的Hadoop分布式数据处理平台;然后,收集光纤通信系统安全态势变化的历史样本,并采用多个极限学习机并行对光纤通信系统安全态势数据进行训练,构建光纤通信系统安全态势预测模型;最后,采用Matlab 2017编程实现光纤通信系统安全态势预测仿真对照测试。结果表明,大数据分析技术的光纤通信系统安全态势预测精度超过95%,预测误差远远小于对照方法,降低了预测建模的时间复杂度,光纤通信系统安全态势预测效率得到了明显提升,具有更优的实际应用价值。 展开更多

关键词 光纤通信系统 安全态势 分布式数据处理技术 HADOOP平台 预测模型 仿真测试

在线阅读 下载PDF 职称材料

信息系统中的客户机／服务器计算策略 被引量：1

11

作者 黄欢 周宏庚 《电子与自动化仪表信息》 1997年第2期26-33,56,共9页

本文介绍了Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ计算的概念及其在信息系统中的应用，并针对现有Ｃ／Ｓ结构的不足，从应用风格、计算模型等方面探讨了新一代Ｃ／Ｓ计算的基本思想与策略。

关键词 信息系统 客户机 服务器 分布式处理模型 计算机

在线阅读 下载PDF 职称材料

空间数据系统参考体系架构的功能视角

12

作者 吕良庆 陈运军 +1 位作者 周玉霞 许冬彦 《中国航天》 2023年第4期14-18,共5页

信息系统的架构通常采用视角、视图、关注、利益相关方、模型等概念,从不同角度来描述对象,例如,ISO/IEC 42010:2011、ISO 10746开放分布式处理参考模型(RM-ODP)系列标准、IEEE 1471-2000等架构标准。不同视角对同一个对象的关注角度和... 信息系统的架构通常采用视角、视图、关注、利益相关方、模型等概念,从不同角度来描述对象,例如,ISO/IEC 42010:2011、ISO 10746开放分布式处理参考模型(RM-ODP)系列标准、IEEE 1471-2000等架构标准。不同视角对同一个对象的关注角度和范围不同,每个视角描述有其自身的方法论,一般通过视图的方式来表达。空间数据系统咨询委员会(CCSDS)的空间数据系统参考体系架构(RASDS)也采用了视角方法,提出了具有空间领域特点的体系架构方法论。 展开更多

关键词 体系架构 开放分布式处理参考模型 信息系统 空间领域 视图 ISO/IEC 利益相关方 描述对象

在线阅读 下载PDF 职称材料

广播电视台基于机器学习的智能化舆情线索分析系统的设计与应用

13

作者 陈家佳 林海健 陈文豪 《广播与电视技术》 2021年第7期46-51,共6页

本文通过剖析广州广播电视台舆情线索分析系统的设计与构建过程,探讨了自然语言处理技术、大数据技术和机器学习技术在信息分析处理领域的应用。文中引用了分语、停用词和词频等自然语言处理概念,借鉴了聚类算法、Boosting算法、LightGB... 本文通过剖析广州广播电视台舆情线索分析系统的设计与构建过程,探讨了自然语言处理技术、大数据技术和机器学习技术在信息分析处理领域的应用。文中引用了分语、停用词和词频等自然语言处理概念,借鉴了聚类算法、Boosting算法、LightGBM算法、PageRank算法等机器学习算法思想,并结合实际对相关算法进行了优化,最后通过软件工程实现了一个完整的舆情分析系统,可帮助舆情工作者高效、准确地完成信息脉络梳理工作。 展开更多

关键词 自然语言处理 机器学习 算法 数据 模型 系统设计 分布式

在线阅读 下载PDF 职称材料

基于熵权-逼近理想解TOPSIS理论的甘肃省生态安全评价 被引量：2

14

作者 郑乐乐 《河南科技》 2021年第25期133-136,共4页

生态环境保护与建设是区域生态安全战略实施的重要一环。结合甘肃省2012—2019年生态环境状况,基于分布式处理系统更换(Distributed Processing System Replacement,DPSR)模型构建生态安全综合评价指标体系,根据熵值法与逼近理想解TOPSI... 生态环境保护与建设是区域生态安全战略实施的重要一环。结合甘肃省2012—2019年生态环境状况,基于分布式处理系统更换(Distributed Processing System Replacement,DPSR)模型构建生态安全综合评价指标体系,根据熵值法与逼近理想解TOPSIS理论对其生态环境状况进行综合分析研究。结果表明:甘肃省2012—2014年生态安全综合得分有所下降,环境污染有所加重;2015—2019年生态安全综合评价得分总体呈现上升趋势;总体上生态安全等级由2012年的敏感等级逐渐上升到2019年较安全等级,生态环境建设成效显著。 展开更多

关键词 生态环境 分布式处理系统更换模型 熵值法 逼近理想解TOPSIS 甘肃省

在线阅读 下载PDF 职称材料

2015年发布的信息技术和信息安全国家标准目录

15

《信息技术与标准化》 2016年第1期69-71,共3页

关键词 信息安全技术 IDT GB 信息技术 柯尔克孜文 IEC 分布式事务处理 SOA 维吾尔文 哈萨克文 ISO 开放系统互连 参考模型 目录 检索工具

在线阅读 下载PDF 职称材料