期刊文献+
共找到58篇文章
< 1 2 3 >
每页显示 20 50 100
基于高可用集群的服务化EPICS与数据处理方式
1
作者 李宇鲲 杜垚垚 +6 位作者 叶强 岳军会 随艳峰 魏书军 许亮 谢友朋 曹建社 《强激光与粒子束》 北大核心 2025年第1期77-83,共7页
提出了一种基于Proxmox VE平台搭建的高可用Kubernetes集群下的新型服务化EPICS与新型前端数据获取方式,以提高数据采集系统的性能和稳定性。通过将EPICS服务化部署在Kubernetes集群上,实现了全新高效的前端数据处理及获取方式。数据获... 提出了一种基于Proxmox VE平台搭建的高可用Kubernetes集群下的新型服务化EPICS与新型前端数据获取方式,以提高数据采集系统的性能和稳定性。通过将EPICS服务化部署在Kubernetes集群上,实现了全新高效的前端数据处理及获取方式。数据获取方式利用基于Channel Access协议的分布式数据共享,对数据进行实时处理和分析。该方法具有降低硬件和维护成本、提高可移植性和灵活性、提高数据采集和处理效率等优势。实际应用和测试表明,该方法具有在大型科学设施中应用的潜力,未来将探索其在其他领域的应用价值。 展开更多
关键词 EPICS Docker容器 Kubernetes 数据处理 分布式系统
在线阅读 下载PDF
集群数据下因子分析模型的贝叶斯统计推断
2
作者 陈博文 李亚磊 李兴平 《统计与决策》 北大核心 2025年第13期63-69,共7页
针对集群数据子群内部相关性不可忽略的问题,文章基于贝叶斯框架研究集群数据因子分析模型的统计推断及异常子群识别,构建因子分析模型刻画变量之间的关联关系,并提出集群数据嵌套结构的处理方法。具体来说:先采用MCMC算法结合Gibbs抽... 针对集群数据子群内部相关性不可忽略的问题,文章基于贝叶斯框架研究集群数据因子分析模型的统计推断及异常子群识别,构建因子分析模型刻画变量之间的关联关系,并提出集群数据嵌套结构的处理方法。具体来说:先采用MCMC算法结合Gibbs抽样对模型参数进行贝叶斯估计,通过均值遍历图验证马尔可夫链的收敛性;再利用贝叶斯数据删除模型,以Cook后验均值距离为诊断统计量,识别异常子群。研究结果表明:(1)考虑子群内部相关性的模型在AIC和BIC准则下均显著优于忽略内部关联的模型。(2)Gibbs抽样参数估计偏差与均方根误差均较小,特别是随着子群个数的增加,参数估计的效果越来越好,验证了所提方法的有效性。(3)Cook后验均值距离诊断统计量成功识别出模拟研究和实例分析中的第17个州为异常子群。删除异常州后的分析结果表明,不同参数下子群之间的掩盖效应存在差异:当公共因子为感兴趣参数时,各州的Cook后验均值距离变化较大,可以判断各州之间不存在掩盖效应;当载荷矩阵为感兴趣参数时,仅第16个州的Cook后验均值距离变化较大,说明各州之间可能存在掩盖效应。 展开更多
关键词 数据 因子分析模型 MCMC方法 影响诊断 贝叶斯数据删除模型
在线阅读 下载PDF
遥感数据集群处理作业调度管理系统研究 被引量:7
3
作者 史园莉 申文明 +2 位作者 熊文成 付卓 肖如林 《计算机工程与应用》 CSCD 2012年第25期77-82,共6页
高性能遥感数据集群处理技术提高了遥感数据处理的速度和精度。作业调度管理是集群处理系统的核心组成部分,有助于提高系统的吞吐率和资源使用率。常用调度管理系统通用性强,但针对性差,自动化程度低,资源使用存在盲目性。针对遥感数据... 高性能遥感数据集群处理技术提高了遥感数据处理的速度和精度。作业调度管理是集群处理系统的核心组成部分,有助于提高系统的吞吐率和资源使用率。常用调度管理系统通用性强,但针对性差,自动化程度低,资源使用存在盲目性。针对遥感数据集群处理,基于集群作业调度管理系统Open PBS,提出一种最优资源自动分配的"双级调度策略";应用分层架构和面向服务的软件开发思想,采用ICE中间件的网络通信技术,使用XML格式作为数据交换模式,研究并实现C/S(Client/Server)架构的灵活、友好、高效的遥感数据集群处理作业调度管理系统。 展开更多
关键词 双级调度策略 最优资源分配 遥感数据处理
在线阅读 下载PDF
使用ContextCapture软件搭建倾斜摄影实景三维数据处理集群 被引量:19
4
作者 魏金明 赵向阳 《测绘通报》 CSCD 北大核心 2021年第6期103-105,116,共4页
为提升城市级大范围、高分辨率、高精度的海量倾斜摄影航测数据的建模效率,在分析当前建模软件、设备配置、集群架构的基础上,搭建倾斜摄影实景三维数据快速处理集群。该集群以ContextCapture为倾斜摄影数据处理软件,选择最优的计算节... 为提升城市级大范围、高分辨率、高精度的海量倾斜摄影航测数据的建模效率,在分析当前建模软件、设备配置、集群架构的基础上,搭建倾斜摄影实景三维数据快速处理集群。该集群以ContextCapture为倾斜摄影数据处理软件,选择最优的计算节点设备配置,合理规划集群架构,布设万兆光纤,搭建100个计算节点的倾斜摄影实景三维数据网格处理集群;同时,研发集群监控平台,实时监控集群运行状态。通过济南市倾斜摄影实景三维数据的生产验证了集群的有效性。 展开更多
关键词 倾斜摄影 计算节点 实景三维数据 数据处理 实时监控
在线阅读 下载PDF
全球地面天气报数据集错站情况分析及处理方法的研究 被引量:3
5
作者 许松 《应用气象学报》 CSCD 北大核心 2004年第B12期128-133,共6页
全面分析了全球地面天气报数据集区站号存在的问题、错误区站号的存在对使用资料的影响以及错误区站号产生的原因,提出了解决错误区站号的相应处理方法。同时,对处理后的全球地面天气报数据集区站号的情况和原数据集区站号进行比较分析。
关键词 天气报 数据 全球 资料 地面 情况分析 处理方法 误区 原因 影响
在线阅读 下载PDF
基于计算机集群技术的经济数据处理系统构建 被引量:1
6
作者 阮敬 《统计与信息论坛》 2007年第6期23-26,共4页
计算机集群系统是互相连接的多个独立计算机的集合。在利用计算机集群技术构建基于并行计算的统计分析与经济数据处理系统的基础上,着重论述集群计算技术在经济数据处理系统中的应用、运行方式及性能评价方法,并以北京经济数据处理与计... 计算机集群系统是互相连接的多个独立计算机的集合。在利用计算机集群技术构建基于并行计算的统计分析与经济数据处理系统的基础上,着重论述集群计算技术在经济数据处理系统中的应用、运行方式及性能评价方法,并以北京经济数据处理与计算机仿真实验室为例,构造基于集群并行计算技术的经济数据信息系统。 展开更多
关键词 并行计算 数据处理 统计信息系统
在线阅读 下载PDF
北京谱仪数据处理集群计算系统介绍
7
作者 孙永昭 许冬 +1 位作者 张少强 杨挺 《核电子学与探测技术》 CAS CSCD 北大核心 2004年第6期753-757,共5页
介绍了北京谱仪离线数据处理集群计算系统的结构,硬件和软件系统的配置和性能情况,对作业管理软件的使用和集群计算系统的运行性能作了详细描述。
关键词 计算 软件系统 离线数据处理 硬件 配置 描述 性能 北京谱仪
在线阅读 下载PDF
集群并行技术优化泥石流模拟数据处理研究 被引量:3
8
作者 何光军 管群 《计算机工程与设计》 CSCD 北大核心 2010年第20期4484-4487,4491,共5页
为解决泥石流等灾害模拟过程中海量数据处理的耗时问题,提出了采用集群并行方法来提升模拟过程中的数据处理效率,以达到灾害流模拟的高效性。集群计算技术已在大量的科学计算中得到广泛应用并且效果明显,但在工程模拟方面还未得到系统... 为解决泥石流等灾害模拟过程中海量数据处理的耗时问题,提出了采用集群并行方法来提升模拟过程中的数据处理效率,以达到灾害流模拟的高效性。集群计算技术已在大量的科学计算中得到广泛应用并且效果明显,但在工程模拟方面还未得到系统的实践,构建算法也没有相应标准参考。为泥石流模拟计算过程设计并行算法、构建集群平台,测试结果表明,集群并行处理方法明显提高了泥石流模拟数据处理的效率。 展开更多
关键词 灾害数据模拟 泥石流 数据处理 并行处理
在线阅读 下载PDF
基于KPCA和数据处理组合方法神经网络的半球谐振陀螺温度建模补偿方法
9
作者 张晨 汪立新 孔祥玉 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2024年第7期1336-1345,共10页
针对半球谐振陀螺(HRG)的温度建模与补偿问题,提出基于核主成分分析(KPCA)和数据处理组合方法(GMDH)神经网络的建模补偿方法.通过分析HRG的温度特性和大数据特征,初步确定网络模型的特征向量.为了去除HRG输出数据的相关性和冗余性,引入K... 针对半球谐振陀螺(HRG)的温度建模与补偿问题,提出基于核主成分分析(KPCA)和数据处理组合方法(GMDH)神经网络的建模补偿方法.通过分析HRG的温度特性和大数据特征,初步确定网络模型的特征向量.为了去除HRG输出数据的相关性和冗余性,引入KPCA并降低特征向量维度.将特征向量代入GMDH神经网络训练,区分训练集和验证集以确定网络权值和网络结构,实现HRG温度漂移的建模与补偿.实验结果表明,单一样本预测时,所提方法预测效果明显好于传统多项式模型;多样本预测时,在4种不同训练样本下,所提方法相比传统多项式模型精度分别提升了48.5%、54.0%、56.3%、68.4%,相比GMDH模型分别提升了3.6%、5.1%、3.8%、8.8%.所提方法能够有效提高HRG在变温工况下的测量精度. 展开更多
关键词 半球谐振陀螺(HRG) 核主成分分析(KPCA) 数据处理组合方法(gmdh) 温度建模与补偿 测量精度
在线阅读 下载PDF
基于网络的地震数据处理——从集群计算系统到网格计算系统 被引量:6
10
作者 王宏琳 《石油地球物理勘探》 EI CSCD 北大核心 2003年第4期381-386,共6页
随着计算机信息技术的不断发展以及计算与网络技术的进一步融合,基于网络的地震数据处理系统面临新的技术飞跃。近年在地震数据处理应用中发展极其迅速的集群计算,就是一种基于网络计算的技术,它对实现高精度地震成像起到了重要作用。... 随着计算机信息技术的不断发展以及计算与网络技术的进一步融合,基于网络的地震数据处理系统面临新的技术飞跃。近年在地震数据处理应用中发展极其迅速的集群计算,就是一种基于网络计算的技术,它对实现高精度地震成像起到了重要作用。当前开始逐渐普及的客户/服务器模式,正在向Internet地震数据处理方向发展。正在探索中的网格计算则可以实现远程数据和计算资源共享、团队协同工作,将对未来的地震数据处理产生深远影响,并有助于改进油气勘探的工作流程。 展开更多
关键词 地震数据处理技术 网络计算系统 计算系统 服务器
在线阅读 下载PDF
实时测控数据处理软件集群通用化框架设计
11
作者 童艳 方建勋 《火力与指挥控制》 CSCD 北大核心 2018年第6期153-157,共5页
为满足测控系统多目标多任务的发展需求,建立了基于集群技术的实时测控数据处理软件通用化框架。对集群系统软件结构、通信机制、控制模型、算法模型库等关键技术进行了研究,设计出实时测控数据处理软件通用化模型,有利于提高软件研发效... 为满足测控系统多目标多任务的发展需求,建立了基于集群技术的实时测控数据处理软件通用化框架。对集群系统软件结构、通信机制、控制模型、算法模型库等关键技术进行了研究,设计出实时测控数据处理软件通用化模型,有利于提高软件研发效率,为今后实现通用化、易维护、可扩展的实时测控数据处理软件奠定了技术基础。 展开更多
关键词 通用化 测控系统 实时数据处理 模型
在线阅读 下载PDF
大数据背景下集群调度结构与研究进展 被引量:25
12
作者 郝春亮 沈捷 +3 位作者 张珩 武延军 王青 李明树 《计算机研究与发展》 EI CSCD 北大核心 2018年第1期53-70,共18页
集群调度一直以来是集群计算方向的热点研究问题.集群调度研究主要关注在固定的集群资源条件下,数据处理作业如何快速、精确地获得所需运行资源,从而达到预先设定的执行目标.随着大数据计算的发展,集群环境在过去10年内持续且快速地发... 集群调度一直以来是集群计算方向的热点研究问题.集群调度研究主要关注在固定的集群资源条件下,数据处理作业如何快速、精确地获得所需运行资源,从而达到预先设定的执行目标.随着大数据计算的发展,集群环境在过去10年内持续且快速地发展变化,集群调度场景和目标也日趋复杂.尤其是在大数据背景下,传统集中调度结构的性能瓶颈被放大,研究者开始向全新的调度结构进行探索,应运而生了众多新思路、新结构.从大数据背景下集群调度研究的主要研究问题出发,分别介绍了大数据背景下的4种集群调度结构:集中结构、双层结构、分布式结构以及混合结构,并对各结构的产生原因、适用场景、优劣、典型研究工作、研究进展进行分析,并尝试对各结构的未来发展进行展望. 展开更多
关键词 调度 资源抽象 计算 数据 数据处理作业
在线阅读 下载PDF
集群Web服务器的几种数据复制解决方案 被引量:3
13
作者 燕彩蓉 谢怡 +1 位作者 彭勤科 沈钧毅 《计算机应用研究》 CSCD 北大核心 2003年第5期119-122,共4页
提出了以下几种数据复制方案:基于主节点管理的对称复制,基于token的对称复制,以及快照复制和对称复制结合产生的混合复制;并且分析了基于主节点管理的对称复制的设计与实现。
关键词 数据复制 WEB服务器 数据 数据 数据处理 数据库管理系统
在线阅读 下载PDF
基于PC集群的并行数据仓库架构 被引量:4
14
作者 游进国 奚建清 肖裕洪 《计算机工程》 CAS CSCD 北大核心 2009年第20期73-75,共3页
针对数据仓库规模不断增长而导致难以确保即席查询分析性能的问题,提出一种构建在PC集群上的并行数据仓库架构——HDW,采用Google的GFS和Bigtable技术进行分布式存储管理,采用MapReduce技术进行并行联机分析处理,为前台应用程序提供遵循... 针对数据仓库规模不断增长而导致难以确保即席查询分析性能的问题,提出一种构建在PC集群上的并行数据仓库架构——HDW,采用Google的GFS和Bigtable技术进行分布式存储管理,采用MapReduce技术进行并行联机分析处理,为前台应用程序提供遵循XMLA规范的统一接口。在18个节点的集群上进行实验,结果表明,HDW系统扩展性好,能快速处理至少千万条元组的数据。 展开更多
关键词 数据仓库 联机分析处理
在线阅读 下载PDF
通用数据库集群服务器 被引量:3
15
作者 陈付龙 李明东 汪迅宝 《计算机应用与软件》 CSCD 北大核心 2005年第12期41-42,126,共3页
基于集群技术构建的数据库集群服务器的研究是一个新热点,有许多不同的构造方法。文中在介绍了数据集群服务器概念和基本构造方法的基础上,设计了一种可以提供通用编程接口的体系结构,并分析了其工作原理和实现技术,同时也探讨了需要解... 基于集群技术构建的数据库集群服务器的研究是一个新热点,有许多不同的构造方法。文中在介绍了数据集群服务器概念和基本构造方法的基础上,设计了一种可以提供通用编程接口的体系结构,并分析了其工作原理和实现技术,同时也探讨了需要解决的数据存储、数据运算和事务处理问题。 展开更多
关键词 数据服务器 中间件 分布式数据接口 默认事物处理
在线阅读 下载PDF
基于状态表调度的相控阵雷达高可用处理集群 被引量:1
16
作者 袁振涛 宋锐 +1 位作者 胡卫东 郁文贤 《计算机工程与应用》 CSCD 北大核心 2006年第9期183-185,共3页
相控阵雷达具有高速大容量的目标信息采集能力,要求计算机必须具备高性能的数据处理能力。论文从相控阵雷达数据处理系统的高可用性角度出发,考虑故障监测、系统重构的因素,提出了一种基于状态表调度的计算机集群负载平衡算法,实现了数... 相控阵雷达具有高速大容量的目标信息采集能力,要求计算机必须具备高性能的数据处理能力。论文从相控阵雷达数据处理系统的高可用性角度出发,考虑故障监测、系统重构的因素,提出了一种基于状态表调度的计算机集群负载平衡算法,实现了数据的高可用、高性能处理。 展开更多
关键词 动态负栽平衡 高可用 状态表调度 数据处理
在线阅读 下载PDF
基于网络集群系统的并行数据库中数据均衡分布研究 被引量:1
17
作者 杨全胜 徐宏炳 王能斌 《计算机科学》 CSCD 北大核心 2001年第8期32-35,共4页
Base on the character of the cluster of workstation(COW)and the latest development of the parallel computer,this paper analyzes the data deflexion problem in data distributing of parallel DB in COW. On the basis of th... Base on the character of the cluster of workstation(COW)and the latest development of the parallel computer,this paper analyzes the data deflexion problem in data distributing of parallel DB in COW. On the basis of this analysis,we get a dynamic data balanced distributing algorithm which has adaptability. 展开更多
关键词 网络系统 并行数据 数据均衡分布 信息处理
在线阅读 下载PDF
大规模数据分类的支持向量预处理方法 被引量:2
18
作者 徐健 陈光喜 《计算机应用》 CSCD 北大核心 2007年第B12期257-259,共3页
对支持向量分类机中大规模数据集训练速度慢的瓶颈提出一种预处理方法,通过设置邻域特征值,比较样本点特征信息,建立样本集删除矩阵,剔除重复反映分类特性的样本点,达到在保持分类精确度的同时提高数据集训练速度,减少训练时间的目的。... 对支持向量分类机中大规模数据集训练速度慢的瓶颈提出一种预处理方法,通过设置邻域特征值,比较样本点特征信息,建立样本集删除矩阵,剔除重复反映分类特性的样本点,达到在保持分类精确度的同时提高数据集训练速度,减少训练时间的目的。通过对随机数据和UCI标准数据库的数值实验验证了算法有效性,且相应调整计算阈值时可以达到提高分类精度的效果。 展开更多
关键词 支持向量机 处理方法 大规模数据 运算速度
在线阅读 下载PDF
通用无共享数据库集群研究与实现 被引量:5
19
作者 周英飚 《计算机工程与应用》 CSCD 北大核心 2007年第32期156-160,共5页
数据库集群是提高数据库系统事务吞吐率,降低响应时间的有效机制。研究并实现了一种通用的无共享的数据库集群,集群由异构的节点数据库组成。系统支持水平数据划分和数据复制,系统具有性价比高,可扩展性好等特点。
关键词 数据 数据划分 事务处理
在线阅读 下载PDF
通用数据库集群服务器系统 被引量:1
20
作者 陈付龙 赵诚 +2 位作者 纪书国 李明东 汪迅宝 《计算机工程与科学》 CSCD 2005年第12期45-46,67,共3页
数据库集群服务器系统有许多不同的构造方法,文中在介绍了数据集群服务器概念和基本构造方法的基础之上,设计了一种可以提供通用编程接口的体系结构,并分析了其工作原理和实现技术,同时探讨了需要解决的数据存储、数据运算和事务管理问题。
关键词 数据服务器系统 分布式数据接口 默认事物处理
在线阅读 下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部