期刊文献+
共找到679篇文章
< 1 2 34 >
每页显示 20 50 100
基于Hadoop分布式平台的海量图像检索 被引量:12
1
作者 王倩 谭永杰 +2 位作者 秦杰 柴争义 叶海琴 《南京理工大学学报》 EI CAS CSCD 北大核心 2017年第4期442-447,共6页
为了加快海量图像检索速度,提出基于Hadoop分布式平台的海量图像检索系统。首先提取待检索图像的特征,然后通过Hadoop分布式平台下图像特征匹配,根据匹配结果得到图像检索结果,最后通过仿真实验分析了图像检索速度和效率,结果表明,该文... 为了加快海量图像检索速度,提出基于Hadoop分布式平台的海量图像检索系统。首先提取待检索图像的特征,然后通过Hadoop分布式平台下图像特征匹配,根据匹配结果得到图像检索结果,最后通过仿真实验分析了图像检索速度和效率,结果表明,该文模型大幅度提升了海量图像检索速度,比对比系统获得更优的图像检索效率,具有更高的实际实用价值。 展开更多
关键词 海量图像 图像检索 云计算 分布式平台 图像特征
在线阅读 下载PDF
分布式电驱动承载平台的动力学建模与模型预测控制 被引量:1
2
作者 原野 陈龙 +2 位作者 潘伟 李艺 秦兆博 《汽车技术》 北大核心 2025年第3期46-55,共10页
针对分布式电驱动承载平台轨迹跟踪控制存在高速跟踪精度低、鲁棒性弱等问题,设计了基于期望前轮转角跟踪的分层式横向运动控制策略。以分布式电驱动承载平台为研究对象,基于各子系统的动力学分析和轮地作用关系分析,构建了完整的胶轮... 针对分布式电驱动承载平台轨迹跟踪控制存在高速跟踪精度低、鲁棒性弱等问题,设计了基于期望前轮转角跟踪的分层式横向运动控制策略。以分布式电驱动承载平台为研究对象,基于各子系统的动力学分析和轮地作用关系分析,构建了完整的胶轮、车体、电驱等模块的一体化动力学模型。通过构建上层模型预测控制(MPC)轨迹跟踪和下层转向电机转角控制的分层式运动控制策略,可实现承载平台横向位置的高精度控制。基于Simulink搭建承载平台整体动力学仿真模型,仿真结果表明:设计的横向运动控制策略在多级速度下均能高精度实现多场景轨迹跟踪;与滑模控制器相比,其控制精度提升了33%,控制稳定性显著提升。 展开更多
关键词 分布式电驱动承载平台 动力学建模 模型预测控制 滑模控制 轨迹跟踪
在线阅读 下载PDF
拒止环境下分布式平台高精度相对时差预报方法
3
作者 班亚龙 康荣雷 +1 位作者 李沛洲 常军 《电讯技术》 北大核心 2025年第6期939-946,共8页
时频同步技术是分布式系统的重要支撑技术,当平台进入到敌方特定拒止环境中时,卫星导航与通信信号极易被破坏或拒止而无法继续保持高精度时间频率同步。针对上述问题,分析了卡尔曼滤波(Kalman Filter,KF)、灰色模型(Gray Model,GM)、差... 时频同步技术是分布式系统的重要支撑技术,当平台进入到敌方特定拒止环境中时,卫星导航与通信信号极易被破坏或拒止而无法继续保持高精度时间频率同步。针对上述问题,分析了卡尔曼滤波(Kalman Filter,KF)、灰色模型(Gray Model,GM)、差分自回归移动平均模型(Autoregressive Integrated moving Average Model,ARIMA)等常用预报模型的特点,并提出一种基于加权的组合模型。通过搭建实验验证环境,结合北斗差分与微型铷钟的时差测量数据分析各模型不同时长条件下的相对时差预报精度。结果表明,KF与ARIMA模型的预报精度优于GM模型,且在卫星导航拒止时长不超过1500 s条件下,时差预报精度优于0.5 ns,相对频差的精度优于2×10-11;量测数据时长大于300 s时,KF和ARIMA模型预报误差曲线的平稳性优于时差测量数据;基于KF+ARIMA+GM的组合模型的预报精度和平稳性优于单一模型。 展开更多
关键词 分布式平台 区域拒止 时频同步 模型预报
在线阅读 下载PDF
分布式强化学习实践教学平台
4
作者 董帅 梁晓滢 李悦乔 《实验技术与管理》 北大核心 2025年第3期161-166,共6页
强化学习是一种通过智能体与环境交互来学习策略的机器学习方法,在自动驾驶、机器人控制、游戏智能NPC等多个领域展现出强大的应用潜力。针对这些强化学习实践教学中存在的算法理解难度大、硬件需求高、训练时间长等问题,该文开发了一... 强化学习是一种通过智能体与环境交互来学习策略的机器学习方法,在自动驾驶、机器人控制、游戏智能NPC等多个领域展现出强大的应用潜力。针对这些强化学习实践教学中存在的算法理解难度大、硬件需求高、训练时间长等问题,该文开发了一个分布式强化学习实践教学平台,分别在教师机和学生机上进行策略模型更新和策略采样。该平台具有三个方面的优点:首先,基于Lanstar教学软件和FTP协议建立主从式数据交换机制,对电脑硬件和网络要求低,能够部署在现有的编程教学实验室;其次,训练框架基于Gym库和PyTorch进行二次开发,统一state和action接口,整合训练数据采样接口,可以兼容DQN、PPO等多种强化学习算法;最后,可以兼容强化学习和逆强化学习两种学习范式。在三个典型任务上的对比实验表明,该平台能够有效降低任务训练时间,能够在算力资源不足情况下支撑强化学习的实践教学。 展开更多
关键词 模型训练 强化学习范式 编程实践 分布式平台 多级模型发布
在线阅读 下载PDF
多通道主动隔振的分布式与集中式控制
5
作者 莫鑫 杨柳 +2 位作者 黄刚 连华东 林喆 《航天返回与遥感》 北大核心 2025年第3期84-95,共12页
面向超精密加工、精密测量仪器对环境振动的隔离需求,针对对称布局的四足主动隔振平台,分析研究集中控制和分布控制方式在六自由度方向上的隔振性能。文章首先构建了四足隔振平台的六自由度动力学模型和振动传递模型,分别给出了集中式... 面向超精密加工、精密测量仪器对环境振动的隔离需求,针对对称布局的四足主动隔振平台,分析研究集中控制和分布控制方式在六自由度方向上的隔振性能。文章首先构建了四足隔振平台的六自由度动力学模型和振动传递模型,分别给出了集中式和分布式两种主动隔振控制方法,给出了对应的振动传递解耦条件和振动传递函数。在此基础上通过振动传函分析,导出了六自由度隔振频率与阻尼系数的参数调整方法,最后通过仿真计算验证了两种控制方式的有效性。理论分析与仿真计算结果表明,集中式控制可独立调控六自由度隔振性能,通过8个控制增益独立改变三个线振动方向上的隔振阻尼与刚度,通过6个控制增益独立调整3个角振动隔振频率,实现振动速率功率谱的50%至90%以上的大幅衰减。分布式控制针对每个支撑足进行独立调控,便于调试与组合应用,可通过三组6个控制增益独立调整三个线振动方向上的隔振频率与阻尼,通过交叉关联性来调控角振动自由度方向上的隔振性能,实现振动速率功率谱90%以上的大幅衰减。 展开更多
关键词 主动振动隔离 分布式控制 六自由度振动控制 四足隔振平台
在线阅读 下载PDF
基于区块链技术的分布式电力市场交易平台研究 被引量:6
6
作者 谢敬东 周雪梅 +2 位作者 王诗瑶 孙欣 孙波 《电测与仪表》 北大核心 2024年第1期25-31,共7页
随着电力体制改革的推进以及大规模可再生能源的接入,参与电力交易的市场主体数量日益增加,导致了传统的集中式交易平台难以处理急剧增加的交易数据、难以实现跨区域的信息共享和资源统一优化配置。为此,提出了基于区块链技术的分布式... 随着电力体制改革的推进以及大规模可再生能源的接入,参与电力交易的市场主体数量日益增加,导致了传统的集中式交易平台难以处理急剧增加的交易数据、难以实现跨区域的信息共享和资源统一优化配置。为此,提出了基于区块链技术的分布式电力市场交易平台,利用区块链技术去中心化、开放性、匿名性及安全可靠性等优势,建立基于电力交易智能合约的分布式电力交易机制,采取分布式出清交易方式满足大规模电力交易需求,适应大规模可再生能源的迅速发展。 展开更多
关键词 区块链 智能合约 分布式 交易平台
在线阅读 下载PDF
分布式武器作战平台行动控制策略研究
7
作者 朱德政 曹猛 郭晓鸿 《兵器装备工程学报》 CSCD 北大核心 2024年第S2期248-253,278,共7页
构建了一个模拟军事环境的分布式多武器作战平台协同控制模型,该模型由三个作战单元组成,借助与高效指挥信息系统紧密协作,维持一个稳固的空间正三角形部署。在预设任务启动时,系统模拟指挥链路突发中断,各武器平台基于物理规则自动调... 构建了一个模拟军事环境的分布式多武器作战平台协同控制模型,该模型由三个作战单元组成,借助与高效指挥信息系统紧密协作,维持一个稳固的空间正三角形部署。在预设任务启动时,系统模拟指挥链路突发中断,各武器平台基于物理规则自动调整其所在位置与速度,确保能迅速适应并灵活应对复杂多变的战场环境。剖析了武器平台机动性能的峰值状态及其伴随的系统内部压力变化,可为军事行动策略的优化与能量管理策略的制定提供参考。 展开更多
关键词 分布式 武器作战平台 指挥信息系统 行动控制 链路中断
在线阅读 下载PDF
基于Hadoop分布式计算平台的磁流体动力学模型仿真研究 被引量:1
8
作者 刘继华 强彦 《计算机应用研究》 CSCD 北大核心 2017年第5期1353-1357,共5页
针对磁流体动力学(MHD)仿真需要高计算能力的问题,设计了一种基于Hadoop分布式计算平台的MHD仿真器。将Spark和Hama两种分布式并行计算模型整合到Hadoop生态系统中,分别用于支持内存计算和整体同步并行计算。将Hadoop集群构建成master-s... 针对磁流体动力学(MHD)仿真需要高计算能力的问题,设计了一种基于Hadoop分布式计算平台的MHD仿真器。将Spark和Hama两种分布式并行计算模型整合到Hadoop生态系统中,分别用于支持内存计算和整体同步并行计算。将Hadoop集群构建成master-slave对等结构,解决全局同步和局部同步问题。最后,在Hadoop集群上,利用有限体积法和黎曼问题来求解MHD方程。实验结果表明,该仿真器能够精确模拟MHD,同时大大缩短了仿真计算时间。 展开更多
关键词 hadoop平台 科学计算仿真 master-slave对等结构 磁流体动力学 有限体积法
在线阅读 下载PDF
动平台分布式雷达系统动目标低比特数据检测算法 被引量:3
9
作者 杨诗兴 张国鑫 +2 位作者 梁雲飞 易伟 孔令讲 《雷达学报(中英文)》 EI CSCD 北大核心 2024年第3期584-600,共17页
动平台分布式雷达系统可有效提升系统的生存能力和探测性能,但运动平台之间通常采用无线传输方式,难以配备大通信带宽以传输完整的信号数据,给雷达系统的高性能检测带来极大挑战。由于低比特量化技术可显著降低分布式系统的通信传输代... 动平台分布式雷达系统可有效提升系统的生存能力和探测性能,但运动平台之间通常采用无线传输方式,难以配备大通信带宽以传输完整的信号数据,给雷达系统的高性能检测带来极大挑战。由于低比特量化技术可显著降低分布式系统的通信传输代价和计算资源消耗,该文针对低信噪比弱信号环境下提出了动平台分布式雷达系统的低比特量化运动目标检测算法。首先,根据系统资源将各节点的多脉冲观测数据选择对应位数的低比特量化器进行量化,推导了关于量化器和多个目标状态的似然函数。其次,证明了低比特量化数据对应似然函数关于未知目标反射系数的凸性,并基于该特性设计了多普勒频移和反射系数的联合估计器。然后,针对探测区域中存在的多个状态未知目标设计了多目标检测器,推导了其恒虚警率门限。最后,通过推导系统的渐近性能设计了最优低比特量化器,在保证系统鲁棒性的同时有效提升了系统的检测性能。仿真实验分析了所提算法的检测与估计性能,结果证明了所提算法在低信噪比弱信号环境下的有效性,同时表明低比特量化数据可在仅占用低于20%通信带宽的基础上实现接近高精度(16比特量化)数据对应的检测和估计性能,且2比特量化策略可作为检测性能和雷达系统资源消耗的折中选择。 展开更多
关键词 分布式雷达系统 运动平台 目标检测 低比特量化 最优量化器
在线阅读 下载PDF
基于Hadoop平台的分布式重删存储系统 被引量:16
10
作者 刘青 付印金 +1 位作者 倪桂强 梅建民 《计算机应用》 CSCD 北大核心 2016年第2期330-335,共6页
针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop... 针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,Map Reduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。 展开更多
关键词 重复数据删除 分布式存储 hadoop HBASE hadoop分布式文件系统
在线阅读 下载PDF
基于Hadoop平台的分布式SVM参数寻优 被引量:8
11
作者 吴云蔚 宁芊 《计算机工程与科学》 CSCD 北大核心 2017年第6期1042-1047,共6页
参数的选择对算法分类与预测的正确率有直接影响。在参数选择中全局网格搜索有着计算可靠、简单、优化效果明显的优势,适合应用于可靠性要求高的工程运算,如在复杂系统的故障诊断中对故障模式识别算法进行参数寻优等。但是,全局网格搜... 参数的选择对算法分类与预测的正确率有直接影响。在参数选择中全局网格搜索有着计算可靠、简单、优化效果明显的优势,适合应用于可靠性要求高的工程运算,如在复杂系统的故障诊断中对故障模式识别算法进行参数寻优等。但是,全局网格搜索在寻优过程中耗时过长,仍然是一个制约其使用的问题,尤其对于实时性要求较高的系统。以支持向量机的参数全局寻优问题为例,针对网格搜索寻优时间长的缺点,利用Hadoop平台进行分布式参数寻优,借助HDFS将参数自动划分到计算节点上,并运用MapReduce计算框架建立分布式参数寻优模型,完成模型训练预测及参数优化。实验结果表明,在不降低算法性能的前提下提高了寻优效率。 展开更多
关键词 hadoop MAPREDUCE 支持向量机 网格搜索 参数寻优 分布式计算
在线阅读 下载PDF
一种基于Hadoop的语义大数据分布式推理框架 被引量:15
12
作者 陈曦 陈华钧 +3 位作者 顾珮嵚 张宁豫 陈娇彦 于彤 《计算机研究与发展》 EI CSCD 北大核心 2013年第S2期103-113,共11页
随着语义万维网(sematic Web)和关联数据集项目(linked data project)的不断发展,各领域的语义数据正在大规模扩增.同时,这些大规模语义数据之间存在着复杂的语义关联性,这些关联信息的挖掘对于研究者来说有着重要的意义.为解决传统推... 随着语义万维网(sematic Web)和关联数据集项目(linked data project)的不断发展,各领域的语义数据正在大规模扩增.同时,这些大规模语义数据之间存在着复杂的语义关联性,这些关联信息的挖掘对于研究者来说有着重要的意义.为解决传统推理引擎在进行大规模语义数据推理时存在的计算性能和可扩展性不足等问题,提出了一种基于Hadoop的语义大数据分布式推理框架,并且设计了相应的基于属性链(property chain)的原型推理系统来高效地发现海量语义数据中潜在的有价值的信息.实验主要关注于医疗和生命科学领域各本体之间的语义关联发现,实验结果表明,该推理系统取得了良好的性能———扩展性以及准确性. 展开更多
关键词 hadoop 语义推理 大数据 属性链 分布式框架
在线阅读 下载PDF
基于开源Hadoop的矢量空间数据分布式处理研究 被引量:16
13
作者 尹芳 冯敏 +1 位作者 诸云强 刘睿 《计算机工程与应用》 CSCD 2013年第16期25-29,共5页
为实现大规模矢量数据的高性能处理,在开源项目Hadoop基础上,设计与开发了一个基于MapReduce的矢量数据分布式计算系统。根据矢量空间数据的特点,通过分析Key/Value数据模型及GeoJSON地理数据编码格式,构建了可存储于Hadoop hdfs的矢量... 为实现大规模矢量数据的高性能处理,在开源项目Hadoop基础上,设计与开发了一个基于MapReduce的矢量数据分布式计算系统。根据矢量空间数据的特点,通过分析Key/Value数据模型及GeoJSON地理数据编码格式,构建了可存储于Hadoop hdfs的矢量数据Key/Value文本文件格式;探讨矢量数据的MapReduce计算过程,对Map数据分片、并行处理过程及Reduce结果合并等关键步骤进行了详细阐述;基于上述技术,建立了矢量数据分布式计算原型系统,详细介绍系统组成,并将其应用于处理关中地区1∶10万土地利用矢量空间数据,取得较好效果。 展开更多
关键词 矢量空间数据 KEY Value GeoJSON APACHE hadoop MAPREDUCE 分布式处理
在线阅读 下载PDF
基于Hadoop分布式改进聚类协同过滤推荐算法研究 被引量:21
14
作者 孙天昊 黎安能 +1 位作者 李明 朱庆生 《计算机工程与应用》 CSCD 北大核心 2015年第15期124-128,共5页
为了改善协同过滤推荐算法在大数据下的稀疏性和可扩展性问题,提出一种基于Hadoop平台的分布式改进聚类协同过滤推荐算法。在分布式平台下,离线对高维稀疏数据采用矩阵分解算法预处理,改善数据稀疏性后通过改进项目聚类算法构建聚类模型... 为了改善协同过滤推荐算法在大数据下的稀疏性和可扩展性问题,提出一种基于Hadoop平台的分布式改进聚类协同过滤推荐算法。在分布式平台下,离线对高维稀疏数据采用矩阵分解算法预处理,改善数据稀疏性后通过改进项目聚类算法构建聚类模型,根据聚类模型和相似性计算形成推荐候选空间,在线完成推荐。实验验证该算法能够有效改善推荐系统的推荐质量并大大提高推荐效率,同时在云环境中具有良好可扩展性。 展开更多
关键词 协同过滤 hadoop 矩阵分解 聚类 分布式计算
在线阅读 下载PDF
基于Hadoop架构的电力系统连锁故障分布式计算技术 被引量:13
15
作者 刘友波 刘洋 +3 位作者 刘俊勇 李勇 刘挺坚 刁塑 《电力系统自动化》 EI CSCD 北大核心 2016年第7期90-97,共8页
以提升大规模组合故障快速仿真分析能力为目标,在Hadoop框架下研发了连锁故障分布式计算技术。基于PSD-BPA软件计算模块,利用Java开发连锁故障计算分析功能,实现驱动判定、故障集筛选、事故链搜索、严重度评估4类模块。通过部署Hadoop... 以提升大规模组合故障快速仿真分析能力为目标,在Hadoop框架下研发了连锁故障分布式计算技术。基于PSD-BPA软件计算模块,利用Java开发连锁故障计算分析功能,实现驱动判定、故障集筛选、事故链搜索、严重度评估4类模块。通过部署Hadoop分布式文件系统(HDFS)存储调度功能,将事故链解耦为小粒度单一故障场景进行计算,可针对连锁故障仿真的不同复杂度提供跨系统的分布式计算服务,灵活应对计算开始前连锁故障中事故链组合的不可预测性。利用10机、16机系统和某省网实际数据进行技术测试,结果表明所研发系统实现了连锁故障分析应用与数据在计算服务网络中的分离,具备动态调配计算节点资源的能力,能自动适应事件规模为电网连锁故障的仿真分析提供强大计算能力,具有在线应用前景。 展开更多
关键词 连锁故障 分布式计算 hadoop分布式文件系统(HDFS) PSD-BPA
在线阅读 下载PDF
基于Hadoop分布式支持向量机球磨机大数据建模 被引量:9
16
作者 高学伟 付忠广 +1 位作者 孙力 张刚 《河北大学学报(自然科学版)》 CAS 北大核心 2017年第3期309-315,共7页
大数据时代环境下,火电厂大量数据被存储到数据库中而不能被充分利用,由于双进双出钢球磨煤机系统的复杂性,很难建立其准确的机理数学模型,为此提出一种基于大数据挖掘的建模方法.首先分析影响磨煤机料位的因素,提取现场海量的实际运行... 大数据时代环境下,火电厂大量数据被存储到数据库中而不能被充分利用,由于双进双出钢球磨煤机系统的复杂性,很难建立其准确的机理数学模型,为此提出一种基于大数据挖掘的建模方法.首先分析影响磨煤机料位的因素,提取现场海量的实际运行数据,在Hadoop平台下利用K-Means聚类算法删除离群点,利用主成分分析法(PCA)降维完成属性约简,然后在MapReduce架构上采用分布式支持向量机(D_SVM)建立模型,实现计算并行化.结果表明,采取该方法提高了建模效率,所建立的模型具有很高的精确度,且具有很好的泛化能力,该模型可以用于表征实际料位的特性. 展开更多
关键词 双进双出磨煤机 hadoop平台 分布式支持向量机 K-MEANS聚类 主成分分析
在线阅读 下载PDF
基于Hadoop的分布式日志分析系统 被引量:6
17
作者 陈文波 张秀娟 +1 位作者 李林 唐钧 《广西大学学报(自然科学版)》 CAS CSCD 北大核心 2011年第A01期339-342,共4页
就如何防御泛洪攻击问题,建立了基于Hadoop的分布式日志分析系统。通过快速提炼访问日志中每个IP地址的请求次数,获取其中请求频率较大的异常IP以有效甄别攻击源,进而为解决泛洪攻击提供重要的现实依据。通过实验,我们不仅验证出分布式... 就如何防御泛洪攻击问题,建立了基于Hadoop的分布式日志分析系统。通过快速提炼访问日志中每个IP地址的请求次数,获取其中请求频率较大的异常IP以有效甄别攻击源,进而为解决泛洪攻击提供重要的现实依据。通过实验,我们不仅验证出分布式日志分析模式较单机模式的巨大时效性优势,还搭建由不同文件系统为基底的虚拟机担当Slaves的两种分布式集群环境,并对两者性能做了详细的对比和分析。 展开更多
关键词 泛洪攻击 日志分析 hadoop 分布式计算 虚拟机
在线阅读 下载PDF
基于Hadoop的高效分布式取证:原理与方法 被引量:5
18
作者 吴松洋 张熙哲 +1 位作者 王旭鹏 李祥学 《电信科学》 北大核心 2014年第1期31-38,共8页
随着信息技术的发展以及各种智能设备的普及,设备的平台多样化使得现有电子数据勘查取证分析装备已不能满足网络和存储技术所需要的高速数据镜像存储和海量数据相关性分析等要求,并表现出操作复杂、效率低等缺陷。设计并实现了一种高... 随着信息技术的发展以及各种智能设备的普及,设备的平台多样化使得现有电子数据勘查取证分析装备已不能满足网络和存储技术所需要的高速数据镜像存储和海量数据相关性分析等要求,并表现出操作复杂、效率低等缺陷。设计并实现了一种高效的基于Hadoop的分布式取证系统,它能够支持多介质并行取证的工作场景,并通过调度控制服务将不同的证据介质中的数据存储到不同的分布式数据存储服务器上,每个取证任务运行时都可以独占一个取证介质,从而实现多介质的并行取证分析。实验数据显示,搜索一个2-4GB的文本数据的响应时间可以达到仅0.1s。 展开更多
关键词 hadoop 分布式系统 取证 海量数据 多介质
在线阅读 下载PDF
面向Hadoop分布式文件系统的小文件存取优化方法 被引量:13
19
作者 李铁 燕彩蓉 +1 位作者 黄永锋 宋亚龙 《计算机应用》 CSCD 北大核心 2014年第11期3091-3095,3099,共6页
为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装... 为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率。实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度。 展开更多
关键词 hadoop分布式文件系统 小文件 文件关联 预取 缓存
在线阅读 下载PDF
基于数据级任务分解的配电网分布式并行计算平台 被引量:14
20
作者 黄伟 庞琳 +1 位作者 曹彬 焦润海 《电网技术》 EI CSCD 北大核心 2014年第4期1103-1108,共6页
为实现大规模配电网的实时分析计算,构建了基于数据级任务分解的配电网分布式并行计算平台。结合配电网运行结构和设备配置,以配电网馈线作为分析单元,采用数据级并行计算方式对配电网计算任务进行分解。配置管理模块、实例、执行端和... 为实现大规模配电网的实时分析计算,构建了基于数据级任务分解的配电网分布式并行计算平台。结合配电网运行结构和设备配置,以配电网馈线作为分析单元,采用数据级并行计算方式对配电网计算任务进行分解。配置管理模块、实例、执行端和客户端4个子系统,分别实现任务生成、任务分解、任务派发以及子任务计算等功能,形成分布式并行计算平台框架。引入消息中间件ZeroMQ技术,采用不同类型套接字的组合实现分布式系统内部的N-N高效通信及与外部系统的数据交互。为验证该平台的实用性及并行计算性能,在平台上实现了山东省某市的城市配电网全局状态估计的分布式并行计算。算例分析表明:在配电网节点达到一定规模时,采用该平台进行分布式并行计算具有明显的速度优势。 展开更多
关键词 数据级并行 分布式并行计算平台 配电网 分布式通信架构
在线阅读 下载PDF
上一页 1 2 34 下一页 到第
使用帮助 返回顶部