基于CIM XML的电网模型合并方法在北京电力公司调度系统中的应用 被引量：38

1

作者 米为民 韦凌霄 +3 位作者 钱静 刘润生 潘毅 邹跃中 《电网技术》 EI CSCD 北大核心 2008年第10期33-37,共5页

针对北京电力公司调度系统的两级电网监控方式,基于IEC 61970的公共信息模型(common information model,CIM)标准提出两级电网模型合并方法。该方法采用共享内存的高效索引技术、CIM文件解析器、边界定义和内外网切分等技术提高了模型... 针对北京电力公司调度系统的两级电网监控方式,基于IEC 61970的公共信息模型(common information model,CIM)标准提出两级电网模型合并方法。该方法采用共享内存的高效索引技术、CIM文件解析器、边界定义和内外网切分等技术提高了模型文件的合并效率,解决了相邻调度区域的模型重叠问题;同时结合可扩展向量图形(SVG)转换技术实现了全网的在线监控,为全网的状态估计、调度员培训模拟系统的联合反事故演习等提供了模型和画面支持。 展开更多

关键词 公共信息模型(CIM) 模型合并/拆分 调度边界

在线阅读 下载PDF 职称材料

基于序列图像建模的多视图模型合并策略 被引量：2

2

作者 曹智清 石教英 +2 位作者 张世明 孙鑫 刘培珺 《计算机研究与发展》 EI CSCD 北大核心 2005年第9期1633-1639,共7页

通过基于单幅图像的建模方法或者基于立体像对的建模方法,可以恢复图像序列中每一幅图像或者立体图像对对应的模型.但所得的是局部模型,并非物体的完整模型.针对这一问题,提出了一种基于图像建模的多视图模型合并策略.根据建筑物模型的... 通过基于单幅图像的建模方法或者基于立体像对的建模方法,可以恢复图像序列中每一幅图像或者立体图像对对应的模型.但所得的是局部模型,并非物体的完整模型.针对这一问题,提出了一种基于图像建模的多视图模型合并策略.根据建筑物模型的规整性,在从单幅图像恢复出建筑物模型的基础上,给出了一种简单灵活、易于实现的针对建筑物的多视图合并方法,从而得到完整的场景模型.该方法大致分为建立视图公共坐标系链表、坐标转换、顶点合并、模型合拢等几部分.从整个过程来看,该方法系统、完善,实验结果显示每一步的操作都是可行的,并且是有效的. 展开更多

关键词 基于图像建模 模型合并 多视图

在线阅读 下载PDF 职称材料

成本动因合并的模型与应用 被引量：5

3

作者 赵息 胥玲 《东华大学学报（自然科学版）》 CAS CSCD 北大核心 2005年第3期55-58,共4页

自作业成本法(ActivityBasedCosting)提出至今,人们在实践中不断总结和完善,以期提高其可操作性,成本动因是作业成本法的核心概念,也是实施作业成本法的关键所在,会计学界对ABC在我国的适用性表示置疑,原因主要是繁多的成本动因所导致的... 自作业成本法(ActivityBasedCosting)提出至今,人们在实践中不断总结和完善,以期提高其可操作性,成本动因是作业成本法的核心概念,也是实施作业成本法的关键所在,会计学界对ABC在我国的适用性表示置疑,原因主要是繁多的成本动因所导致的ABC的庞大的实施成本,试图通过建立成本动因合并的数学模型,寻求兼顾成本核算的精确度和成本效益的平衡,以提高作业成本法的可实施性。 展开更多

关键词 作业成本法 成本动因合并 两成本动因合并模型

在线阅读 下载PDF 职称材料

智能配电网模型信息集成技术研究 被引量：29

4

作者 钱静 施毅斌 +4 位作者 崔立忠 郑建平 赵军 罗卫华 薛晓明 《电网技术》 EI CSCD 北大核心 2013年第12期3534-3540,共7页

配电自动化的图模信息来自于外部系统,系统间免维护的信息共享还存在不少的问题。为此对调度和配网自动化系统中模型描述和管理的特点做了细致的分析。在吸收主网模型管理经验基础上,结合当今配网模型管理的现状,探讨了智能配网模型信... 配电自动化的图模信息来自于外部系统,系统间免维护的信息共享还存在不少的问题。为此对调度和配网自动化系统中模型描述和管理的特点做了细致的分析。在吸收主网模型管理经验基础上,结合当今配网模型管理的现状,探讨了智能配网模型信息集成的5个关键技术:信息集成规范、模型校验技术、模型拼接与增量入库技术、基于图层的图形转换技术、基于流程控制的模型异动管理技术。阐述了相关软件产品的功能模块组成和实现方式,通过实际案例证实了相关技术的可行性。 展开更多

关键词 智能配电网 IEC 61970 61968标准 模型管理 模型合并 信息集成

在线阅读 下载PDF 职称材料

基于差异合并的分布式随机梯度下降算法 被引量：20

5

作者 陈振宏 兰艳艳 +1 位作者 郭嘉丰 程学旗 《计算机学报》 EI CSCD 北大核心 2015年第10期2054-2063,共10页

大规模随机梯度下降算法是近年来的热点研究问题,提高其收敛速度和性能具有重要的应用价值.大规模随机梯度下降算法可以分为数据并行和模型并行两大类.在数据并行算法中,模型合并是一种比较常用的策略.目前,基于模型合并的随机梯度下降... 大规模随机梯度下降算法是近年来的热点研究问题,提高其收敛速度和性能具有重要的应用价值.大规模随机梯度下降算法可以分为数据并行和模型并行两大类.在数据并行算法中,模型合并是一种比较常用的策略.目前,基于模型合并的随机梯度下降算法普遍采用平均加权方式进行合并,虽然取得了不错的效果,但是,这种方式忽略了参与合并的模型的内在差异性,最终导致算法收敛速度慢,模型的性能及稳定性较差.针对上述问题,该文在分布式场景下,提出了基于模型差异进行合并的策略,差异性主要体现在两方面,各模型在其训练数据上错误率的差异和训练不同阶段模型合并策略的差异.此外,该文对合并后的模型采用规范化技术,将其投射到与合并前模型Frobenius范数相同的球体上,提高了模型的收敛性能.作者在Epsilon、RCV1-v2和URL 3个数据集上,验证了提出的基于差异合并的分布式随机梯度下降算法相对于平均加权方式具有收敛速度更快、模型性能更好的性质. 展开更多

关键词 分布式 随机梯度下降 规范化 模型合并 社交网络 社会计算

在线阅读 下载PDF 职称材料

基于IEC61970的华东电网分级模型管理方法 被引量：13

6

作者 钱静 葛敏辉 +6 位作者 米为民 吴艳华 吕文 刘大为 张亮 梁野 何江 《电网技术》 EI CSCD 北大核心 2007年第S2期295-298,共4页

介绍了华东电网调度实时信息系统中基于IEC 61970标准的分级模型管理方法。该系统采用CIM/XML模型文件交换和模型合并等技术,实现了电网模型的分责、分级维护,以及网、省(市)调度自动化系统间设备参数、模型信息的共享,并提供了模型版... 介绍了华东电网调度实时信息系统中基于IEC 61970标准的分级模型管理方法。该系统采用CIM/XML模型文件交换和模型合并等技术,实现了电网模型的分责、分级维护,以及网、省(市)调度自动化系统间设备参数、模型信息的共享,并提供了模型版本管理功能。实践证明该系统的模型管理方法有效降低了维护成本,提高了工作效率,并保证了数据的一致性和准确性。 展开更多

关键词 电力系统 模型管理 信息共享 IEC61970 CIM/XML模型文件 模型合并 版本管理

在线阅读 下载PDF 职称材料

DRAMA:更新分布感知的学习型索引

7

作者 郭娜 王雅琪 +2 位作者 姜皓南 谷峪 夏秀峰 《软件学报》 北大核心 2025年第8期3769-3786,共18页

学习型索引因其低内存占用和高查询性能的特点,正辅助或逐步取代传统的索引结构.然而,数据更新导致的在线重新训练使其无法适应数据频繁更新的场景.为了在不过多消耗内存的前提下尽量避免由于数据频繁更新导致的索引重构,提出了一种自... 学习型索引因其低内存占用和高查询性能的特点,正辅助或逐步取代传统的索引结构.然而,数据更新导致的在线重新训练使其无法适应数据频繁更新的场景.为了在不过多消耗内存的前提下尽量避免由于数据频繁更新导致的索引重构,提出了一种自适应的感知更新分布学习型索引结构DRAMA.使用类LSM-Tree的延迟学习方式主动学习数据更新的分布特征;利用近似拟合技术快速建立更新分布模型;采用模型合并策略代替频繁的重训练过程;采用一种混合压缩技术降低索引中模型参数的内存占用率.在真实和合成的数据集上构建了索引并进行验证.结果表明,相比于传统索引和最先进的学习型索引,该索引可以在不额外消耗过多内存的情况下,有效降低数据更新环境下的查询延迟. 展开更多

关键词 学习型索引 更新分布 压缩策略 延迟学习 近似拟合 模型合并

在线阅读 下载PDF 职称材料

基于应用与时间维度的电网模型多版本构建与管理技术 被引量：1

8

作者 石俊杰 李昊 +3 位作者 路轶 翟明玉 向博 季学纯 《电力系统自动化》 EI CSCD 北大核心 2017年第10期106-111,共6页

针对智能电网调度控制系统在电网调控业务的未来模型和历史模型管理方面的不足,本文提出了一种基于应用与时间维度的电网模型多版本构建与管理技术,使用轻量级文件数据库与CIM/E文件作为多版本模型数据持久化存储介质,实现多个版本的安... 针对智能电网调度控制系统在电网调控业务的未来模型和历史模型管理方面的不足,本文提出了一种基于应用与时间维度的电网模型多版本构建与管理技术,使用轻量级文件数据库与CIM/E文件作为多版本模型数据持久化存储介质,实现多个版本的安全隔离,以模型集为逻辑单元对电网不同业务模型进行分类,进而实现不同业务多时态模型版本构建与管理的技术方案,并对多版本间的模型比较与合并、未来版本模型验证与投在线流程管理等关键技术给出了具体的解决方案。该项技术已在调控中心试点应用,可满足多项业务应用对多时态版本模型的需求,提升了调控系统对未来模型构建、历史模型回溯、模型共享等方面的支撑能力。 展开更多

关键词 电网模型 应用与时间维度 多版本模型构建 模型比较与合并 模型验证

在线阅读 下载PDF 职称材料

基于并购估值的合并商誉来源、经济性质与会计处理方法研究 被引量：4

9

作者 冯丽颖 任世驰 《中国软科学》 CSSCI CSCD 北大核心 2021年第1期114-126,共13页

本文从合并商誉估值模型GW=NPV=n∑t=1NCFt/(1+i)^(t)-C出发,发现合并商誉来自被并企业预期未来各期净现金流,是购买方对被并方原股东分成预期净现金流的预付款项;合并商誉与被并企业超额收益无关,它决定于被并企业估值贴现率与被并企... 本文从合并商誉估值模型GW=NPV=n∑t=1NCFt/(1+i)^(t)-C出发,发现合并商誉来自被并企业预期未来各期净现金流,是购买方对被并方原股东分成预期净现金流的预付款项;合并商誉与被并企业超额收益无关,它决定于被并企业估值贴现率与被并企业预期内含报酬率之间的关系(IRR-i)。根据合并商誉的预付款项性质,恰当的会计处理方法是摊销法,摊销过程和合并商誉形成过程互为逆运算。从合并商誉产生过程来看,对合并商誉风险的治理要从并购合理估价着手。 展开更多

关键词 企业并购估值 合并商誉模型 合并商誉来源 合并商誉经济性质

在线阅读 下载PDF 职称材料

基于Petri网的流程变体合并方法 被引量：1

10

作者 王吴松 方欢 郑雪文 《计算机工程与科学》 CSCD 北大核心 2021年第6期1095-1103,共9页

业务融合时往往需要将已有的多个流程合并,从而形成新的满足实际需求的业务流程,如何识别已有业务流的共性特征来消除流程冗余具有较大的实际应用价值。因此,提出了一种基于Petri网的流程变体合并方法。首先,由计算匹配分数算法计算多... 业务融合时往往需要将已有的多个流程合并,从而形成新的满足实际需求的业务流程,如何识别已有业务流的共性特征来消除流程冗余具有较大的实际应用价值。因此,提出了一种基于Petri网的流程变体合并方法。首先,由计算匹配分数算法计算多个流程变体间不同组合的匹配分数,由此来选定一对匹配分数最高的流程变体组合;然后,根据提出的合并算法提取流程变体组合的公共部分,创建对应的副本,并将流程变体间存在的差异使用可配置连接符的分支进行合并,进而生成单个可配置的流程模型。合并后的流程模型可以捕获输入模型的所有行为,且可以对模型中的节点溯源,以此来判定节点来自于哪个流程变体。 展开更多

关键词 PETRI网 流程变体 匹配分数 模型合并

在线阅读 下载PDF 职称材料

互联电力系统分层分解时空协调建模 被引量：19

11

作者 米为民 李立新 +4 位作者 尚学伟 周京阳 钱静 徐家慧 潘毅 《电力系统自动化》 EI CSCD 北大核心 2009年第15期56-61,共6页

随着中国互联大电网的形成,电网结构和运行方式日益复杂。目前中国电网的建模方式是调度系统只对其调度管辖范围内的电网精确建模,外网部分则采用非精确建模或简单等值处理。这种传统的建模方式不能满足互联大电网的发展要求。基于IEC61... 随着中国互联大电网的形成,电网结构和运行方式日益复杂。目前中国电网的建模方式是调度系统只对其调度管辖范围内的电网精确建模,外网部分则采用非精确建模或简单等值处理。这种传统的建模方式不能满足互联大电网的发展要求。基于IEC61970标准和E格式规范,研究建立互联电力系统分层分解时空协调建模系统。该系统融合图数模一体化的时空协调版本管理、模型合并/拆分、外网等值等多项技术,实现各调度系统的时空协调建模,能为调度系统的横向协同、纵向贯通提供技术手段,能为提高互联大电网的在线监控、动态和静态安全稳定分析水平提供信息基础和技术支撑。 展开更多

关键词 版本管理 模型合并/拆分 动态等值 互联电力系统 时空协调 建模

在线阅读 下载PDF 职称材料

分布式协同建模技术在综合数据平台中的实现 被引量：15

12

作者 钱静 范广民 +3 位作者 何蕾 徐丹丹 杨笑宇 方伟 《电网技术》 EI CSCD 北大核心 2009年第20期136-141,共6页

企业资源整合是电力行业信息化的建设重点。作为调度自动化系统资源整合中心,综合数据平台提供了数据交换、数据整合、数据存储、数据查询等一系列服务。但是仅考虑横向互联的EMS系统模型信息整合,模型信息的准确性、及时性存在很大的... 企业资源整合是电力行业信息化的建设重点。作为调度自动化系统资源整合中心,综合数据平台提供了数据交换、数据整合、数据存储、数据查询等一系列服务。但是仅考虑横向互联的EMS系统模型信息整合,模型信息的准确性、及时性存在很大的局限。为了最大化地实现了多级调度系统之间的模型信息整合和共享,综合数据平台引入了分布式协同建模技术。文章基于IEC 61970标准,提出了分布式协同建模技术在综合数据平台中的实现机制,探讨了分布式协同建模包含的多项关键技术,包括流程化模型信息收集、模型合并、图数模一体化的版本管理、Web Services等新技术。最后文中给出一个实际的工程用例,证明了分布式协同建模技术的实用性和可行性。实际案例是通过建立一套集运行、维护、数据采集、信息交换和信息共享为一体,部署在上、下级调度机构的分布式系统,实现了数据中心横向协同、纵向贯通的模型信息管理。 展开更多

关键词 分布式协同建模技术 电力调度数据平台 版本管理 模型合并/拆分 工作流 WEB服务

在线阅读 下载PDF 职称材料

调度数据对象编码规范的实施及应用 被引量：1

13

作者 李文朝 《广东电力》 2014年第3期80-83,共4页

通过对地调系统数据结构和南方电网调度数据对象命名规范分析研究,提出了在不影响现有系统运行的前提下,实现调度数据对象规范编码的实施方案。针对调度数据对象编码位数长,编码复杂,实施困难的情况,通过分层分段,编码自动生成后批量导... 通过对地调系统数据结构和南方电网调度数据对象命名规范分析研究,提出了在不影响现有系统运行的前提下,实现调度数据对象规范编码的实施方案。针对调度数据对象编码位数长,编码复杂,实施困难的情况,通过分层分段,编码自动生成后批量导入,很好地解决了调度数据对象规范编码实施难、推广难的问题,为调度自动化系统与其他信息系统之间进行电网模型共享与数据交互打下良好基础。结合规范编码在茂名地调中的应用,表明了本实施方案的应用前景和实用价值。 展开更多

关键词 调度数据对象 编码规范 电网模型 模型合并 数据交互

在线阅读 下载PDF 职称材料

基于语音增强失真补偿的抗噪声语音识别技术 被引量：3

14

作者 丁沛 曹志刚 《中文信息学报》 CSCD 北大核心 2004年第5期64-69,共6页

本文提出了一种基于语音增强失真补偿的抗噪声语音识别算法。在前端 ,语音增强有效地抑制背景噪声 ;语音增强带来的频谱失真和剩余噪声是对语音识别不利的因素 ,其影响将通过识别阶段的并行模型合并或特征提取阶段的倒谱均值归一化得到... 本文提出了一种基于语音增强失真补偿的抗噪声语音识别算法。在前端 ,语音增强有效地抑制背景噪声 ;语音增强带来的频谱失真和剩余噪声是对语音识别不利的因素 ,其影响将通过识别阶段的并行模型合并或特征提取阶段的倒谱均值归一化得到补偿。实验结果表明 ,此算法能够在非常宽的信噪比范围内显著的提高语音识别系统在噪声环境下的识别精度 ,在低信噪比情况下的效果尤其明显 ,如对 - 5dB的白噪声 ,相对于基线识别器 ,该算法可使误识率下降 6 7 4 % 展开更多

关键词 计算机应用 中文信息处理 语音增强 倒谱均值归一化 并行模型合并 语音识别

在线阅读 下载PDF 职称材料

国内外成本动因优化理论研究现状及评述 被引量：17

15

作者 王福胜 李明毅 朱凯 《哈尔滨工业大学学报》 EI CAS CSCD 北大核心 2003年第2期214-218,共5页

Babad提出的两成本动因合并模型 ,成为成本动因优化理论的基石 ,但它存在诸多不足 ;王平心提出的成本动因合并的近似理论是对成本动因优化理论的重要发展 ,但不如规范的数学模型精确性高 ;Carsten提出的多成本动因合并模型完善了成本动... Babad提出的两成本动因合并模型 ,成为成本动因优化理论的基石 ,但它存在诸多不足 ;王平心提出的成本动因合并的近似理论是对成本动因优化理论的重要发展 ,但不如规范的数学模型精确性高 ;Carsten提出的多成本动因合并模型完善了成本动因优化理论 ,一定程度上弥补了前人研究的不足 ,但也不尽人意 .在成本信息精确性与信息加工成本之间寻求一种平衡 ,既是以往研究成本优化理论的指导思想 ,也为未来同类研究指明了方向 .今后研究应关注 3个方面 ,即重视定量分析方法的应用、致力于系统的理论框架体系的构建。 展开更多

关键词 成本动因优化 信息成本 成本信息 成本管理系统 两成本动因合并模型

在线阅读 下载PDF 职称材料

集中式多传感器群目标灰色精细航迹起始算法 被引量：10

16

作者 王海鹏 熊伟 +1 位作者 何友 董云龙 《系统工程与电子技术》 EI CSCD 北大核心 2012年第11期2249-2255,共7页

为解决多传感器群内目标精细航迹起始的难题,提出一种集中式多传感器群目标灰色精细航迹起始算法。该算法首先基于循环阈值模型、群中心点完成群的预分割、预互联,然后将预互联成功的群按传感器分成子群,基于灰色精细互联模型剔除同一... 为解决多传感器群内目标精细航迹起始的难题,提出一种集中式多传感器群目标灰色精细航迹起始算法。该算法首先基于循环阈值模型、群中心点完成群的预分割、预互联,然后将预互联成功的群按传感器分成子群,基于灰色精细互联模型剔除同一传感器子群内的虚假量测,并利用量测合并模型消除群内多传感器对同一目标的冗余信息,最后基于灰色精细互联模型、航迹得分完成群内量测的精细互联和航迹输出。经仿真验证,与分布式多传感器修正逻辑法、基于聚类和Hough变换的集中式多传感器多编队航迹起始算法相比,该算法综合性能更优。 展开更多

关键词 雷达数据处理 群目标航迹起始 集中式多传感器 灰色精细互联模型 量测合并模型

在线阅读 下载PDF 职称材料

智能调度分布式一体化建模方案 被引量：34

17

作者 米为民 荆铭 +3 位作者 尚学伟 徐丹丹 蒋国栋 付辉 《电网技术》 EI CSCD 北大核心 2010年第10期6-9,共4页

智能调度建设要求调度中心共享信息,为此提出了智能调度分布式一体化建模方案。该方案中,各级调度系统之间通过模型信息联动技术,实现图形、数据、模型的共享;通过模型拆分/合并技术、在线外网等值技术等建立全电网模型和图形,并获取实... 智能调度建设要求调度中心共享信息,为此提出了智能调度分布式一体化建模方案。该方案中,各级调度系统之间通过模型信息联动技术,实现图形、数据、模型的共享;通过模型拆分/合并技术、在线外网等值技术等建立全电网模型和图形,并获取实时运行数据;通过模型信息订阅技术为各应用系统提供个性化的模型信息服务。分布式一体化建模可为智能调度提供一体化模型与基础数据,实现模型信息的"源端维护、全网共享",满足调度中心对全电网的模型分析、安全预警、辅助决策等业务需要。 展开更多

关键词 智能调度 分布式一体化建模 模型订阅 模型信息联动 模型拆分/合并 外网等值

在线阅读 下载PDF 职称材料

特征价格指数的理论与实证研究——以计算机价格指数为例 被引量：10

18

作者 王力宾 《云南财经大学学报》 2006年第3期23-28,共6页

探讨特征价格指数的定义、作用和理论框架,由此得出结论:特征价格指数是根据特征价格函数计算出来的个体质量指数的统称。随着科学技术的不断进步和异质商品数量的增加,编制不同商品的特征价格指数对于提高中国价格指数编制质量和完善... 探讨特征价格指数的定义、作用和理论框架,由此得出结论:特征价格指数是根据特征价格函数计算出来的个体质量指数的统称。随着科学技术的不断进步和异质商品数量的增加,编制不同商品的特征价格指数对于提高中国价格指数编制质量和完善价格指数的编制方法具有重要的现实意义。文章实证部分引用G regoryC.Chow在“计算机的技术变化和需求”一文中使用过的数据,用以说明两种不同的计算机特征价格指数编制方法。实证结果表明:无论是合并数据指数模型,还是横截面数据指数模型均能剔除计算机的特征对其价格的影响,准确反映价格的变动趋势。而传统的价格指数由于忽略了商品品质的改变,有可能高估计算机价格的上涨幅度。 展开更多

关键词 特征价格理论 价格指数 计算机价格 合并数据指数模型

在线阅读 下载PDF 职称材料

一种改进的双向聚类算法及其在销售分析中的应用 被引量：1

19

作者 唐小丽 胡孔法 +1 位作者 陈崚 顾颀 《计算机应用研究》 CSCD 北大核心 2007年第1期251-254,共4页

传统聚类认为每个对象与所有属性均有关系,只是将对象进行聚类,为了克服这一不足,提出基于合并双聚类模型(Merge B iC lusterModel,MBCM)的算法,采用将对象和属性同时进行聚类,找出与一组属性有关的相近对象。实验证明,该方法更为快速,... 传统聚类认为每个对象与所有属性均有关系,只是将对象进行聚类,为了克服这一不足,提出基于合并双聚类模型(Merge B iC lusterModel,MBCM)的算法,采用将对象和属性同时进行聚类,找出与一组属性有关的相近对象。实验证明,该方法更为快速,能够得到更加精确的结果。 展开更多

关键词 数据挖掘 双向聚类 合并双聚类模型

在线阅读 下载PDF 职称材料

基于EHDFS的海量小文件存储与检索方法 被引量：5

20

作者 李文武 张建锋 王景林 《计算机工程与设计》 北大核心 2022年第2期376-383,共8页

为有效解决HDFS面对多类型的海量小文件存在存储效率与检索速率低下的问题,构建一种基于EHDFS架构的存取方案。存储阶段,引入最优化策略,建立新的合并存储模型,使小文件最大化填满且均匀分布于Block,提高DataNode空间利用,降低NameNode... 为有效解决HDFS面对多类型的海量小文件存在存储效率与检索速率低下的问题,构建一种基于EHDFS架构的存取方案。存储阶段,引入最优化策略,建立新的合并存储模型,使小文件最大化填满且均匀分布于Block,提高DataNode空间利用,降低NameNode内存开销。检索阶段,改进MapFile映射关系结构、索引存储位置与组成元素以建立新的文件索引模型,避免跨跃式文件搜索,实现小文件的集中检索。实验结果表明,对比多种大数据存储模型,在不同数据量的分组压力测试下,该方案有效提高了HDFS的存取效率。 展开更多

关键词 海量小文件 EHDFS架构 最优化合并存储模型 MapFile映射关系结构 文件索引模型

在线阅读 下载PDF 职称材料