基于操作历史图的分布式Key-Value数据库一致性检测算法 被引量：10

1

作者 廖彬 张陶 +3 位作者 李敏 于炯 国冰磊 刘炎 《计算机科学》 CSCD 北大核心 2019年第12期213-219,共7页

分布式数据库系统的副本机制在提高系统可靠性及性能的同时,导致了多副本数据管理的一致性问题;数据一致性的实现需要一致性协议模型来进行预防,也需要一致性检测算法对非一致数据进行检测。首先,对读写操作记录之间的时序关系、安全一... 分布式数据库系统的副本机制在提高系统可靠性及性能的同时,导致了多副本数据管理的一致性问题;数据一致性的实现需要一致性协议模型来进行预防,也需要一致性检测算法对非一致数据进行检测。首先,对读写操作记录之间的时序关系、安全一致性及并行一致性原则等概念进行定义;其次,根据操作记录集合中读写操作之间的并行与时序关系,提取出操作记录集合向操作记录图转化的规则,并在此基础上设计了操作记录向历史记录图的转化算法;然后,以历史记录图为输入,设计了违反一致性查找算法,查找并返回图中所有违反安全与并行一致性读操作的集合;最后,基于Cassandra进行实验并将读写一致性设置为ONE,通过YCSB产生并行读写压力测试,与同类算法的对比实验验证了所提算法在功能与效率两方面的优越性。 展开更多

关键词 分布式数据库 key-value数据库 一致性原则 一致性检测 DAG图

在线阅读 下载PDF 职称材料

一种基于裸闪存的Key-Value数据库优化方法 被引量：7

2

作者 秦雄军 张佳程 +1 位作者 陆游游 舒继武 《计算机研究与发展》 EI CSCD 北大核心 2017年第6期1326-1336,共11页

近年来,非关系型的key-value数据库得到越来越广泛的应用.然而,目前主流的key-value数据库或者是基于磁盘设计的,或者是传统的基于文件系统和闪存转换层FTL来构建的,难以发挥闪存存储设备的特性,限制了I/O的并发性能,且垃圾回收过程复杂... 近年来,非关系型的key-value数据库得到越来越广泛的应用.然而,目前主流的key-value数据库或者是基于磁盘设计的,或者是传统的基于文件系统和闪存转换层FTL来构建的,难以发挥闪存存储设备的特性,限制了I/O的并发性能,且垃圾回收过程复杂.设计并实现了一种基于裸闪存的keyvalue数据管理架构Flashkv,通过用户态下的管理单元进行空间管理和垃圾回收,充分利用了闪存设备内部的并发特性,并简化了垃圾回收过程,去除了传统文件系统和FTL中的冗余功能,缩短了I/O路径.提出了基于闪存特点的I/O调度技术,优化了闪存的读写延迟,提高了吞吐率;提出了用户态缓存管理技术,降低了数据写入量和频繁系统调用所带来的开销.测试结果表明,Flashkv性能是levelDB的1.9~2.2倍,写入量减少60%~65%. 展开更多

关键词 key-value数据库 闪存 裸设备 数据存储 使用寿命

在线阅读 下载PDF 职称材料

基于SSD的Key-Value系统优化设计与实现 被引量：1

3

作者 刘峪竹 肖侬 +2 位作者 刘芳 陈志广 唐黎哲 《计算机研究与发展》 EI CSCD 北大核心 2014年第S1期136-141,共6页

随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Va... 随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Value系统对吞吐量要求较高,而基于Flash的固态硬盘(solid state drive,SSD)能够提供很高的随机读性能,在SSD上构建Key-Value系统已成为海量数据存储领域的一大研究热点.鉴于Flash具有非定点更新、寿命有限等特性,基于SSD的KeyValue系统必须针对Flash的特性作专门优化.以一种称为SkimpyStash的基于SSD的Key-Value系统为基础,提出了一种新的Key-Value系统低延迟存储系统(low latency store,LLStore).LLStore使用内存文件映射技术来减少针对SSD的IO请求,除此之外,针对SkimpyStash中低效的压缩策略,提出一种改进方法,可以在少量增加内存开销的情况下极大地减少查询时间.通过与原系统的性能比较实验,LLStore在平均查询时间上可以获得至少12%的加速. 展开更多

关键词 key-value SSD 数据存储 内存文件映射 压缩

在线阅读 下载PDF 职称材料

基于Linux内核的Key-Value存储系统——KStore 被引量：1

4

作者 谢沛东 武延军 《计算机应用》 CSCD 北大核心 2015年第1期99-102,114,共5页

Key-Value存储系统在各种互联网服务中被广泛使用,但现有的Key-Value存储系统通常在用户态空间设计和实现,因为频繁的模式切换和上下文切换,导致访问接口、事务处理效率不高,在高并发、低延迟的数据存储需求中尤为突出。针对该问题,给... Key-Value存储系统在各种互联网服务中被广泛使用,但现有的Key-Value存储系统通常在用户态空间设计和实现,因为频繁的模式切换和上下文切换,导致访问接口、事务处理效率不高,在高并发、低延迟的数据存储需求中尤为突出。针对该问题,给出了一个内核态Key-Value存储系统的实现——KStore:提供内核空间的索引和内存分配机制,并在此基础上,通过基于内核Socket的远程接口以及基于文件系统的本地接口,保证了KStore的低延迟;同时,通过基于内核多线程的并发处理机制,保证了KStore的并发性。实验结果表明,与Memcached相比,KStore在实时性和并发性方面都取得显著优势。 展开更多

关键词 key-value存储系统 LINUX内核 文件系统 内核Socket 内核线程 Slab内存分配

在线阅读 下载PDF 职称材料

一种基于key-value数据库的快速地名地址输入提示方法 被引量：1

5

作者 曹广顺 呙维 +1 位作者 朱欣焰 佘冰 《计算机应用研究》 CSCD 北大核心 2017年第11期3334-3338,3344,共6页

现有地址输入提示方法涉及标准地址和POI的研究较少,地址字符串的索引大多采用Trie(字典)树索引,但Trie树建立时内存消耗巨大,在面临海量数据时,问题更加突出。针对以上问题,提出一种基于key-value数据库的快速地名地址输入提示方法。... 现有地址输入提示方法涉及标准地址和POI的研究较少,地址字符串的索引大多采用Trie(字典)树索引,但Trie树建立时内存消耗巨大,在面临海量数据时,问题更加突出。针对以上问题,提出一种基于key-value数据库的快速地名地址输入提示方法。该方法基于Trie树结构进行改进,降低了地址索引的复杂度;基于keyvalue数据库构建Trie树,避免了内存消耗巨大的问题。实验结果表明,基于key-value数据库构建的Trie树索引较基于内存构建的Trie树索引在事务响应性能和内存消耗方面具有明显的优势和效率。 展开更多

关键词 TRIE树 key-value数据库 地名地址 输入提示

在线阅读 下载PDF 职称材料

分布式key-value系统错误污染检测

6

作者 郭晓林 舒继武 易乐天 《计算机学报》 EI CSCD 北大核心 2014年第7期1570-1579,共10页

随着key-value存储系统的广泛使用,越来越多的研究开始关注分布式系统中的可信问题,其中一个重要的问题是,如何在系统被入侵或者管理员配置错误并运行一段时间后,检测出受污染的数据,从而可以在恢复错误数据的同时保留系统的合法更新.... 随着key-value存储系统的广泛使用,越来越多的研究开始关注分布式系统中的可信问题,其中一个重要的问题是,如何在系统被入侵或者管理员配置错误并运行一段时间后,检测出受污染的数据,从而可以在恢复错误数据的同时保留系统的合法更新.文中提出了一种基于key-value存储系统的错误污染检测方法,该方法允许在客户端不可信的前提下,检测客户端之间的污染扩散.文中设计了一种基于各服务器逻辑时钟的向量时钟,该时钟以用户关联操作为更新规则,记录了跨服务器的读写请求逻辑关系,用以进行错误污染跟踪;同时为了减少大规模系统中污染检测的开销,基于该向量时钟,文中进一步提出了一种在分布式系统中由操作序列构成有向无环图的污染分析方法.基于广泛使用的Voldmort key-value系统,文中实现了一个错误污染检测系统,Tracker Store.在集群测试环境下,文中对引入新的检测系统后产生的额外延迟开销进行了测试. 展开更多

关键词 污染检测 分布式key-value系统 向量时钟

在线阅读 下载PDF 职称材料

支持大数据管理的NoSQL系统研究综述 被引量：197

7

作者 申德荣 于戈 +2 位作者 王习特 聂铁铮 寇月 《软件学报》 EI CSCD 北大核心 2013年第8期1786-1803,共18页

针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑... 针对大数据管理的新需求,呈现出了许多面向特定应用的NoSQL数据库系统.针对基于key-value数据模型的NoSQL数据库的相关研究进行综述.首先,介绍了大数据的特点以及支持大数据管理系统面临的关键技术问题;然后,介绍了相关前沿研究和研究挑战,其中典型的包括系统体系结构、数据模型、访问方式、索引技术、事务特性、系统弹性、动态负载均衡、副本策略、数据一致性策略、基于flash的多级缓存机制、基于MapReduce的数据处理策略和新一代数据管理系统等;最后给出了研究展望. 展开更多

关键词 NOSQL key-value存储 大数据管理

在线阅读 下载PDF 职称材料

面向存储网络的融合I/O模拟器设计与实现 被引量：2

8

作者 魏征 黎斐南 +2 位作者 邢晶 霍志刚 孙凝晖 《高技术通讯》 EI CAS 北大核心 2020年第10期983-997,共15页

在现有计算机系统结构中,要实现跨节点的数据存储操作,数据需要先经过本地网卡、远程网卡、远程内存才能到达远程存储设备。这一过程通常还需要远程节点操作系统和应用软件的参与才能完成。随着硬件技术的发展,存储设备的访问延迟大幅... 在现有计算机系统结构中,要实现跨节点的数据存储操作,数据需要先经过本地网卡、远程网卡、远程内存才能到达远程存储设备。这一过程通常还需要远程节点操作系统和应用软件的参与才能完成。随着硬件技术的发展,存储设备的访问延迟大幅下降。为了进一步降低节点数据传输延迟,充分发挥存储设备的性能优势,本文设计了面向网络与存储的融合I/O设备模型UIO,通过让多个功能模块共享存储设备中的内存和数据通路,以简化跨节点数据存储的传输通路优化。并加入辅助计算功能实现数据处理操作,通过与可编程硬件的结合,可以让用户定制辅助计算模块,提高UIO设备的处理效率,扩展应用场景。设计并实现了面向key-value存储系统的UIO设备模拟器,使用4 kB长度value的情况下,与传统数据通路对比,远程put延迟可以降低31%,远程get延迟减少20%。综合指令延迟和指令使用频率对整体操作延迟进行分析,UIO设备在目标场景中预期可以达到比传统数据通路更低的延迟。 展开更多

关键词 设备融合 模拟器 key-value存储 可编程硬件

在线阅读 下载PDF 职称材料

基于Redis内存数据库的快速查找算法 被引量：26

9

作者 郎泓钰 任永功 《计算机应用与软件》 CSCD 2016年第5期40-43,52,共5页

大数据时代的到来,使许多云环境下的新型应用蓬勃发展。针对大数据管理的新需求,key-value型数据存储系统成为当今研究的热点。基于key-value引擎的内存数据库Redis以及Cuckoo Hash技术,提出一种混合哈希快速查找算法CSR_Hash。通过对... 大数据时代的到来,使许多云环境下的新型应用蓬勃发展。针对大数据管理的新需求,key-value型数据存储系统成为当今研究的热点。基于key-value引擎的内存数据库Redis以及Cuckoo Hash技术,提出一种混合哈希快速查找算法CSR_Hash。通过对实验结果的分析,表明该算法有效地缩短了查询响应时间,并将其应用在通过Hadoop云平台以及Map/Reduce编程模型实现的图书销售系统中,对图书数据进行实时高效的解析与推荐,增强了No SQL数据库与Map/Reduce结合的实时性和高并发性。 展开更多

关键词 key-value型存储系统 Redis数据库 MAP/REDUCE CUCKOO HASH

在线阅读 下载PDF 职称材料

基于LevelDB的二维数据二级索引实现 被引量：2

10

作者 刘子豪 胡卉芪 +1 位作者 徐瑞 周烜 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2019年第5期159-167,共9页

随着科学研究中产生的空间数据尤其是二维数据量级的增长和NoSQL型数据库技术的发展,越来越多的空间数据被存储到NoSQL数据库中.LevelDB是一款开源的Key-Value型NoSQL数据库,由于它基于LSM架构并拥有较好的写入性能而被广泛应用.但是Key... 随着科学研究中产生的空间数据尤其是二维数据量级的增长和NoSQL型数据库技术的发展,越来越多的空间数据被存储到NoSQL数据库中.LevelDB是一款开源的Key-Value型NoSQL数据库,由于它基于LSM架构并拥有较好的写入性能而被广泛应用.但是Key-Value结构的局限性使其无法有效地索引空间数据,对于这个问题本文提出了一种基于LevelDB和R-tree的二级索引,使其可以支持二维数据的索引和近邻查询.实验结果表明该结构有较好的可用性. 展开更多

关键词 key-value数据库 二级索引 R-TREE

在线阅读 下载PDF 职称材料

缓存技术在用电信息采集系统中的应用

11

作者 李红文 王蛟 庞伟 《农村电气化》 2011年第3期42-44,共3页

随着电力信息化建设的不断加强,能够覆盖各级电力公司的用电信息实时数据采集系统已经上线使用,缓存技术作为核心技术之一应用在该系统中。用电信息实时数据采集系统中在线率统计、定时任务采集、数据入库等重要功能,与缓存技术有密切... 随着电力信息化建设的不断加强,能够覆盖各级电力公司的用电信息实时数据采集系统已经上线使用,缓存技术作为核心技术之一应用在该系统中。用电信息实时数据采集系统中在线率统计、定时任务采集、数据入库等重要功能,与缓存技术有密切的关系。 展开更多

关键词 缓存技术 DBM数据库 key-value 用电信息实时数据采集

在线阅读 下载PDF 职称材料