随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Va...随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Value系统对吞吐量要求较高,而基于Flash的固态硬盘(solid state drive,SSD)能够提供很高的随机读性能,在SSD上构建Key-Value系统已成为海量数据存储领域的一大研究热点.鉴于Flash具有非定点更新、寿命有限等特性,基于SSD的KeyValue系统必须针对Flash的特性作专门优化.以一种称为SkimpyStash的基于SSD的Key-Value系统为基础,提出了一种新的Key-Value系统低延迟存储系统(low latency store,LLStore).LLStore使用内存文件映射技术来减少针对SSD的IO请求,除此之外,针对SkimpyStash中低效的压缩策略,提出一种改进方法,可以在少量增加内存开销的情况下极大地减少查询时间.通过与原系统的性能比较实验,LLStore在平均查询时间上可以获得至少12%的加速.展开更多
NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前...NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前的硬件发展新趋势,如多核处理器、大内存和低延迟闪存、非易失性内存NVM(Non-Volatile Memory)等,难以充分发挥新硬件的优势,如数据索引、并发控制、事务日志管理等技术在多核架构下存在多核扩展性问题,又如数据存储策略不适应闪存SSD(Solid State Drive)的新存储特性而产生了IO利用率低效的问题.针对多核处理器、大内存和闪存、NVM等硬件发展新趋势,文中面向当前的大数据应用背景,综述了KV型本地存储系统在索引技术、并发控制、事务日志管理和数据放置等核心模块上的最新优化技术和系统研究成果.从处理器、内存和持久化存储的角度概括了KV型本地存储系统当前存在的最优技术,总结了当前研究尚未解决的技术挑战,并对KV型本地存储系统在CPU缓存高效性、事务日志扩展性和高可用性等方面的研究进行了展望.展开更多
消费者体验需求的提升促使零售商不断探索新渠道模式,以提高原有实体店效益的同时优化线上经营策略。本文分别考虑传统BORO(buy online and return online)和开通BOPS(buy online and pickup in store)两种渠道情形,构建零售商针对消费...消费者体验需求的提升促使零售商不断探索新渠道模式,以提高原有实体店效益的同时优化线上经营策略。本文分别考虑传统BORO(buy online and return online)和开通BOPS(buy online and pickup in store)两种渠道情形,构建零售商针对消费者线上购买并在线上或线下退款的差异化退货策略利润模型,分析两种渠道情形下的最优定价和最优退货策略,进而考虑BOPS渠道的溢出效应,分析零售商在相同退货策略下是否应该开通BOPS渠道。结果表明:(1)在两种情形下,随着线下商店数量的增多,零售商均会倾向于在低开店成本下选择全额退款策略,倾向于在高开店成本下选择部分退款策略;(2)在同渠道情形下,全额退款策略的定价始终低于部分退款策略。在同退货策略下,BOPS情形下的定价始终低于BORO情形;(3)高溢出效应和多商店数量都促使零售商选择开通BOPS渠道,但商店数量决定了BOPS线下麻烦成本规模因子对零售商开通BOPS渠道起推动还是抑制作用。本文为既定商店数量下多渠道零售商退货策略与渠道选择提供了决策支持。展开更多
随着应用场景的多样化和私有数据共享规模的扩大,多方隐私集合交集计算(private set intersection,PSI)成为协同数据处理中的一个研究热点。然而,现有的多方PSI协议大多存在着参与方之间开销不平衡的问题,这不仅影响参与方之间的公平性...随着应用场景的多样化和私有数据共享规模的扩大,多方隐私集合交集计算(private set intersection,PSI)成为协同数据处理中的一个研究热点。然而,现有的多方PSI协议大多存在着参与方之间开销不平衡的问题,这不仅影响参与方之间的公平性,还影响协议的总体效率。针对该问题,基于不经意键值存储和秘密分享技术,提出了一个高效、平衡的多方PSI协议(EBMPSI)。该协议具备面向所有半诚实敌手的安全性,且可抵抗多个参与方的合谋攻击。理论和实验分析表明,EBMPSI协议有效地平衡了各个参与方之间的计算和通信开销。与现有方案的实验对比表明,EBMPSI协议在资源分布均匀的环境中展现出更高的执行效率。展开更多
文摘随着互联网技术的迅猛发展,越来越多的非结构化数据涌入到人们的生活中,为这些数据建立高效的索引面临极大的挑战.键值数据库Key-Value以其结构简单和高扩展性而引起人们的广泛关注,已成为海量数据存储系统中的重要组成部分.由于Key-Value系统对吞吐量要求较高,而基于Flash的固态硬盘(solid state drive,SSD)能够提供很高的随机读性能,在SSD上构建Key-Value系统已成为海量数据存储领域的一大研究热点.鉴于Flash具有非定点更新、寿命有限等特性,基于SSD的KeyValue系统必须针对Flash的特性作专门优化.以一种称为SkimpyStash的基于SSD的Key-Value系统为基础,提出了一种新的Key-Value系统低延迟存储系统(low latency store,LLStore).LLStore使用内存文件映射技术来减少针对SSD的IO请求,除此之外,针对SkimpyStash中低效的压缩策略,提出一种改进方法,可以在少量增加内存开销的情况下极大地减少查询时间.通过与原系统的性能比较实验,LLStore在平均查询时间上可以获得至少12%的加速.
文摘NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前的硬件发展新趋势,如多核处理器、大内存和低延迟闪存、非易失性内存NVM(Non-Volatile Memory)等,难以充分发挥新硬件的优势,如数据索引、并发控制、事务日志管理等技术在多核架构下存在多核扩展性问题,又如数据存储策略不适应闪存SSD(Solid State Drive)的新存储特性而产生了IO利用率低效的问题.针对多核处理器、大内存和闪存、NVM等硬件发展新趋势,文中面向当前的大数据应用背景,综述了KV型本地存储系统在索引技术、并发控制、事务日志管理和数据放置等核心模块上的最新优化技术和系统研究成果.从处理器、内存和持久化存储的角度概括了KV型本地存储系统当前存在的最优技术,总结了当前研究尚未解决的技术挑战,并对KV型本地存储系统在CPU缓存高效性、事务日志扩展性和高可用性等方面的研究进行了展望.
文摘消费者体验需求的提升促使零售商不断探索新渠道模式,以提高原有实体店效益的同时优化线上经营策略。本文分别考虑传统BORO(buy online and return online)和开通BOPS(buy online and pickup in store)两种渠道情形,构建零售商针对消费者线上购买并在线上或线下退款的差异化退货策略利润模型,分析两种渠道情形下的最优定价和最优退货策略,进而考虑BOPS渠道的溢出效应,分析零售商在相同退货策略下是否应该开通BOPS渠道。结果表明:(1)在两种情形下,随着线下商店数量的增多,零售商均会倾向于在低开店成本下选择全额退款策略,倾向于在高开店成本下选择部分退款策略;(2)在同渠道情形下,全额退款策略的定价始终低于部分退款策略。在同退货策略下,BOPS情形下的定价始终低于BORO情形;(3)高溢出效应和多商店数量都促使零售商选择开通BOPS渠道,但商店数量决定了BOPS线下麻烦成本规模因子对零售商开通BOPS渠道起推动还是抑制作用。本文为既定商店数量下多渠道零售商退货策略与渠道选择提供了决策支持。
文摘随着应用场景的多样化和私有数据共享规模的扩大,多方隐私集合交集计算(private set intersection,PSI)成为协同数据处理中的一个研究热点。然而,现有的多方PSI协议大多存在着参与方之间开销不平衡的问题,这不仅影响参与方之间的公平性,还影响协议的总体效率。针对该问题,基于不经意键值存储和秘密分享技术,提出了一个高效、平衡的多方PSI协议(EBMPSI)。该协议具备面向所有半诚实敌手的安全性,且可抵抗多个参与方的合谋攻击。理论和实验分析表明,EBMPSI协议有效地平衡了各个参与方之间的计算和通信开销。与现有方案的实验对比表明,EBMPSI协议在资源分布均匀的环境中展现出更高的执行效率。
