期刊文献+
共找到6篇文章
< 1 >
每页显示 20 50 100
分布式存储系统中支持近数据处理的纠删码技术 被引量:1
1
作者 李浩然 黄志杰 +3 位作者 史宇龙 赵承佳 赵楠楠 张晓 《电子学报》 北大核心 2025年第2期344-353,共10页
纠删码技术和近数据处理技术是构建高效的云边端协同数据管理系统的两大基石,前者通过对数据添加编码冗余方式来保障系统的可用性,而后者则通过在存储端处理数据的方式避免大量的网络传输开销.云边端协同的数据管理系统通常采用成熟的... 纠删码技术和近数据处理技术是构建高效的云边端协同数据管理系统的两大基石,前者通过对数据添加编码冗余方式来保障系统的可用性,而后者则通过在存储端处理数据的方式避免大量的网络传输开销.云边端协同的数据管理系统通常采用成熟的分布式存储系统作为底层存储引擎,然而主流的分布式存储系统中的纠删码实现方式并不能高效地支持近数据处理.本文提出了一种支持近数据处理的纠删码技术架构,其基本原理是通过对待编码的一组数据进行重新布局,保证语义相关数据被存储在同一个存储设备上,避免执行近数据处理时的跨节点数据传输.该方案在分布式存储系统Ceph上获得实现,并测试典型场景的读写性能.实验结果表明,在近数据处理场景下和常规数据读取场景下,读取对象的性能分别提升59.4%和10%,对象写入性能则与原版保持一致. 展开更多
关键词 纠删码 分布式存储 Ceph 近数据处理 云边端协同数据管理
在线阅读 下载PDF
基于动态任务迁移的近数据处理方法 被引量:1
2
作者 华幸成 刘鹏 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2019年第12期2348-2356,共9页
为了应对大数据应用中数据移动对系统性能和能耗造成的负面影响,基于3D存储器集成存储与逻辑电路的特点和MapReduce模型的并发特性,提出一种基于动态任务迁移的近数据处理(NDP)方法.对MapReduce应用的工作流解耦以获取核心计算任务,提... 为了应对大数据应用中数据移动对系统性能和能耗造成的负面影响,基于3D存储器集成存储与逻辑电路的特点和MapReduce模型的并发特性,提出一种基于动态任务迁移的近数据处理(NDP)方法.对MapReduce应用的工作流解耦以获取核心计算任务,提供迁移机制将计算任务动态迁移到NDP单元中;采用原子操作优化数据访问,从而大幅度减少数据移动.实验结果表明,对于MapReduce应用,提出的近数据处理方法将75%的数据移动约束在存储单元内部,有效减少了主处理单元与存储单元之间的数据移动.与目前最先进的工作相比,所提方法在系统性能和系统能效上分别有70%和44%的提升. 展开更多
关键词 近数据处理(NDP) MAPREDUCE 3D存储器 动态任务迁移
在线阅读 下载PDF
大数据时代——从冯·诺依曼到计算存储融合 被引量:8
3
作者 邱赐云 李礼 +1 位作者 张欢 吴佳 《计算机科学》 CSCD 北大核心 2018年第B11期71-75,共5页
海量数据的出现和硬件计算能力的提升,催生了第三次人工智能的发展热潮,大数据时代来临。首先,分析了拥有冯·诺依曼体系结构的计算机在大数据时代遭遇的存储墙、带宽墙和功耗高问题,引出为适应和满足大数据处理需求的计算机体系结... 海量数据的出现和硬件计算能力的提升,催生了第三次人工智能的发展热潮,大数据时代来临。首先,分析了拥有冯·诺依曼体系结构的计算机在大数据时代遭遇的存储墙、带宽墙和功耗高问题,引出为适应和满足大数据处理需求的计算机体系结构的发展趋势;接着,分析计算机体系结构层面的计算存储融合技术、软硬件结构、offloading算法的设计思路与技术特点,以及在商业系统中的应用,为高性能计算、数据中心建设和智能SSD产品设计等提供启发意义;分析微观层面基于硅穿孔的3D堆叠封装技术和最新的产业动态;最后,阐述代表计算存储一体化发展目标的类脑计算和最新的研究进展。 展开更多
关键词 计算存储融合 存储墙 数据处理 3D堆叠 智能固态硬盘
在线阅读 下载PDF
闪存存储的重构与系统构建技术 被引量:2
4
作者 陆游游 杨者 舒继武 《计算机研究与发展》 EI CSCD 北大核心 2019年第1期23-34,共12页
近些年来,闪存存储在嵌入式、桌面机、服务器及数据中心领域中均得到了快速而广泛的应用.如何高效发挥闪存效率是近来存储系统研究中的一个重要的问题.传统存储系统以磁盘为基础的设计维系了60余年,基于现有存储系统的优化对闪存优势的... 近些年来,闪存存储在嵌入式、桌面机、服务器及数据中心领域中均得到了快速而广泛的应用.如何高效发挥闪存效率是近来存储系统研究中的一个重要的问题.传统存储系统以磁盘为基础的设计维系了60余年,基于现有存储系统的优化对闪存优势的发挥效果甚微.因而,重构闪存存储成为近年来的研究热点.对该研究方向的研究现状与进展进行介绍.首先,介绍了闪存与固态盘的特性,并分析了当前闪存存储结构的问题;然后,介绍了闪存存储架构从设备内FTL、主机端FTL、软件直管闪存以及开放可编程闪存的演进;接着,从软件直管闪存的软件定义和硬件卸载2个方面,分别介绍基于开放通道SSD的存储系统和基于近数据处理的闪存存储系统;最后总结了闪存存储重构和系统构建技术的挑战与下一步研究的问题. 展开更多
关键词 开放通道SSD 软件定义闪存 近数据处理 软硬件协同设计 开放可编程闪存
在线阅读 下载PDF
NDP-Ledger:面向区块链应用的通用高通量加速架构
5
作者 安述倩 李文明 +5 位作者 范志华 吴海彬 吴萌 王达 张浩 唐志敏 《高技术通讯》 EI CAS 北大核心 2020年第11期1093-1103,共11页
区块链技术由于去中心化及不可篡改等特性,广泛应用于数字货币、支付交易等领域,其算法对计算能力和存储访问能力有较高要求,导致传统冯诺依曼结构在面向区块链应用时能效比较低。3D堆叠存储器因可以缓解冯诺依曼结构的访存瓶颈,成为了... 区块链技术由于去中心化及不可篡改等特性,广泛应用于数字货币、支付交易等领域,其算法对计算能力和存储访问能力有较高要求,导致传统冯诺依曼结构在面向区块链应用时能效比较低。3D堆叠存储器因可以缓解冯诺依曼结构的访存瓶颈,成为了热门研究方向之一。本文基于3D堆叠存储器技术及数据流执行模式,提出了一种面向区块链应用的高通量近数据处理(NDP)架构,NDP-Ledger。本文深入分析和论证了区块链应用的计算特征及3D堆叠存储技术在区块链应用中的适应性问题,并基于数据流执行模式设计了一种通用的高并发区块链加速体系结构,使区块链加速器在满足通用性的前提下提高处理性能。模拟评估结果表明,本文提出的区块链通用加速器结构,在典型区块链应用处理方面的性能优于主流的CPU和GPU。 展开更多
关键词 区块链 3D堆叠存储 近数据处理(NDP) 数据 通用加速器结构
在线阅读 下载PDF
基于标准DDR总线的内存扩展芯片的设计与实现 被引量:3
6
作者 赵阳洋 陈明宇 +2 位作者 金旭 阮元 张雪琳 《高技术通讯》 EI CAS 北大核心 2020年第3期233-239,共7页
随着计算机领域进入大数据时代,数据的快速增长和以数据为中心的发展趋势给现有的计算机存储带来了机遇和挑战。传统的标准双倍速率(DDR)总线接口采用固定的时序,难以加入各种扩展功能,若引入新型内存器件,则存在时序兼容问题。为此基... 随着计算机领域进入大数据时代,数据的快速增长和以数据为中心的发展趋势给现有的计算机存储带来了机遇和挑战。传统的标准双倍速率(DDR)总线接口采用固定的时序,难以加入各种扩展功能,若引入新型内存器件,则存在时序兼容问题。为此基于现有的DDR协议,本文设计实现了内存缓冲扩展芯片。该芯片与处理器端的物理连接采用标准DDR总线,消除了兼容性问题;并且在芯片逻辑设计中,增加对可变延迟访问和扩展访存指令的支持,为内存增加了智能性,可用于内存加速和内存扩展。本文详细介绍了该芯片采用的关键技术,经过中芯国际40nm工艺流片验证,该芯片逻辑功能正确,运行稳定。在DDR3-1066频率下,该芯片可满足标准DDR3内存读写时序,并在龙芯3A系列主板上顺利启动Linux内核。芯片性能评估结果表明,应用扩展的访存指令可实现访存加速。 展开更多
关键词 内存缓冲 内存加速 内存扩展 内存智能化 近数据处理
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部