期刊文献+
共找到6篇文章
< 1 >
每页显示 20 50 100
列式数据库的数据压缩技术研究 被引量:1
1
作者 丁锐恒 梁波 《现代信息科技》 2023年第14期42-47,共6页
随着大数据产业的兴起,列式数据库的应用价值得以体现。凭借其灵活高效的查询性能以及对复杂异构数据的兼容支持,列式数据库在海量数据的分布式存储和数据查询分析领域具有广阔的应用前景。首先从实际应用的角度阐述列式数据库的基本特... 随着大数据产业的兴起,列式数据库的应用价值得以体现。凭借其灵活高效的查询性能以及对复杂异构数据的兼容支持,列式数据库在海量数据的分布式存储和数据查询分析领域具有广阔的应用前景。首先从实际应用的角度阐述列式数据库的基本特性和存储架构;其次分析列式数据库中所应用的数据压缩技术并通过实验验证数据压缩对列式数据库存取性能的影响程度。 展开更多
关键词 列式数据库 数据压缩 压缩算法 预处理
在线阅读 下载PDF
基于混合数据库的长江流域数据要素流通平台构建
2
作者 金和平 杨磊 +3 位作者 涂晶 罗惠恒 李林泽 安日辉 《人民长江》 北大核心 2025年第3期222-229,共8页
随着数字化技术的不断发展,数据要素对经济社会发展的推动作用日益显著,数据要素的流通有利于进一步释放数据的潜在价值。目前,长江流域数据要素已经具备了流通体系构建的基础,但其存储管理及共享缺乏标准化体系,存在多源异构数据资源... 随着数字化技术的不断发展,数据要素对经济社会发展的推动作用日益显著,数据要素的流通有利于进一步释放数据的潜在价值。目前,长江流域数据要素已经具备了流通体系构建的基础,但其存储管理及共享缺乏标准化体系,存在多源异构数据资源管理效率低、安全共享支持能力较弱的问题。针对以上问题,利用耦合ClickHouse、PostgreSQL和MongoDB的混合数据库技术构建长江流域数据要素流通平台,实现业务管理、基础地理、时序数据、遥感影像4类主体要素的存储与共享,从数据结构和数据索引的角度设计了数据要素存储方案,从数据要素查询、服务和权限管理的角度设计了数据要素共享方案。该方法为数据要素流通平台提供大容量存储能力、高效写入写出能力以及并发共享能力,并通过区块链技术确保了数据要素流通全流程的安全性,形成了一套标准化的数据要素流通技术。实践应用表明,所提出的数据要素流通技术符合长江流域数据要素流通平台的应用需求。 展开更多
关键词 数据要素流通 数据存储 数据共享 列式数据库 关系型数据库 空间数据库 分布式文件数据库 长江流域
在线阅读 下载PDF
浅谈大数据处理中的数据库I/O问题
3
作者 陈心咏 《信息通信》 2018年第6期133-134,共2页
基于文件的数据库系统处理海量数据时,常常会遭遇到性能瓶颈。例如:返回数据等待时间长、操作数据库卡顿、无法操作数据、超时、出现其他意外错误等等,这些一般最常见的是磁盘操作产生的I/O问题导致的。文章主要针对I/O问题的进行探讨,... 基于文件的数据库系统处理海量数据时,常常会遭遇到性能瓶颈。例如:返回数据等待时间长、操作数据库卡顿、无法操作数据、超时、出现其他意外错误等等,这些一般最常见的是磁盘操作产生的I/O问题导致的。文章主要针对I/O问题的进行探讨,并提出优化改进方案。 展开更多
关键词 I/O速度 I/O效率 执行计划 行式数据库 列式数据库
在线阅读 下载PDF
基于ClickHouse的AIS存储系统设计与实现
4
作者 丁锐恒 《中国水运》 2025年第4期36-37,40,共3页
随着船舶水运的发展,AIS数据规模急剧增长。针对目前关系型数据库无法高效存储使用AIS数据的问题,提出了AIS数据存储系统,系统以ClickHouse列式数据库为基础主要分为接收模块、处理模块以及写入模块,借助列式存储的优势,本系统可实现高... 随着船舶水运的发展,AIS数据规模急剧增长。针对目前关系型数据库无法高效存储使用AIS数据的问题,提出了AIS数据存储系统,系统以ClickHouse列式数据库为基础主要分为接收模块、处理模块以及写入模块,借助列式存储的优势,本系统可实现高效的AIS数据查询。测试表明,AIS存储系统能够有效提高AIS数据的查询使用效率,千万级数量下查询效率约是MySQL的43倍。 展开更多
关键词 AIS数据 列式数据库 存储系统 ClickHouse
在线阅读 下载PDF
分布式大数据下多条件快速检索的设计与实现 被引量:1
5
作者 朱立秀 《科学技术创新》 2018年第28期72-73,共2页
本文分析了分布式大数据多条件检索的需求,并提出对应的方案设计与实现。
关键词 分布式 数据 索引 列式数据库 事务 查询决策器
在线阅读 下载PDF
高效分布式数据稽核系统实现方案 被引量:2
6
作者 陈心咏 《信息通信》 2016年第9期79-80,共2页
电信信息化系统间数据交互频繁,各个边界系统间经常需要进行大量的数据正确性稽核。文章从数据建模和系统架构方面介绍了一种基于分布式处理框架、分布式缓存和分布式数据存储组件的高性能通用数据稽核系统建设方案。该方案采用了移动... 电信信息化系统间数据交互频繁,各个边界系统间经常需要进行大量的数据正确性稽核。文章从数据建模和系统架构方面介绍了一种基于分布式处理框架、分布式缓存和分布式数据存储组件的高性能通用数据稽核系统建设方案。该方案采用了移动互联网时代的最流行的开源技术框架,期望通过新模式的引入使得传统电信信息化系统在移动互联网时代转型过程中焕发巨大能量和活力。 展开更多
关键词 分布式计算框架 STORM 分布式缓存 分布式列式数据库 HBASE ROWKEY
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部