期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
基于ClickHouse的版本化数据迁移方法 被引量:8
1
作者 陈洪健 季健 +1 位作者 洪帅 钱叶 《计算机应用》 CSCD 北大核心 2022年第S02期105-110,共6页
针对ClickHouse进行数据迁移过程中存在的业务开发周期较长、数据空窗和集群性能下降的问题,提出了一种版本化的数据迁移方法。首先采用参数化配置模式提升开发人员在不同业务场景下的开发效率;其次,利用ClickHouse中的原生ATTACH方法... 针对ClickHouse进行数据迁移过程中存在的业务开发周期较长、数据空窗和集群性能下降的问题,提出了一种版本化的数据迁移方法。首先采用参数化配置模式提升开发人员在不同业务场景下的开发效率;其次,利用ClickHouse中的原生ATTACH方法在源数据表和目标表之间构建一张版本表,保证数据迁移过程对用户无感知;接着,通过数据预处理以及对集群状态的实时监控,选择负载最小的副本方法来减少集群负担;此外,还加入验数逻辑和分片级的数据回滚功能来保证数据准确性。在广泛使用的业务生产场景中进行亿级数据的迁移测试对比,结果表明,该方法优于市面上最先进的技术,在硬件设备相同的情况下数据迁移时间缩短90%以上。 展开更多
关键词 ClickHouse 据迁移 化配置 版本化 验数机制
在线阅读 下载PDF
京东零售基于ClickHouse的增量刷岗方法
2
作者 季健 洪帅 +2 位作者 陈洪健 钱叶 刘传耀 《计算机应用》 CSCD 北大核心 2024年第S01期199-203,共5页
刷岗是对某个最小存货单位(SKU)对应的岗位等维度字段发生变更,按照最新的SKU岗位等维度数据回溯、覆写的过程,刷岗这一行为在典型的电商企业(京东(JD)、淘宝)较为常见。针对京东零售业务场景下明细表和维表数据量庞大导致刷岗操作的运... 刷岗是对某个最小存货单位(SKU)对应的岗位等维度字段发生变更,按照最新的SKU岗位等维度数据回溯、覆写的过程,刷岗这一行为在典型的电商企业(京东(JD)、淘宝)较为常见。针对京东零售业务场景下明细表和维表数据量庞大导致刷岗操作的运行时间过长的问题,提出一种基于ClickHouse的增量刷岗方法。首先,将维度表加载为ClickHouse字典表,采用明细表关联ClickHouse字典表的方法进行刷岗;其次,采用增量刷岗方法取代传统全量刷岗的形式,不仅提升刷岗效率,同时减少刷岗带来的集群资源消耗;最后,加入验数逻辑和并发控制机制保证数据准确性和集群的稳定。将该技术与传统的刷岗技术在实际业务生产场景中进行亿级数据的刷岗测试对比,实验结果表明,在硬件设备相同的情况下,提出的增量刷岗方法刷岗时间缩短80%,集群资源(CPU、内存)的使用减少50%,显著提高刷海量数据岗效率。 展开更多
关键词 ClickHouse 岗位维表 增量刷岗方法 版本化据迁移 验数机制
在线阅读 下载PDF
New double yield surface model for coarse granular materials incorporating nonlinear unified failure criterion 被引量:3
3
作者 刘萌成 刘汉龙 高玉峰 《Journal of Central South University》 SCIE EI CAS 2012年第11期3236-3243,共8页
A new double-yield-sarface (DYS) model was developed to characterize the strength and deformation behaviors of coarse granular materials (CGMs). Two kinds of deformation mechanisms, including the shear and compres... A new double-yield-sarface (DYS) model was developed to characterize the strength and deformation behaviors of coarse granular materials (CGMs). Two kinds of deformation mechanisms, including the shear and compressive plastic deformation, were taken into account in this model, These two deformation mechanisms were described by the shear and compressive yield functions, respectively. The Lode angle dependent formulations of proposed model were deduced by incorporating a 3D nonlinear unified failure criterion. Some comparisons were presented between the numerical predictions of proposed model and test data of true triaxial tests on the modeled rockfills. The model predictions are in good agreement with the test data and capture the strain hardening and plastic volumetric dilation of CGMs. These findings verify the reasonability of current DYS model, and indicate that this model is well suited to reproduce the stress-strain-volume change behavior of CGMs in general. 展开更多
关键词 constitutive model coarse granular material failure criterion DILATANCY yield surface
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部