基于重复数据删除的分层存储优化技术研究进展 被引量：1

1

作者 姚子路 付印金 肖侬 《计算机科学》 北大核心 2025年第1期120-130,共11页

随着全球数据量的爆炸式增长以及数据多样性的日益丰富,单一介质层的存储系统逐渐不能满足用户多样化的应用需求。分层存储技术可依据数据的重要性、访问频率、安全性需求等特征将数据分类存放到具有不同访问延迟、存储容量、容错能力... 随着全球数据量的爆炸式增长以及数据多样性的日益丰富,单一介质层的存储系统逐渐不能满足用户多样化的应用需求。分层存储技术可依据数据的重要性、访问频率、安全性需求等特征将数据分类存放到具有不同访问延迟、存储容量、容错能力的存储层中,已经在各个领域得到广泛应用。重复数据删除是一种面向大数据的缩减技术,可高效去除存储系统中的重复数据,最大化存储空间利用率。不同于单存储层场景,将重复数据删除技术运用于分层存储中,不仅能减少跨层数据冗余,进一步节省存储空间、降低存储成本,还能更好地提升数据I/O性能和存储设备的耐久性。在简要分析基于重复数据删除的分层存储技术的原理、流程和分类之后,从存储位置选择、重复内容识别和数据迁移操作3个关键步骤入手,深入总结了诸多优化方法的研究进展,并针对基于重复数据删除的分层存储技术潜在的技术挑战进行了深入探讨。最后展望了基于重复数据删除的分层存储技术的未来发展趋势。 展开更多

关键词 重复数据删除 分层存储 存储位置选择 重复内容识别 数据迁移

在线阅读 下载PDF 职称材料

基于局部加密网格的LBM程序负载均衡方法研究

2

作者 黄晨希 李家辉 +2 位作者 颜辉 钟英 卢宇彤 《计算机科学》 北大核心 2025年第5期101-108,共8页

基于局部加密网格的格子玻尔兹曼方法(LBM),在大规模的非稳态计算流体力学问题中有着越来越广泛的使用。局部网格加密方法虽然可以有效减少计算量,但是也带来了严重的负载均衡问题。尤其是在大规模并行计算中,负载均衡算法的选择对整体... 基于局部加密网格的格子玻尔兹曼方法(LBM),在大规模的非稳态计算流体力学问题中有着越来越广泛的使用。局部网格加密方法虽然可以有效减少计算量,但是也带来了严重的负载均衡问题。尤其是在大规模并行计算中,负载均衡算法的选择对整体的计算效率有重要的影响。使用自研的LBM程序,简单对比了开源框架Palabos的实现结果,然后探讨了基于局部加密网格格子玻尔兹曼方法的静态负载均衡算法。程序中分别基于全局负载和分层负载,使用贪心算法和空间填充曲线算法实现了多种负载均衡策略,提出了计算节点负载均衡优化,并使用小球绕流算例和DrivAer算例进行测试和比较。根据计算结果可知,基于分层负载策略的性能比基于全局负载策略的性能要好;同时,贪心算法和空间填充曲线算法对比各有优劣,前者有较好的可扩展性,而后者在进程数较少时效率较高;最后,基于分层负载,结合贪心算法和空间填充曲线算法实现了混合算法,在进程数较多时获得了最佳性能。 展开更多

关键词 格子玻尔兹曼方法 负载均衡算法 局部加密网格 并行计算 节点负载均衡

在线阅读 下载PDF 职称材料

广州地铁路网规划与客流预测研究

3

作者 胡华颖 李观华 郭志生 《中山大学学报（自然科学版）》 CAS CSCD 1991年第3期91-95,共5页

在广州地铁规划的实践基础上,本文总结地铁规划的核心程序,建立5个子模型构成的一组地铁客流序列预测模型。

关键词 地铁路网 客流量 序列预测模型

在线阅读 下载PDF 职称材料

中山大学教材计算机管理系统

4

作者 薛春香 《中山大学学报（自然科学版）》 CAS CSCD 1994年第3期134-136,共3页

本管理系统是用数据库管理系统汉字ＤＢＡＳＥⅢ来开发的，系统采用模块结构和菜单驱动方式设计．可完成教材的订购、入库、销售、查询、统计等工作．

关键词 高等教育 教材 计算机 管理系统

在线阅读 下载PDF 职称材料

基于多源域适应的单细胞智能分类

5

作者 魏琢艺 罗迈 +3 位作者 李文兵 曾远松 余伟江 杨跃东 《计算机工程》 CAS CSCD 北大核心 2024年第6期48-55,共8页

单细胞核糖核酸(RNA)测序技术被成功应用于产生人体组织和器官的高分辨率细胞图谱,这加深了研究者们对人类疾病组织中细胞异质性的理解。细胞注释是单细胞RNA测序数据分析中非常关键的一步,许多典型的模型利用一个有标签的单细胞参考数... 单细胞核糖核酸(RNA)测序技术被成功应用于产生人体组织和器官的高分辨率细胞图谱,这加深了研究者们对人类疾病组织中细胞异质性的理解。细胞注释是单细胞RNA测序数据分析中非常关键的一步,许多典型的模型利用一个有标签的单细胞参考数据集去注释目标数据集,但目标数据集中部分细胞类型可能不在参考数据集中。整合多个参考数据集可以更好地覆盖目标数据集中的细胞类型,然而多个参考数据集和目标数据集之间存在因测序技术差异等原因造成的批次效应。为此,提出一种基于多源域适应的单细胞分类模型,利用多个已标注细胞类型的参考数据集分别与未标注细胞类型的目标数据集进行对抗训练,消除了批次效应。采用虚拟对抗训练,进一步提升模型预测结果对数据点周围局部微小扰动或噪声的鲁棒性,防止过拟合。在多个单细胞数据集上的实验结果表明,该模型比目前主流模型的细胞识别精度至少提升了5个百分点,为新测序的单细胞身份鉴定提供了新的选择和参考。 展开更多

关键词 单细胞核糖核酸测序 单细胞分类 多源域适应 对抗训练 深度学习

在线阅读 下载PDF 职称材料

成矿区三维可视化与立体定量预测——以钦-杭成矿带庞西垌地区下园垌铅锌矿区为例 被引量：20

6

作者 高乐 卢宇彤 +1 位作者 虞鹏鹏 肖凡 《岩石学报》 SCIE EI CAS CSCD 北大核心 2017年第3期767-778,共12页

矿产资源是人类生存与社会进步的根本物质保障。近年来,随着地表矿、浅部矿产资源的日益枯竭,采用新技术、新方法的深部矿产资源预测成为地质勘查的主要研究方向。基于数字化、三维可视化及矿产定量预测为主的三维地质建模技术,为当前... 矿产资源是人类生存与社会进步的根本物质保障。近年来,随着地表矿、浅部矿产资源的日益枯竭,采用新技术、新方法的深部矿产资源预测成为地质勘查的主要研究方向。基于数字化、三维可视化及矿产定量预测为主的三维地质建模技术,为当前矿产资源远景预测与找矿工作提供了有力的工具。本文在现代成矿预测理论研究基础上,运用三维地质建模技术建立了钦杭成矿带下园垌矿区地质、地球物理、地球化学、钻孔等三维模型,揭示了区内构造地质特征、地球化学异常表征及地层岩体要素,据此探讨了矿床的成因及矿体分布特征。并在此基础上,采用证据权方法对研究区地质、地球物理、地球化学等多源信息进行融合,运用断裂缓冲区、地球化学异常、东岗岭组沉积岩地层等为证据因子来计算单位体积成矿后验概率,进行立体成矿预测,并圈定出铁锰矿、方铅闪锌矿、铅锌银综合矿等3处找矿有利靶区及估算出预测区内矿产资源储量总量为88710吨。研究结果表明:综合分析地质、地球物理、地球化学及钻孔数据进行矿区的三维地质空间定位、定量预测研究,可以有效的识别矿致异常信息,圈定找矿远景区,为成矿预测研究领域提供了新方向,可以将此方法应用至其他矿山。 展开更多

关键词 三维地质建模 多源数据融合 证据权方法 成矿预测 钦杭成矿带

在线阅读 下载PDF 职称材料

基于多种光谱学分析技术的地质样品宏微观组构特征研究——以钦杭成矿带南段金山银金矿床岩石样品为例 被引量：5

7

作者 高乐 苏志华 +4 位作者 李红中 虞鹏鹏 牛佳 卢宇彤 徐述腾 《光谱学与光谱分析》 SCIE EI CAS CSCD 北大核心 2017年第6期1879-1884,共6页

地质过程的复杂性造就了地质样品宏观和微观特征的不均一性,这些地质样品的不均一特征可以通过光谱学分析技术予以有效的揭示。研究以钦杭成矿带南段金山银金矿床的矿石与围岩样品为例,开展了基于X射线荧光光谱(XRF)和等离子体质谱(ICP-... 地质过程的复杂性造就了地质样品宏观和微观特征的不均一性,这些地质样品的不均一特征可以通过光谱学分析技术予以有效的揭示。研究以钦杭成矿带南段金山银金矿床的矿石与围岩样品为例,开展了基于X射线荧光光谱(XRF)和等离子体质谱(ICP-MS)分析技术的宏观地球化学特征和基于拉曼光谱(Raman)分析的微区特征分析。宏观地球化学分析结果表明,矿石与围岩的主量元素组成差别较大,但稀土元素配分模式和微量元素分布模式基本相似,这反映微量元素和稀土元素在成矿作用过程中表现出了较高的地球化学稳定性。关于石英的拉曼分析结果显示,矿石的石英存在507cm-1附近的峰位,而围岩样品均没有出现,这应该反映了二者结晶过程中具有不同的温度和压力等条件并导致石英结构存在差异,该拉曼位移的存在与否构成了成矿过程相关地质作用的判别标志。矿石与围岩中石英463cm-1附近拉曼位移的半高宽(FWHM)及拟合峰积分强度比对结果显示,矿石样品中石英结晶程度与有序度明显优于围岩样品中石英,这反映了成矿过程中热液活动对石英微观结构的改造。围岩中石英受后期热液影响大,部分成矿物质源于热液从围岩中带出,且成矿流体存在多期性,不同阶段矿物结晶程度不同,从而造成了特征拉曼位移FWHM值的不同。 展开更多

关键词 X射线荧光光谱 等离子体质谱 拉曼光谱 金山银金矿床 钦杭成矿带

在线阅读 下载PDF 职称材料

高维胖树系统中确定性路由容错策略实现 被引量：1

8

作者 徐佳庆 万文 +3 位作者 蔡东京 唐付桥 何杰 张磊 《计算机应用》 CSCD 北大核心 2018年第5期1393-1398,共6页

由于采用高维胖树拓扑结构的高性能计算机系统中叶交换机故障将严重影响系统使用,为了提高系统的可用性和可维性,基于误路由的思想提出了一套适用于高维胖树拓扑的确定性路由容错策略。其基本思路是通过误路由绕过发生故障的叶交换机,... 由于采用高维胖树拓扑结构的高性能计算机系统中叶交换机故障将严重影响系统使用,为了提高系统的可用性和可维性,基于误路由的思想提出了一套适用于高维胖树拓扑的确定性路由容错策略。其基本思路是通过误路由绕过发生故障的叶交换机,跳转至同维中其他叶交换机后,再通过正常路由到达目的节点。该容错策略可在不影响系统使用的情况下,实现故障叶交换机的屏蔽,并在实际的高维胖树系统中进行了容错实验。实验结果表明,该容错策略取得了可快速屏蔽故障叶交换机的预期效果,可以有效地提高系统维护的效率。 展开更多

关键词 高维胖树拓扑 互连故障 路由容错策略 高性能计算 网络维护

在线阅读 下载PDF 职称材料

基于二阶矩稀疏编码的高光谱遥感图像分类 被引量：9

9

作者 徐佳庆 万文 吕启 《计算机科学》 CSCD 北大核心 2018年第9期288-293,共6页

高光谱遥感技术是当前遥感领域的前沿技术,将稀疏编码应用于高光谱遥感图像处理是近年来高光谱信息处理的一个热点研究方向。以提升高光谱遥感图像分类准确度为目标,提出一种基于二阶矩空谱联合稀疏编码的遥感图像分类方法。首先从各地... 高光谱遥感技术是当前遥感领域的前沿技术,将稀疏编码应用于高光谱遥感图像处理是近年来高光谱信息处理的一个热点研究方向。以提升高光谱遥感图像分类准确度为目标,提出一种基于二阶矩空谱联合稀疏编码的遥感图像分类方法。首先从各地物参考数据中选取训练样本,通过学习构造得到字典,然后在训练得到的字典的基础上通过稀疏编码获得每个像元的稀疏系数,之后将稀疏系数作为分类器的输入,通过分类器的分类判决得到最终的分类结果。利用北京市朝阳地区的天宫一号可见近红外高光谱遥感图像数据和KSC高光谱数据,将该方法与支持向量机(SVM)、基于光谱维信息的稀疏编码以及一阶矩空谱联合稀疏编码等方法进行了比较。实验结果表明,提出的分类方法较其他几种方法可以取得更好的分类效果,在天宫一号和KSC数据上的总体分类精度分别可达到95.74%和96.84%,Kappa系数分别可达到0.9476和0.9646。 展开更多

关键词 高光谱遥感图像 分类 稀疏编码

在线阅读 下载PDF 职称材料

骑士巡游问题的解 被引量：1

10

作者 肖金声 《中山大学学报（自然科学版）》 CAS CSCD 1994年第3期15-18,共4页

骑士巡游是个ｎｐ问题，本文再次改进其算法，并提出了两个猜想．

关键词 NP问题 出路数 算法 骑士巡游问题

在线阅读 下载PDF 职称材料

试论对象和对象模型

11

作者 肖金声 阮文江 刘丹青 《中山大学学报（自然科学版）》 CAS CSCD 1995年第4期106-108,共3页

首先讨论面向对象技术的两个基本概念：对象和类，然后提出用于分析、设计和实现软件系统的对象模型。

关键词 对象 对象模型 面向对象 软件开发 对象建模技术

在线阅读 下载PDF 职称材料

基于集成众核的3D蒙特卡罗半导体器件模拟器

12

作者 方民权 张卫民 +3 位作者 张理论 曾琅 刘晓彦 尹龙祥 《计算机工程与科学》 CSCD 北大核心 2015年第4期621-627,共7页

3D蒙特卡罗器件模拟计算量大,计算量随网格与粒子数增加而急剧增加。通过分析3D蒙卡模拟加速热点和进一步可并行性,研究有效电势方法的集成众核并行方案;研究粒子自由飞行、统计模拟信息、计算表面粗糙散射等热点并行方案,最终实现基于C... 3D蒙特卡罗器件模拟计算量大,计算量随网格与粒子数增加而急剧增加。通过分析3D蒙卡模拟加速热点和进一步可并行性,研究有效电势方法的集成众核并行方案;研究粒子自由飞行、统计模拟信息、计算表面粗糙散射等热点并行方案,最终实现基于CPU/MIC的三级并行3D蒙特卡罗器件模拟软件。实验结果显示,三级并行比单级并行获得更好的性能;当提高模拟精度时,相比单级并行,三级并行蒙特卡罗模拟加速比增加。 展开更多

关键词 蒙特卡罗 半导体器件模拟 集成众核 有效电势方法 粒子自由飞行

在线阅读 下载PDF 职称材料

城市公共交通客流量预测序列模型

13

作者 胡华颖 李观华 《中山大学学报（自然科学版）》 CAS CSCD 1989年第3期19-24,共6页

本文通过广州市公交线路调整研究的实践,设计了一套在计算机上实现的简便实用的城市公交客流量预测序列模型。它包括公交出行产生与吸引、公交山行分布和公交线路分配等3个子模型。输入客流调查和线网的有关数据,便得到一系列评价和比... 本文通过广州市公交线路调整研究的实践,设计了一套在计算机上实现的简便实用的城市公交客流量预测序列模型。它包括公交出行产生与吸引、公交山行分布和公交线路分配等3个子模型。输入客流调查和线网的有关数据,便得到一系列评价和比较公交线网布局合理与否的统计指标。 展开更多

关键词 公交客流量 预测 序列模型

在线阅读 下载PDF 职称材料

接近最优的九宫排定算法

14

作者 肖金声 辛小霞 《中山大学学报（自然科学版）》 CAS CSCD 1991年第3期18-25,共8页

本文致力于减少九宫排定算法的环形移动,从而使平均移动次数降到不足35次。算法用Turbo Pascal验证无误。

关键词 九宫排定算法 环形移动 计算机

在线阅读 下载PDF 职称材料

软件开发的分析模型

15

作者 肖金声 陈仲驹 《中山大学学报（自然科学版）》 CAS CSCD 北大核心 1998年第2期105-107,共3页

分析现有一些软件开发方法中的分析模型，并提出和探讨了一种新的分析模型．

关键词 分析模型 面向对象 软件开发

在线阅读 下载PDF 职称材料

软件系统中的主导对象

16

作者 肖金声 《中山大学学报（自然科学版）》 CAS CSCD 北大核心 1997年第1期107-108,共2页

提出软件系统中的一个新概念，用以描述系统的周期模型．

关键词 软件系统 主导对象 周期模型

在线阅读 下载PDF 职称材料

基于Eiffel的软件开发风范

17

作者 阮文江 《计算机工程与应用》 CSCD 北大核心 1994年第7期25-28,共4页

本文以Ｅｉｆｆｅｌ语言为出发点，建立以重用构件为目标的软件开发风范及其相应的开发模型。

关键词 EIFFEL语言 面向对象 软件开发

在线阅读 下载PDF 职称材料

综合统计信息系统的数据处理方法 被引量：2

18

作者 梁广德 《中山大学学报（自然科学版）》 CAS CSCD 1996年第5期113-115,共3页

提出指标取数方法：用户可自主地定义和修改输入／输出数据集的内容和结构，通过定义和修改输出数据与输入数据的关系式，用户无需改动程序就可适应各种输入／输出数据集变化的需要．

关键词 数据处理 程序设计 邮电局 信息系统 综合统计

在线阅读 下载PDF 职称材料

偏最小二乘降维法在粤西层控型铅锌矿床发育区水系沉积物地球化学测量数据分析中的应用 被引量：4

19

作者 高乐 周永章 +3 位作者 王琨 曾志强 卢宇彤 黄勇杰 《大地构造与成矿学》 EI CAS CSCD 北大核心 2020年第2期258-266,共9页

在当今信息时代,以地球科学数据为基础,数据挖掘技术及方法逐渐成为地球科学领域研究的重要方向。本文以粤西丰村–园垌层控型铅锌矿床发育区水系沉积物微量元素测量数据为研究对象,首先对原始数据进行清洗、变换和规约算法等数据处理,... 在当今信息时代,以地球科学数据为基础,数据挖掘技术及方法逐渐成为地球科学领域研究的重要方向。本文以粤西丰村–园垌层控型铅锌矿床发育区水系沉积物微量元素测量数据为研究对象,首先对原始数据进行清洗、变换和规约算法等数据处理,其次应用主成分分析法、聚类分析法及偏最小二乘降维(PLSR)算法挖掘地球化学元素组合异常信息。分析结果表明,基于等距对数比变换的PLSR建模,可以在不损失数据完整性的前提下,充分挖掘元素内部的相关性,并提取组合元素异常。PLSR法与主成分分析和聚类分析的结果对比分析显示,PLSR法提取出的元素组合与研究区铅锌矿床地球化学特征接近,可以充分挖掘地球化学数据的潜在信息,其分析结果与研究区地质条件耦合度高,可以为粤西地区层控型铅锌矿床下一步找矿提供可靠的数据支撑。 展开更多

关键词 地球科学数据 数据挖掘 偏最小二乘降维法 地球化学测量数据

在线阅读 下载PDF 职称材料

面向大规模集群的自动化监控系统 被引量：10

20

作者 杨杰 曾凌波 +2 位作者 彭运勇 蒋迁谦 杜量 《计算机工程与科学》 CSCD 北大核心 2020年第10期1801-1806,共6页

大规模集群系统结点数量越来越多、内部结构越来越复杂,集群可用性、稳定性的压力也越来越大,为了解决大规模集群可用性、稳定性的问题以及系统管理和系统运维难度大的问题,实现了一套大规模集群自动化监控系统。该自动化监控系统部署... 大规模集群系统结点数量越来越多、内部结构越来越复杂,集群可用性、稳定性的压力也越来越大,为了解决大规模集群可用性、稳定性的问题以及系统管理和系统运维难度大的问题,实现了一套大规模集群自动化监控系统。该自动化监控系统部署在大规模集群系统上,通过收集集群各组件的监控数据,利用微服务的方式处理监控数据,实现对集群各组件的实时监控。 展开更多

关键词 大规模 集群 监控 微服务

在线阅读 下载PDF 职称材料