Learned Index和B-Tree在不同分布数据上的性能对比及优化

1

作者 沈怡琪 蔡鹏 刘松灵 《计算机应用》 CSCD 北大核心 2023年第S01期100-106,共7页

Learned Index是一种通过训练模型来建立输入数据和存储位置之间映射关系的索引,它能学习到数据间分布的信息,而不同的数据分布将影响模型训练准确率和模型复杂度之间的平衡。为了探索Learned Index适用的场景,使用不同分布、不同数据... Learned Index是一种通过训练模型来建立输入数据和存储位置之间映射关系的索引,它能学习到数据间分布的信息,而不同的数据分布将影响模型训练准确率和模型复杂度之间的平衡。为了探索Learned Index适用的场景,使用不同分布、不同数据量的数据对它和加以优化的可更新的自适应学习索引(ALEX)进行性能测试,并与B-Tree进行对比,最终发现Learned Index构建大批量数据的索引时间比B-Tree短,读操作性能、存储空间大小有明显的优势,但写操作性能较差,因此得出Learned Index更适用于大数据情景下的在线分析处理(OLAP)数据库,用于静态数据的存储和查询操作的结论。基于B-Tree的索引结构,对初版Learned Index的结构进行了优化和调整,最终使优化后Learned Index在大批量数据的读写操作性能上有明显提高,其中读操作最高达到原版Learned Index的2倍,写操作最高达到原版的3倍。 展开更多

关键词 learned Index B-tree 可更新的自适应学习索引 在线分析处理数据库 静态数据 优化调整

在线阅读 下载PDF 职称材料

考虑空间异质性的降雨滑坡易发性预测研究

2

作者 张幸福 姜元俊 阿比尔的 《工程科学与技术》 北大核心 2025年第4期12-28,共17页

现有滑坡易发性预测方法未能充分考虑地形、土壤和植被等环境因素的空间异质性,也无法准确反映极端降雨对滑坡易发性的影响。为了克服这些限制,引入了一种结合深度嵌入聚类(DEC)的动态雨量阈值分区方法,通过深度学习技术,根据环境因素... 现有滑坡易发性预测方法未能充分考虑地形、土壤和植被等环境因素的空间异质性,也无法准确反映极端降雨对滑坡易发性的影响。为了克服这些限制,引入了一种结合深度嵌入聚类(DEC)的动态雨量阈值分区方法,通过深度学习技术,根据环境因素将研究区域划分为具有相似特征的子区域,实现了滑坡预测模型的精细化空间异质性分析;在此基础上,提出基于混合分布的动态雨量阈值模型以区分非极端降雨与极端降雨,并采用贝叶斯方法动态更新模型参数,提高了模型对不同降雨类型的适应性和预测的时效性。以通江县为案例,采用多任务学习自适应神经树模型(MLANT),结合深度嵌入DEC模型与混合分布阈值模型,对滑坡易发性进行预测。结果表明,本文方法在精确度、F1分数及受试者工作特征曲线下面积AUC值等关键性能指标上显著优于传统依赖统一阈值的模型。特别是与传统的基于前期有效降雨量方法相比,预测效果提升显著,预测滑坡密度和数量由0.038事件/km^(2)和44个滑坡事件提升至0.044事件/km^(2)和59个滑坡事件,充分证实了在滑坡易发性预测中使用深度嵌入聚类(DEC)的动态雨量阈值分区考虑空间异质性和区分不同降雨事件的重要性和有效性。 展开更多

关键词 滑坡易发性 深度嵌入聚类(DEC) 空间异质性 混合分布降雨阈值 多任务学习自适应神经树模型

在线阅读 下载PDF 职称材料

基于TrAdaBoost-GBDT模型的排土场边坡稳定状态判别 被引量：1

3

作者 江松 李涛 +3 位作者 李锦源 李研博 张存良 张立杰 《中国安全科学学报》 CAS CSCD 北大核心 2024年第11期89-98,共10页

针对露天矿排土场失稳数据获取困难,样本数据量少等问题,提出基于迁移学习算法的露天矿排土场边坡稳定状态判别模型;结合陕西省F露天矿排土场边坡的实际地质条件和降雨情况,设计降雨条件下排土场不同土石混合比边坡的相似模拟试验方案,... 针对露天矿排土场失稳数据获取困难,样本数据量少等问题,提出基于迁移学习算法的露天矿排土场边坡稳定状态判别模型;结合陕西省F露天矿排土场边坡的实际地质条件和降雨情况,设计降雨条件下排土场不同土石混合比边坡的相似模拟试验方案,并采集和处理试验中边坡模型的含水率、土压力和孔隙水压力数据;考虑到小样本数据集对梯度提升回归树(GBDT)模型分类精度的影响,运用迁移学习思想,利用迁移自适应增强算法(TrAdaBoost)对源域数据集和目标域数据集样本权重进行迭代更新,以GBDT模型作为数据样本训练的弱学习器,最终根据弱学习器的分类结果,通过加权多数表决法生成一种基于迁移学习的TrAdaBoost-GBDT排土场边坡稳定状性判别模型,以提高小样本数据标签类别的判别准确率。结果表明:相对其他算法模型,提出的排土场边坡稳定状态判别模型在稳定状态判别上有更好的表现,准确率、精准率、召回率和曲线下面积值(AUC)分别达到93.3%、87.5%、100%和93.8%,能够作为边坡稳定状态判别的分类器。该模型相对其他算法模型可以提高小样本数据集的边坡稳定状态判别的准确性,弥补机器学习对小样本数据集分类结果精度较低的不足。 展开更多

关键词 排土场边坡 稳定状态判别 迁移自适应增强梯度提升回归树(TrAdaBoost-GBDT) 迁移学习 小样本

在线阅读 下载PDF 职称材料

基于集成学习的交通事故严重程度预测研究与应用 被引量：12

4

作者 单永航 张希 +2 位作者 胡川 丁涛军 姚远 《计算机工程》 CAS CSCD 北大核心 2024年第2期33-42,共10页

目前自动驾驶技术重点是关注如何主动避免碰撞,然而在面对其他交通参与者入侵而导致不可避免的碰撞事故场景时,预测车辆在不同行驶模式下的碰撞严重程度来降低事故严重程度的研究却很少。为此,提出一种双层Stacking事故严重程度预测模... 目前自动驾驶技术重点是关注如何主动避免碰撞,然而在面对其他交通参与者入侵而导致不可避免的碰撞事故场景时,预测车辆在不同行驶模式下的碰撞严重程度来降低事故严重程度的研究却很少。为此,提出一种双层Stacking事故严重程度预测模型。基于真实交通事故数据集NASS-CDS完成训练,模型输入为车辆传感器可感知得到的事故相关特征,输出为车内乘员最高受伤级别。在第1层中,通过实验对不同学习器组合进行训练,最终综合考虑预测性能以及耗时挑选K近邻、自适应提升树、极度梯度提升树作为基学习器;在第2层中,为降低过拟合,采用逻辑回归作为元学习器。实验结果表明,该方法准确率达到85.01%,在精确率、召回率和F1值方面优于其他个体模型和集成模型,该预测结果可作为智能车辆决策规划模块先验信息,帮助车辆做出正确的决策,减缓事故损害。最后阐述了模型在L_(2)辅助驾驶与L_(4)自动驾驶车辆中的应用,在常规车辆安全防护的基础上进一步提升车辆的安全性。 展开更多

关键词 交通安全 交通事故严重程度预测 智能车辆 集成学习 K近邻 自适应提升树 极度梯度提升树 逻辑回归

在线阅读 下载PDF 职称材料

基于自适应全局定位算法的带钢表面缺陷检测

5

作者 王延舒 余建波 《自动化学报》 EI CAS CSCD 北大核心 2024年第8期1550-1564,共15页

针对热轧带钢表面缺陷检测存在的智能化水平低、检测精度低和检测速度慢等问题,提出了一种基于自适应全局定位网络(Adaptive global localization network,AGLNet)的深度学习缺陷检测算法.首先,引入一种残差网络(Residual network,ResN... 针对热轧带钢表面缺陷检测存在的智能化水平低、检测精度低和检测速度慢等问题,提出了一种基于自适应全局定位网络(Adaptive global localization network,AGLNet)的深度学习缺陷检测算法.首先,引入一种残差网络(Residual network,ResNet)与特征金字塔网络(Feature pyramid network,FPN)集成的特征提取结构,减少缺陷语义信息在层级传递间的消失;其次,提出基于TPE(Tree-structure Parzen estimation)的自适应树型候选框提取网络(Adaptive treestructure region proposal extraction network,AT-RPN),无需先验知识的积累,避免了人为调参的训练模式;最后,引入全局定位回归算法,以全局定位的模式在复杂的缺陷检测中实现缺陷更精确定位.本文实现一种快速、准确、更智能化、更适用于实际应用的热轧带钢表面缺陷的算法.实验结果表明,AGLNet在NEU-DET热轧带钢表面缺陷数据集上的检测速度保持在11.8帧/s,平均精度达到79.90%,优于目前其他深度学习带钢表面缺陷检测算法.另外,该算法还具备较强的泛化能力. 展开更多

关键词 表面缺陷检测 深度学习 特征金字塔网络 自适应树型候选框提取 全局定位

在线阅读 下载PDF 职称材料

基于概率的自适应学习预测策略 被引量：2

6

作者 何可佳 《计算机工程》 CAS CSCD 北大核心 2010年第10期215-217,220,共4页

动态电源管理技术降低系统功耗的主要办法是根据工作负载的变化动态地切换目标设备工作模式。针对自适应学习树模型的缺陷,提出基于概率的自适应学习预测策略,通过概率描述设备行为,能够提高预测正确率,从而达到系统功耗与性能之间的优... 动态电源管理技术降低系统功耗的主要办法是根据工作负载的变化动态地切换目标设备工作模式。针对自适应学习树模型的缺陷,提出基于概率的自适应学习预测策略,通过概率描述设备行为,能够提高预测正确率,从而达到系统功耗与性能之间的优化平衡。基于概率的自适应学习预测策略是一种集预测、控制、反馈为一体的预测策略。实验结果表明,该预测策略具有较好的稳定性,与其他预测策略相比可以进一步降低系统的功耗。 展开更多

关键词 动态电源管理 预测 自适应学习树 基于概率的自适应学习

在线阅读 下载PDF 职称材料

基于模仿学习的决策树码率自适应算法研究 被引量：2

7

作者 王博 张远 杨咏蓓 《计算机工程》 CAS CSCD 北大核心 2023年第5期206-214,共9页

码率自适应(ABR)算法是提升流媒体服务质量的有效方法,主要分为启发式算法和基于学习的算法两类。传统的启发式算法基于固定的规则,难以应对多变的网络环境,基于深度强化学习的算法映射表达能力较好,但其鲁棒性不佳且可解释性较差。针... 码率自适应(ABR)算法是提升流媒体服务质量的有效方法,主要分为启发式算法和基于学习的算法两类。传统的启发式算法基于固定的规则,难以应对多变的网络环境,基于深度强化学习的算法映射表达能力较好,但其鲁棒性不佳且可解释性较差。针对上述问题,提出一种基于模仿学习的决策树码率自适应算法ABRTree。针对帧级别直播传输系统设计有效的专家ABR算法,并对专家算法的时序经验数据进行离散化处理。采用分类回归树作为码率决策的基础模型,基于专家算法给出的示例数据,采用DAgger算法进行决策树的训练。在此基础上,通过剪枝操作剔除出现较少的样本,从而提升决策树模型的泛化性。实验结果表明,ABRTree在多种视频场景下均能保证画面质量,同时取得较低的端到端延时和较少的卡顿,相比BBA、HYSA和FrameMPC算法,ABRTree算法的QoE性能可以提升1.0%~29.1%,且决策树模型能够直观表达输入特征与码率决策之间的关系,具有较好的可解释性和映射表达能力。 展开更多

关键词 HTTP自适应流媒体 码率自适应算法 决策树 模仿学习 流媒体直播

在线阅读 下载PDF 职称材料

基于GAN-AdaBoost-DT不平衡分类算法的信用卡欺诈分类 被引量：24

8

作者 莫赞 盖彦蓉 樊冠龙 《计算机应用》 CSCD 北大核心 2019年第2期618-622,共5页

针对传统单个分类器在不平衡数据上分类效果有限的问题,基于对抗生成网络(GAN)和集成学习方法,提出一种新的针对二类不平衡数据集的分类方法——对抗生成网络-自适应增强-决策树(GAN-AdaBoost-DT)算法。首先,利用GAN训练得到生成模型,... 针对传统单个分类器在不平衡数据上分类效果有限的问题,基于对抗生成网络(GAN)和集成学习方法,提出一种新的针对二类不平衡数据集的分类方法——对抗生成网络-自适应增强-决策树(GAN-AdaBoost-DT)算法。首先,利用GAN训练得到生成模型,生成模型生成少数类样本,降低数据的不平衡性;其次,将生成的少数类样本代入自适应增强(AdaBoost)模型框架,更改权重,改进AdaBoost模型,提升以决策树(DT)为基分类器的AdaBoost模型的分类性能。使用受测者工作特征曲线下面积(AUC)作为分类评价指标,在信用卡诈骗数据集上的实验分析表明,该算法与合成少数类样本集成学习相比,准确率提高了4. 5%,受测者工作特征曲线下面积提高了6. 5%;对比改进的合成少数类样本集成学习,准确率提高了4. 9%,AUC值提高了5. 9%;对比随机欠采样集成学习,准确率提高了4. 5%,受测者工作特征曲线下面积提高了5. 4%。在UCI和KEEL的其他数据集上的实验结果表明,该算法在不平衡二分类问题上能提高总体的准确率,优化分类器性能。 展开更多

关键词 对抗生成网络 集成学习 不平衡分类 二分类 自适应增强 决策树 信用卡欺诈

在线阅读 下载PDF 职称材料

基于深度域适应CNN决策树的跨语料库情感识别 被引量：2

9

作者 孙林慧 赵敏 王舜 《数据采集与处理》 CSCD 北大核心 2023年第3期704-716,共13页

在跨语料库语音情感识别中,由于目标域和源域样本不匹配,导致情感识别性能很差。为了提高跨语料库语音情感识别性能,本文提出一种基于深度域适应和卷积神经网络(Convolutional neural network,CNN)决策树模型的跨语料库语音情感识别方... 在跨语料库语音情感识别中,由于目标域和源域样本不匹配,导致情感识别性能很差。为了提高跨语料库语音情感识别性能,本文提出一种基于深度域适应和卷积神经网络(Convolutional neural network,CNN)决策树模型的跨语料库语音情感识别方法。首先构建基于联合约束深度域适应的局部特征迁移学习网络,通过最小化目标域和源域在特征空间和希尔伯特空间的联合差异,挖掘两个语料库之间的相关性,学习从目标域到源域的可迁移不变特征。然后,为了降低跨语料库背景下多种情感间的易混淆情感的分类误差,依据情感混淆度构建CNN决策树多级分类模型,对多种情感先粗分类再细分类。使用CASIA,EMO-DB和RAVDESS三个语料库进行验证。实验结果表明,本文的跨语料库语音情感识别方法比CNN基线方法平均识别率高19.32%~31.08%,系统性能得到很大提升。 展开更多

关键词 跨语料库语音情感识别 深度域适应 迁移学习 决策树模型 卷积神经网络

在线阅读 下载PDF 职称材料

改进自适应学习树电源管理预测策略 被引量：1

10

作者 李伟生 王冬 《计算机工程与设计》 CSCD 北大核心 2013年第1期136-139,共4页

为了降低嵌入式设备的功耗,研究了基于自适应学习树结构模型的动态电源管理预测策略。通过在基于概率自适应学习树结构模型的基础上添加空闲时间长度结点,提出了概率统计加权空闲时间的改进自适应学习树电源管理预测策略,以空闲时间长... 为了降低嵌入式设备的功耗,研究了基于自适应学习树结构模型的动态电源管理预测策略。通过在基于概率自适应学习树结构模型的基础上添加空闲时间长度结点,提出了概率统计加权空闲时间的改进自适应学习树电源管理预测策略,以空闲时间长度作为预测依据,同时采用实际状态历史概率统计的结果进行预测空闲时间长度的更新。仿真结果表明,该方法可以有效地降低设备功耗,并且提高了预测准确率。 展开更多

关键词 动态电源管理 预测策略 概率统计 空闲时间 自适应学习树

在线阅读 下载PDF 职称材料

融合信息增益与基尼指数的决策树算法 被引量：19

11

作者 谢鑫 张贤勇 杨霁琳 《计算机工程与应用》 CSCD 北大核心 2022年第10期139-144,共6页

机器学习中的决策树算法具有重要的数据分类功能,但基于信息增益的ID3算法与基于基尼指数的CART算法的分类功效还值得提高。构造信息增益与基尼指数的自适应集成度量,设计有效的决策树算法,以提升ID3与CART两类基本算法的性能。分析信... 机器学习中的决策树算法具有重要的数据分类功能,但基于信息增益的ID3算法与基于基尼指数的CART算法的分类功效还值得提高。构造信息增益与基尼指数的自适应集成度量,设计有效的决策树算法,以提升ID3与CART两类基本算法的性能。分析信息增益信息表示与基尼指数代数表示的异质无关性,采用基于知识的加权线性组合来建立信息增益与基尼指数的融合度量,开发决策树启发构造算法IGGI。关于决策树,IGGI算法有效改进了ID3算法与CART算法,相关数据实验表明IGGI算法通常具有更优的分类准确度。 展开更多

关键词 决策树 信息增益 基尼指数 不确定性度量 自适应线性融合 机器学习

在线阅读 下载PDF 职称材料

多层梯度提升树在药品鉴别中的应用 被引量：4

12

作者 杜师帅 邱天 +5 位作者 李灵巧 胡锦泉 郑安兵 冯艳春 胡昌勤 杨辉华 《计算机科学与探索》 CSCD 北大核心 2020年第2期260-273,共14页

近红外光谱分析技术高效应用于药品分析领域。针对高维非线性的小规模近红外数据,传统的药品鉴别算法存在特征学习能力不足的缺陷,基于神经网络的方法有局部最优及过拟合等问题,且两者易忽略样本的不均衡性。针对以上劣势,提出一种基于... 近红外光谱分析技术高效应用于药品分析领域。针对高维非线性的小规模近红外数据,传统的药品鉴别算法存在特征学习能力不足的缺陷,基于神经网络的方法有局部最优及过拟合等问题,且两者易忽略样本的不均衡性。针对以上劣势,提出一种基于特征选择与代价敏感学习的多层梯度提升树(CS_FGBDT)药品分类方法。首先采用Savitsky-Golay平滑和一阶导数对原始数据进行预处理;其次利用随机森林对预处理光谱自适应提取特征,并由多层梯度提升树进行特征映射;然后结合代价敏感学习机制将样本不均衡性的负效应降到最小。实验结果表明,在胶囊和药片两种不平衡数据集上对算法进行对比评估,该模型具有更高的预测精度和稳定性,是一种有效的药品鉴别方法。 展开更多

关键词 近红外光谱分析 自适应特征选择 多层梯度提升决策树 代价敏感学习

在线阅读 下载PDF 职称材料

格上基于身份的广播加密方案 被引量：1

13

作者 黄文真 杨晓元 +1 位作者 王绪安 吴立强 《计算机应用》 CSCD 北大核心 2016年第4期956-961,共6页

针对Wang等(WANG J,BI J.Lattice-based identity-based broadcast encryption.https://eprint.iacr.org/2010/288.pdf.)在随机预言机下提出的格基广播加密方案安全性较低且实用性较差的问题,利用盆景树扩展控制算法和一次签名算法构造... 针对Wang等(WANG J,BI J.Lattice-based identity-based broadcast encryption.https://eprint.iacr.org/2010/288.pdf.)在随机预言机下提出的格基广播加密方案安全性较低且实用性较差的问题,利用盆景树扩展控制算法和一次签名算法构造了一个标准模型下基于格上错误学习(LWE)问题的身份基广播加密方案。首先利用一个编码函数替换随机预言机,将方案置于标准模型下;然后运行盆景树扩展控制算法生成用户的私钥和广播公钥;最后在加密阶段加入一次签名算法,提高方案的安全性。分析表明,相对于已有同类方案,新方案安全性较高达到了适应性攻击下选择密文安全(IND-ID-CCA)且方案具有动态扩展特性,能够通过用户身份矩阵的伸缩来实现用户的添加或删除,因此实用性较强。 展开更多

关键词 身份基广播加密 错误学习 盆景树扩展控制算法 一次签名算法 适应性攻击下选择密文安全

在线阅读 下载PDF 职称材料

面向系统动态可靠性的自适应目标代码生成方法

14

作者 徐超 葛红美 何炎祥 《计算机应用研究》 CSCD 北大核心 2018年第2期493-496,共4页

嵌入式系统工作在体积受限的封闭环境中,运算部件、存储单元等相关元器件体积小,集成度高,不同工作环境、不同使用频度对电子元器件的可靠性将产生重要影响。针对嵌入式系统工作过程中的动态可靠性,提出了面向系统动态可靠性的自适应目... 嵌入式系统工作在体积受限的封闭环境中,运算部件、存储单元等相关元器件体积小,集成度高,不同工作环境、不同使用频度对电子元器件的可靠性将产生重要影响。针对嵌入式系统工作过程中的动态可靠性,提出了面向系统动态可靠性的自适应目标代码生成方法。该方法借助于决策树学习算法,构建了系统可靠性评估模型;并以此为指导,设计了多路径目标代码生成方法,使得系统能够根据实际工作状态信息,自适应地执行最佳的路径,以避免系统资源使用的不均衡,提高各运算部件的可靠性。实验表明,该方法将程序对单个处理器最高使用率由80%以上降到了30%以内,将内存单元最大最小访问比例由157.3降到了15.4,有效均衡了各处理器核和内存单元的使用。 展开更多

关键词 动态可靠性 决策树学习 多路径 代码生成 自适应

在线阅读 下载PDF 职称材料