期刊文献+
共找到345篇文章
< 1 2 18 >
每页显示 20 50 100
KD-90普及型个人高性能计算机系统设计与性能优化 被引量:8
1
作者 蔡晔 刘刚 +2 位作者 毛睿 罗秋明 陈国良 《深圳大学学报(理工版)》 EI CAS 北大核心 2013年第2期138-143,共6页
报道中国首台采用自主设计研制的龙芯3B 8核处理器的万亿次高性能计算机系统KD-90.该系统具有高计算密度、低功耗、低成本、低占地的特点,其应用SMP→CC-NUMA→Cluster 3级并行体系结构,采用通用协议与专用协议结合的互连网络硬件设计,... 报道中国首台采用自主设计研制的龙芯3B 8核处理器的万亿次高性能计算机系统KD-90.该系统具有高计算密度、低功耗、低成本、低占地的特点,其应用SMP→CC-NUMA→Cluster 3级并行体系结构,采用通用协议与专用协议结合的互连网络硬件设计,实现了CC-NUMA机群架构关键技术的突破;应用矢量部件加速技术实现了一种通用处理器与向量协处理器相结合的编程模型.结合体系结构特点和操作系统内核对系统性能优化并进行了性能测试和分析. 展开更多
关键词 计算机工程 个人高性能计算机系统 龙芯 并行体系结构 高性能计算
在线阅读 下载PDF
基于计算思维的计算机基础课程改革研究 被引量:18
2
作者 王志强 刘芳芳 《中国大学教学》 CSSCI 北大核心 2013年第6期59-60,36,共3页
计算思维是当前计算机教育界关注的热点之一。本文首先阐述了计算思维内涵及其目前进展,然后从计算思维的角度重新梳理大学计算机基础课程内容,并对算法、数据库和网络技术进行初步剖析,为其他专业领域解决实际问题提供启示和方法参考。
关键词 计算思维 计算机基础课程 算法 数据库 网络
在线阅读 下载PDF
国产个人高性能计算机系统研制 被引量:4
3
作者 陈国良 蔡晔 罗秋明 《深圳大学学报(理工版)》 EI CAS 北大核心 2011年第6期471-477,共7页
指出面向普及型系统的个人高性能计算机(personal high performance computer,PHPC)是高性能计算发展的一个重要方向.对PHPC研究的关键问题进行了分析,系统介绍了国产PHPC的发展历程和最新研制进展.该系列系统的研制经历了从KD-50、KD-5... 指出面向普及型系统的个人高性能计算机(personal high performance computer,PHPC)是高性能计算发展的一个重要方向.对PHPC研究的关键问题进行了分析,系统介绍了国产PHPC的发展历程和最新研制进展.该系列系统的研制经历了从KD-50、KD-50-E到KD-60、SD-1(深大-1)以及KD-90三个阶段,实现了在保持计算峰值能力为万亿次规模的情况下,不断减小体积及系统功耗.最终在KD-90上实现一款真正意义的可移动个人高性能计算系统.该系列系统的显著特点在于计算核心采用国产单核或多核处理器,自主研制高性能硬件体系结构,并利用Linux操作系统以及开源软件等作为支撑软件实现了核心芯片设计、基础硬件以及基础软件等关键技术.给出KD-90面向云计算应用的推广型号SD-30(深大-30)的设计思路. 展开更多
关键词 计算机工程 个人高性能计算机系统 龙芯 并行体系结构 高性能计算 云计算
在线阅读 下载PDF
基于计算机视觉的纺织品色牢度检测 被引量:4
4
作者 朱安民 张艺 李观强 《深圳大学学报(理工版)》 EI CAS CSCD 北大核心 2018年第4期420-425,共6页
利用计算机视觉和图像处理等技术,设计并初步建立了计算机辅助检测纺织品色牢度系统.首先,将采集到的样品图像由RGB图像转换到CIELAB色彩空间,通过调整转换参数、消除图像光照影响及噪声影响来完善系统.然后,建立色差等级评定系统,并以... 利用计算机视觉和图像处理等技术,设计并初步建立了计算机辅助检测纺织品色牢度系统.首先,将采集到的样品图像由RGB图像转换到CIELAB色彩空间,通过调整转换参数、消除图像光照影响及噪声影响来完善系统.然后,建立色差等级评定系统,并以ISO标准比色卡和实际布样为例进行验证.检测结果表明,尽管采用计算机视觉与人工目测法的评级结果存在一定误差,但由测试数据的规律性变化可以推断该系统检测纺织品色牢度的方法基本正确,一定程度上能够用于实际检测,从而节省人力物力,提高测试效率. 展开更多
关键词 计算机视觉 图像处理 色牢度检测 色差等级评定 ISO标准比色卡 人工目测法 纺织品质量控制
在线阅读 下载PDF
计算机体系结构的层次设计:来自易经模型的视角 被引量:3
5
作者 林闯 《电子学报》 EI CAS CSCD 北大核心 2017年第11期2569-2574,共6页
易经是中华民族的宝贵文化遗产,它包含上古时期人们对自然宇宙和人生社会的思想认识、哲学理念和辩证法,代表了先民哲学地认识宇宙模型的思维成果.从易经模型方法来观察计算机体系结构层次设计,对层阴阳性质的分类可以带来层次设计的深... 易经是中华民族的宝贵文化遗产,它包含上古时期人们对自然宇宙和人生社会的思想认识、哲学理念和辩证法,代表了先民哲学地认识宇宙模型的思维成果.从易经模型方法来观察计算机体系结构层次设计,对层阴阳性质的分类可以带来层次设计的深化,可以认识层次设计的本质,为层次设计带来模型体系和学说理念.我们建立了层次对立统一和刚柔相应学说,给出了体系结构层次设计的模型和评价,并且可以促进层次部件之间的协调发展.本文论述了经卦分层连接关系和六爻的层次模型与理念学说,拓展了易经层次模型的发展演化,透过SDN网络层次模型和云计算层次模型的例子阐明了层次设计的模型方法和演化推理.最后,进行了总结,并对下一步的研究进行了简单展望. 展开更多
关键词 计算机体系结构 层次设计 易经 六爻层次 模型
在线阅读 下载PDF
基于特征恶意度排序的恶意软件对抗防御模型 被引量:1
6
作者 徐子荣 郭焱平 闫巧 《信息网络安全》 CSCD 北大核心 2024年第4期640-649,共10页
深度学习模型应用于安卓恶意软件检测可以使检测的准确率不断提升,但对抗样本可以轻易规避深度学习模型的检测,导致深度学习模型的检测能力受到质疑。对于安卓恶意软件的对抗攻击,现阶段多采用对抗训练方法进行防御,文章针对对抗训练在... 深度学习模型应用于安卓恶意软件检测可以使检测的准确率不断提升,但对抗样本可以轻易规避深度学习模型的检测,导致深度学习模型的检测能力受到质疑。对于安卓恶意软件的对抗攻击,现阶段多采用对抗训练方法进行防御,文章针对对抗训练在面对多类型对抗样本时表现较差的问题,提出特征恶意度的概念。特征恶意度通过计算特征的恶意程度对特征进行排序,利用排序后的特征构建一个具有对抗防御能力的恶意软件对抗防御模型FMP(Feature Maliciousness Processing),该模型可以提取待检测软件的高恶意度特征进行检测,避免出现对抗扰动导致的模型错误分类问题。在开源数据集DefenceDroid上,相比于对抗训练方法和其他特征选择方法,FMP模型所采用的特征选择方法有效提高了对各类对抗样本的检测率,在多种对抗样本的攻击下具有较好的鲁棒性。 展开更多
关键词 安卓恶意软件 对抗样本 特征选择 深度学习
在线阅读 下载PDF
基于进化多任务的稀疏大规模多目标优化 被引量:1
7
作者 梁正平 王侃 +2 位作者 周倩 王继刚 朱泽轩 《计算机学报》 北大核心 2025年第2期358-380,共23页
稀疏大规模多目标优化存在稀疏位置探测困难、搜索空间巨大等诸多挑战,现有为数不多的稀疏大规模多目标优化算法在稀疏位置的探测准确率和非零决策变量的优化程度方面尚存在较大提升空间.为进一步提升稀疏大规模多目标优化的性能,本文... 稀疏大规模多目标优化存在稀疏位置探测困难、搜索空间巨大等诸多挑战,现有为数不多的稀疏大规模多目标优化算法在稀疏位置的探测准确率和非零决策变量的优化程度方面尚存在较大提升空间.为进一步提升稀疏大规模多目标优化的性能,本文从辅助任务构建与优化、辅助任务重新初始化、知识迁移等三个方面,提出了基于进化多任务优化的稀疏大规模多目标优化算法(Evolutionary Multi-Task for Sparse Large-scale Multi-objective Op⁃timization,SLMO-EMT).其中,辅助任务构建与优化方面,基于主任务精英解的稀疏分布,采用两种不同的方式对决策变量的搜索空间进行限定,构建分别用于对稀疏位置和非零决策变量进行降维优化的两个辅助任务.辅助任务重新初始化方面,根据辅助任务在历史迭代中的知识迁移效果,对其搜索空间和当前种群进行更新,以使辅助任务可持续促进主任务的进化.知识迁移方面,首先基于轮询方式和各辅助任务的知识迁移概率,挑选用于知识迁移的辅助任务,再基于相似度挑选适合的知识受体,最后在子代生成过程中采用迁移知识引导的局部交叉,借助辅助任务的知识促进主任务的进化.为验证SLMO-EMT的性能,将其与8个先进的稀疏大规模多目标优化算法在1000-10000维的32个基准测试实例,以及8个应用测试实例上进行对比,实验结果表明SLMO-EMT对于稀疏大规模多目标优化问题的求解具有明显的竞争优势.SLMO-EMT的源代码已在Github上公开:https://github.com/CIA-SZU/WK. 展开更多
关键词 稀疏大规模多目标优化 进化多任务 辅助任务 知识迁移
在线阅读 下载PDF
基于多视图表示学习的语义感知异质图注意力网络
8
作者 王静红 吴芝冰 +1 位作者 王熙照 李昊康 《计算机科学》 北大核心 2025年第6期167-178,共12页
近年来,图神经网络因能够高效处理异质图中的复杂结构和丰富语义信息而受到了广泛的关注。学习异质图的低维节点嵌入,同时为节点分类、节点聚类等下游任务保留异质结构和语义,是一个关键且具有挑战性的问题。现有研究主要基于元路径来... 近年来,图神经网络因能够高效处理异质图中的复杂结构和丰富语义信息而受到了广泛的关注。学习异质图的低维节点嵌入,同时为节点分类、节点聚类等下游任务保留异质结构和语义,是一个关键且具有挑战性的问题。现有研究主要基于元路径来设计模型,但这种方法至少存在两方面的局限性:1)合适元路径的选择通常需要专家知识或额外的标注信息;2)该方法限制了模型按预定义的模式学习,从而难以充分捕获网络的复杂性。针对这些问题,提出了一种多视图和语义感知的异质图注意力网络(Multi-view and Semantic-aware Heterogeneous Graph Attention Network,MS-HGANN)。该网络无需人工设计元路径,即可融合节点和关系中的丰富语义信息。MS-HGANN主要包括3个部分:特征映射、二阶特定视图自我图融合和语义感知。特征映射将特征映射到统一的节点特征空间;二阶特定视图自我图融合设计了特定关系的编码器和节点注意力学习节点在局部结构上的表示;语义感知设计了两种相互协调的注意力机制来评估节点和关系的重要性,从而得到最终的节点表示。在3个公开数据集上进行实验,结果表明,所提模型在节点分类和聚类任务上达到了先进水平。 展开更多
关键词 图神经网络 异质图 图表示学习 异质图嵌入 异质网络
在线阅读 下载PDF
风险最小化加权朴素贝叶斯分类器 被引量:1
9
作者 欧桂良 何玉林 +2 位作者 张曼静 黄哲学 Philippe Fournier-Viger 《计算机科学》 北大核心 2025年第3期137-151,共15页
朴素贝叶斯分类器被誉为机器学习领域的十大经典算法之一,其以完备的理论基础和简单的模型结构而闻名,在许多的实际应用中取得了良好的分类效果。然而条件属性独立性假设在一定程度上限制了朴素贝叶斯分类器的性能,因此大量的改进工作... 朴素贝叶斯分类器被誉为机器学习领域的十大经典算法之一,其以完备的理论基础和简单的模型结构而闻名,在许多的实际应用中取得了良好的分类效果。然而条件属性独立性假设在一定程度上限制了朴素贝叶斯分类器的性能,因此大量的改进工作被提出来缓解这一问题,加权朴素贝叶斯分类器便是其中之一。在对边缘概率权重作用深入分析的基础之上,文中提出了一种基于风险最小化的加权朴素贝叶斯分类器(Risk Minimization-Based Weighted Naive Bayesian Classifier,RM-WNBC),即在权重确定的过程中同时考虑分类器的经验风险和权重的结构风险。不同于现有的过分关注朴素贝叶斯分类器外在泛化性能的改进策略,RM-WNBC是从朴素贝叶斯分类器的内在概率分布出发改善其泛化性能。经验风险度量了加权朴素贝叶斯分类器的分类能力,采用后验概率的估计质量表示;结构风险刻画了加权朴素贝叶斯分类器对属性相关性的处理,采用类条件概率的均方差表示。经验风险最小化保证了RM-WNBC可以获得良好的训练精度,同时结构风险最小化又使得RM-WNBC能够取得最佳的属性相关表达能力。为了获得RM-WNBC的最优权重,推导了高效且收敛的权重更新策略来保证结构风险和经验风险的最小化。在31个UCI和KEEL标准分类数据集上对RM-WNBC的可行性、合理性和有效性进行了验证。实验结果表明:1)RM-WNBC的训练和测试精度随着边缘概率权重的不断更新逐渐增加直至收敛;2)RM-WNBC具有比现有加权朴素贝叶斯分类器更好的属性相关性表达能力;3)在给定的显著性水平下,RM-WNBC在31个数据集上能够获得比经典朴素贝叶斯分类器、3种贝叶斯网络、4种加权朴素贝叶斯分类器和1种特征选择朴素贝叶斯分类器更好的训练和测试表现。 展开更多
关键词 朴素贝叶斯 独立性假设 加权朴素贝叶斯 结构风险 经验风险 贝叶斯网络
在线阅读 下载PDF
基于2D特征蒸馏的3D高斯泼溅语义分割与编辑 被引量:1
10
作者 刘高屹 胡瑞珍 刘利刚 《图学学报》 北大核心 2025年第2期312-321,共10页
三维场景的语义理解是人类感知世界的基本方式之一。一些语义任务,如开放词汇分割和语义编辑,是计算机视觉和计算机图形学的重要研究领域。由于缺乏大型、多样化的三维开放词汇分割数据集,直接训练一个稳健、可泛化的模型并非易事。为此... 三维场景的语义理解是人类感知世界的基本方式之一。一些语义任务,如开放词汇分割和语义编辑,是计算机视觉和计算机图形学的重要研究领域。由于缺乏大型、多样化的三维开放词汇分割数据集,直接训练一个稳健、可泛化的模型并非易事。为此,提出了基于2D特征蒸馏的3D高斯泼溅,这是一种将SAM和CLIP大模型的语义嵌入蒸馏到3D高斯的方法。对于每个场景,通过SAM和CLIP获取逐像素语义特征,然后使用3D高斯可微分渲染进行训练,以获得特定场景的语义特征场。在语义分割任务中,为获得场景中每个对象的精确分割边界,设计了一种多步骤的分割掩码选择策略,无需繁琐的分层特征提取和训练过程,即可得到新视角图像精确的开放词汇语义分割。利用显式的3D高斯场景表示,有效实现了文本与三维对象间的对应,从而进行语义编辑。实验表明,该方法与所比较方法相比,在语义分割任务中获得相当或更好的定性和定量结果,同时通过三维高斯语义特征场实现了开放词汇语义编辑。 展开更多
关键词 三维场景 3D高斯泼溅 语义分割 特征场 开放词汇的语义编辑
在线阅读 下载PDF
面向工业动态取送货问题的分解多目标进化算法
11
作者 蔡俊创 朱庆灵 +2 位作者 林秋镇 李坚强 明仲 《计算机科学》 北大核心 2025年第1期331-344,共14页
由于工业动态取送货问题具有垛口、时间窗、容量、后进先出装载等多种约束,现有的车辆路径算法大多只优化一个加权目标函数,在求解过程中难以保持解的多样性,所以容易陷入局部最优区域而停止收敛。针对上述问题,提出了一种融合高效局部... 由于工业动态取送货问题具有垛口、时间窗、容量、后进先出装载等多种约束,现有的车辆路径算法大多只优化一个加权目标函数,在求解过程中难以保持解的多样性,所以容易陷入局部最优区域而停止收敛。针对上述问题,提出了一种融合高效局部搜索策略的分解多目标进化算法。首先,该算法将工业动态取送货问题建模成多目标优化问题,进一步将其分解为多个子问题并同时进行求解。然后,利用交叉操作增强解的多样性,再使用局部搜索加快收敛速度。因此,该算法在求解该多目标优化问题时能够更好地平衡解的多样性和收敛性。最后,从种群中选择一个最好的解来完成当前时段的取送货任务。基于64个华为公司实际测试问题的仿真结果表明,该算法在求解工业动态取送货问题上的性能表现最优;同时,在20个京东物流大规模配送问题上的实验也验证了该算法良好的泛化性。 展开更多
关键词 动态取送货问题 分解方法 多目标进化算法 局部搜索 组合优化
在线阅读 下载PDF
高性能计算及其相关新兴技术 被引量:14
12
作者 陈国良 毛睿 蔡晔 《深圳大学学报(理工版)》 EI CAS CSCD 北大核心 2015年第1期25-31,共7页
回顾高性能计算的发展历史,评述网格计算、云计算及其与高性能计算之间的关系,阐释新兴技术大数据和物联网,比较大数据、云计算与高性能计算的性能并分析其彼此间的关系.介绍代表国际高性能计算领域发展趋势的普适高性能计算以及作者在... 回顾高性能计算的发展历史,评述网格计算、云计算及其与高性能计算之间的关系,阐释新兴技术大数据和物联网,比较大数据、云计算与高性能计算的性能并分析其彼此间的关系.介绍代表国际高性能计算领域发展趋势的普适高性能计算以及作者在普及型高性能计算机研制方面的最新进展.指出高性能计算存在的一些难题,以及研制千万亿次以上的高性能计算机所面临的挑战. 展开更多
关键词 计算机工程 高性能计算 网格计算 云计算 大数据 物联网
在线阅读 下载PDF
基于时空注意力的多粒度链路预测算法
13
作者 何玉林 赖俊龙 +2 位作者 崔来中 尹剑飞 黄哲学 《软件学报》 北大核心 2025年第9期4311-4326,共16页
社交网络链路预测有助于揭示网络节点之间的潜在联系,在好友推荐、合作预测等方面有着重要的实际应用价值.然而,现有的链路预测方法忽略了社交网络时间序列的中、长期发展趋势,且没有从长期的角度考虑网络中节点之间的相互影响关系.针... 社交网络链路预测有助于揭示网络节点之间的潜在联系,在好友推荐、合作预测等方面有着重要的实际应用价值.然而,现有的链路预测方法忽略了社交网络时间序列的中、长期发展趋势,且没有从长期的角度考虑网络中节点之间的相互影响关系.针对以上问题,提出基于时空注意力的多粒度链路预测算法,该算法能够融合不同粒度社交网络时间序列的时空特征以提升链路预测的准确性.首先,以时间衰减函数构建社交网络快照图的权重,提出图加权移动平均策略,生成反映短期、中期和长期趋势的不同粒度社交网络时间序列;然后,利用基于多头注意力机制的神经网络提取社交网络序列的全局时间特征;接着,结合社交网络序列内节点的历史交互信息,通过基于掩码注意力机制的神经网络从长期角度自适应地构建网络拓扑结构,以动态地调整节点之间的相互影响,并结合图卷积网络建模空间信息;最后,提出融合注意力神经网络,从短期、中期和长期时空特征中提取出有用的短期、中期和长期信息,并进行特征融合,准确地预测未来社交网络的链接.在4种社交网络公开数据集上与7种现有的链路预测算法的实验对比证实所提方法的有效性和优越性. 展开更多
关键词 社交网络 链路预测 多粒度 注意力机制 图卷积网络
在线阅读 下载PDF
基于最大均值差异的子空间高斯混合模型聚类集成算法
14
作者 何玉林 李旭 +2 位作者 贺颖婷 崔来中 黄哲学 《计算机应用》 北大核心 2025年第6期1712-1723,共12页
针对高斯混合模型(GMM)聚类算法在处理大规模高维数据聚类时出现的性能受限和参数敏感的问题,提出一种基于最大均值差异(MMD)的子空间GMM聚类集成(SGMM-CE)算法。首先,对原始大规模高维数据集进行随机样本划分(RSP)以得到多个数据子集,... 针对高斯混合模型(GMM)聚类算法在处理大规模高维数据聚类时出现的性能受限和参数敏感的问题,提出一种基于最大均值差异(MMD)的子空间GMM聚类集成(SGMM-CE)算法。首先,对原始大规模高维数据集进行随机样本划分(RSP)以得到多个数据子集,从样本量的角度缩小聚类问题的规模;其次,根据特征对最优GMM构件数的影响,在每一个数据子集对应的高维特征空间中进行子空间学习,得到每个高维特征空间对应的多个低维特征子空间,并在各个子空间上进行GMM聚类,从而得到一系列异构的GMM;再次,利用所提出的平均共享隶属概率(ASAP),重标记与融合来自同一个数据子集的不同特征子空间上的聚类结果;最后,利用扩展的子空间MMD(SubMMD)作为不同数据子集的聚类结果中2个簇之间的分布一致性的度量准则,据此重标记并融合这些数据子集的聚类结果,进而得到原始数据集的最终聚类集成结果。通过详尽的实验验证SGMM-CE算法的有效性,实验结果显示,相较于对比算法中最好的元簇聚类算法(MCLA),SGMM-CE算法在选用的数据集上的平均标准化互信息(NMI)、聚类精度(CA)和调整兰德系数(ARI)值分别提升了19%,20%和52%。此外,可行性和合理性的实验结果证实了SGMM-CE算法的参数收敛性与时间高效性,表明该算法具备高效处理大规模高维数据聚类问题的能力。 展开更多
关键词 无监督学习 集成学习 子空间学习 最大均值差异 高斯混合模型
在线阅读 下载PDF
脉冲神经网络基准测试及类脑训练框架性能评估
15
作者 胡汪鑫 成英超 +2 位作者 何玉林 黄哲学 蔡占川 《应用科学学报》 北大核心 2025年第1期169-182,共14页
随着脉冲神经网络(spiking neural network,SNN)研究需求的不断增长,开源类脑训练框架也迅速发展。然而,目前缺乏针对这些框架的系统性选择指南。为了解决该问题,提出了一种基于图像分类任务的SNN基准测试方法。本文为两种SNN训练方法,... 随着脉冲神经网络(spiking neural network,SNN)研究需求的不断增长,开源类脑训练框架也迅速发展。然而,目前缺乏针对这些框架的系统性选择指南。为了解决该问题,提出了一种基于图像分类任务的SNN基准测试方法。本文为两种SNN训练方法,即直接替代梯度反向传播训练方法以及从人工神经网络(artificial neural network,ANN)到SNN的转换训练方法分别设计了卷积神经网络和全连接深度神经网络模型,并使用MNIST、FashionMNIST和CIFAR-10基准图像数据集,以训练时间和分类准确率为评估指标,比较了不同类脑训练框架的性能差异。研究结果表明,在SNN直接训练中,类脑训练框架SpikingJelly在训练时间和分类准确率方面均表现优异;而在ANN到SNN的转换训练中,Lava框架实现了最高的分类准确率。 展开更多
关键词 深度学习 脉冲神经网络 类脑训练框架 基准测试 图像分类
在线阅读 下载PDF
软件克隆检测技术研究 被引量:2
16
作者 梁正平 程一群 +1 位作者 谭佳加 马骁驰 《计算机应用研究》 CSCD 北大核心 2012年第5期1623-1627,共5页
软件克隆检测在软件维护、软件结构优化等方面具有重要价值和意义。综述了软件克隆的定义与分类,对软件克隆的检测过程进行了划分和讨论,介绍了软件克隆检测领域最为活跃的代码克隆检测技术和模型克隆检测技术。最后对软件克隆检测的研... 软件克隆检测在软件维护、软件结构优化等方面具有重要价值和意义。综述了软件克隆的定义与分类,对软件克隆的检测过程进行了划分和讨论,介绍了软件克隆检测领域最为活跃的代码克隆检测技术和模型克隆检测技术。最后对软件克隆检测的研究现状和急需解决的问题进行了分析,展望了该领域未来的研究方向。 展开更多
关键词 软件克隆 克隆检测 代码克隆 模型克隆
在线阅读 下载PDF
并发式Spark消息分发器
17
作者 何玉林 林泽杰 +2 位作者 徐毓阳 成英超 黄哲学 《深圳大学学报(理工版)》 北大核心 2025年第3期317-325,I0012,I0013,共11页
在大数据计算框架Spark中,驱动器采用迭代式消息分发机制,会增加任务提交的时间开销,影响任务执行的启动时间,限制了任务执行的并发性,导致多个执行器处于空闲等待状态,造成计算资源的浪费.使用线程池调度策略,构建一种高效且轻量级的... 在大数据计算框架Spark中,驱动器采用迭代式消息分发机制,会增加任务提交的时间开销,影响任务执行的启动时间,限制了任务执行的并发性,导致多个执行器处于空闲等待状态,造成计算资源的浪费.使用线程池调度策略,构建一种高效且轻量级的并发式Spark消息分发器.与迭代式Spark消息分发器不同,并发式消息分发器更加关注且更适合调度开销较大的细粒度任务作业,通过解析包含执行器重要信息的元数据,获取任务列表及各个任务对应的执行器标识,创建线程池并为每个任务启动异步计算,从而实现并发式任务分发,在保证系统稳定和任务顺利执行的前提下,最大程度地减少任务分发的时间开销.在虚拟机构建的仿真集群环境上,通过与迭代式消息分发器进行对比,证实了并发式消息分发器的良好效果.实验结果表明,在内存保持不变的前提下,并发式Spark消息分发器可减少约9%的任务执行时间,同时能提高约5%的中央处理器的利用率.并发式Spark消息分发器有效解决了迭代式消息分发机制针对细粒度任务分发的时间开销过大和计算资源浪费的问题. 展开更多
关键词 并行处理 大数据计算 Spark通信机制 消息分发 细粒度任务 线程池调度
在线阅读 下载PDF
针对模相近数据的启发式核密度估计器
18
作者 何玉林 陈纯佳 +2 位作者 黄哲学 李俊杰 FOURNIER-VIGER Philippe 《数据采集与处理》 北大核心 2025年第3期711-729,共19页
区别于经典的基于Parzen窗口法的概率密度函数估计器构建策略,提出了基于近邻误差度量函数的启发式核密度估计器(Heuristic kernel density estimator,HKDE),用以提升对模相近数据概率密度函数拟合的准确性。首次从数据不确定性和模型... 区别于经典的基于Parzen窗口法的概率密度函数估计器构建策略,提出了基于近邻误差度量函数的启发式核密度估计器(Heuristic kernel density estimator,HKDE),用以提升对模相近数据概率密度函数拟合的准确性。首次从数据不确定性和模型不确定性的角度分析了传统核密度估计器解决模相近数据概率密度函数估计问题时的缺陷:利用概率密度值对于直方图箱宽参数的收敛性确定观测数据的启发式概率密度值,降低数据概率密度值计算的不确定性;基于启发式概率密度值构建用于确定核密度估计器最优带宽的目标函数,降低最优带宽优化过程中的不确定性。在18个模相近数据集上对新估计器HKDE的可行性、合理性和有效性进行了系统性的验证。实验结果表明,与7种具有代表性的概率密度函数估计器相比,HKDE能够获得更加优异的概率分布近似表现,具有比其他估计器更低的估计误差,能够确定出更接近真实值的概率密度函数估计值。 展开更多
关键词 核密度估计器 模相近观察值 不确定性 启发式概率密度值 直方图箱宽
在线阅读 下载PDF
基于节点抽样的分布式二阶段聚类方法
19
作者 张曼静 何玉林 +1 位作者 李旭 黄哲学 《计算机科学》 北大核心 2025年第2期134-144,共11页
针对大数据聚类中存在的计算资源消耗大、聚类效率低的问题,提出了一种新的基于节点抽样的分布式二阶段聚类方法。该方法首先在各个本地节点对节点上的数据执行局部聚类操作,并基于局部聚类结果,从每个节点中抽取代表性的数据样本,然后... 针对大数据聚类中存在的计算资源消耗大、聚类效率低的问题,提出了一种新的基于节点抽样的分布式二阶段聚类方法。该方法首先在各个本地节点对节点上的数据执行局部聚类操作,并基于局部聚类结果,从每个节点中抽取代表性的数据样本,然后将各节点选定的样本数据传输至中央节点。之后,在中央节点上,对合并的样本数据进行进一步的聚类分析,并将样本聚类的结果传回各个本地节点。最后,各本地节点结合自身的局部聚类结果和中央节点的样本聚类结果,完成最终的聚类标签统一。通过以上流程,所提方法实现了对集中式聚类算法的分布式改造,能够快速一致地完成对全局数据的聚类分析。理论分析和数值实验均表明,与传统的全量数据集中式聚类方法相比,二阶段聚类方法有效地结合了并行处理的高效性和集成分析的准确性,在保证聚类质量的前提下能够显著降低计算资源的消耗,是一种可行的大数据聚类分布式解决方案。 展开更多
关键词 大数据聚类 分布式计算 节点抽样 并行计算 二阶段聚类
在线阅读 下载PDF
求解多模概率分布Gamma混合模型的半EM算法
20
作者 陈佳琪 何玉林 +1 位作者 成英超 黄哲学 《计算机应用》 北大核心 2025年第7期2153-2161,共9页
期望最大化(EM)算法在混合模型参数估计中发挥着重要作用,然而现有的EM算法在求解Gamma混合模型(GaMM)参数时存在局限性,主要体现在因近似计算导致的低质量参数估计,以及由于大量数值计算造成的计算效率低下问题。为了克服这些局限,并... 期望最大化(EM)算法在混合模型参数估计中发挥着重要作用,然而现有的EM算法在求解Gamma混合模型(GaMM)参数时存在局限性,主要体现在因近似计算导致的低质量参数估计,以及由于大量数值计算造成的计算效率低下问题。为了克服这些局限,并充分利用数据的多模性质,提出一种半EM(Semi-EM)算法求解用于估计多模概率分布的GaMM。首先,通过聚类探测数据的空间分布特性,以初始化GaMM参数,进而更准确地刻画数据的多模性;其次,在EM算法框架的基础上,对于缺乏封闭更新表达式而导致的参数更新困难问题,采用自定义的启发式策略对GaMM形状参数进行更新,使它们朝着最大化对数似然值的方向逐步调整,同时以封闭形式更新其他参数。经过一系列具有说服力的实验,验证了Semi-EM算法的可行性、合理性和有效性。实验结果表明,Semi-EM算法在精确估计多模概率分布方面优于对比的4种算法,具有更低的误差指标以及更高的对数似然值,表明该算法能提供更准确的模型参数估计,从而更精确地刻画数据的多模性质。 展开更多
关键词 多模概率密度函数 Gamma混合模型 期望最大化算法 聚类 对数似然函数
在线阅读 下载PDF
上一页 1 2 18 下一页 到第
使用帮助 返回顶部