期刊文献+
共找到577篇文章
< 1 2 29 >
每页显示 20 50 100
MapReduce编程模型下的约束频繁模式挖掘算法 被引量:2
1
作者 闫晓妩 张继福 +1 位作者 荀亚玲 赵旭俊 《小型微型计算机系统》 CSCD 北大核心 2015年第10期2257-2261,共5页
约束频繁模式是利用用户给定的约束条件,生成的一种频繁模式,具有针对性强、挖掘效率高等特点.随着数据量的增大,约束频繁模式生成过程存在着占用内存大和I/O代价高等问题,难以适用于海量高维数据集.采用MapReduce编程模型,给出一种约... 约束频繁模式是利用用户给定的约束条件,生成的一种频繁模式,具有针对性强、挖掘效率高等特点.随着数据量的增大,约束频繁模式生成过程存在着占用内存大和I/O代价高等问题,难以适用于海量高维数据集.采用MapReduce编程模型,给出一种约束频繁模式并行挖掘MCFP算法.该算法首先,采用三对Map和Reduce函数实现了将数据中事务映射为频繁项计数、构建约束频繁模式树和生成约束频繁模式,以及频繁模式聚合等主要步骤;其次,根据频繁项支持度,迁移数据记录,有效地实现了频繁模式生成过程中的负载均衡;最后,采用天体光谱数据,实验验证了该算法的有效性、可伸缩性和可扩展性. 展开更多
关键词 约束频繁模式 Mapreduce编程模型 CFP—Tree 支持度 负载均衡
在线阅读 下载PDF
MapReduce并行编程模型研究综述 被引量:189
2
作者 李建江 崔健 +2 位作者 王聃 严林 黄义双 《电子学报》 EI CAS CSCD 北大核心 2011年第11期2635-2642,共8页
MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成... MapReduce并行编程模型通过定义良好的接口和运行时支持库,能够自动并行执行大规模计算任务,隐藏底层实现细节,降低并行编程的难度.本文对MapReduce的国内外相关研究现状进行了综述,阐述和分析了当前国内外与MapReduce相关的典型研究成果的特点和不足,重点对MapReduce涉及的关键技术(包括:模型改进、模型针对不同平台的实现、任务调度、负载均衡和容错)的研究现状进行了深入的分析.本文最后还对MapReduce未来的发展趋势进行了展望. 展开更多
关键词 MAPreduce 并行编程模型 运行时支持库 海量数据处理
在线阅读 下载PDF
MapReduce:新型的分布式并行计算编程模型 被引量:113
3
作者 李成华 张新访 +1 位作者 金海 向文 《计算机工程与科学》 CSCD 北大核心 2011年第3期129-135,共7页
MapReduce是Google提出的分布式并行计算编程模型,用于大规模数据的并行处理。Ma-pReduce模型受函数式编程语言的启发,将大规模数据处理作业拆分成若干个可独立运行的Map任务,分配到不同的机器上去执行,生成某种格式的中间文件,再由若干... MapReduce是Google提出的分布式并行计算编程模型,用于大规模数据的并行处理。Ma-pReduce模型受函数式编程语言的启发,将大规模数据处理作业拆分成若干个可独立运行的Map任务,分配到不同的机器上去执行,生成某种格式的中间文件,再由若干个Reduce任务合并这些中间文件获得最后的输出文件。用户在使用MapReduce模型进行大规模数据处理时,可以将主要精力放在如何编写Map和Reduce函数上,其它并行计算中的复杂问题诸如分布式文件系统、工作调度、容错、机器间通信等都交给MapReduce系统处理,在很大程度上降低了整个编程难度。MapReduce日益成为云计算平台的主流编程模型。Apache Hadoop项目提供开源的MapReduce系统还有待进一步完善。 展开更多
关键词 MAPreduce 并行计算编程模型 云计算
在线阅读 下载PDF
MapReduce并行编程模型研究综述 被引量:24
4
作者 杜江 张铮 +1 位作者 张杰鑫 邰铭 《计算机科学》 CSCD 北大核心 2015年第S1期537-541 564,564,共6页
MapReduce并行编程模型的出现简化了并行编程的复杂度。通过调用方便的接口和运行时支持库,MapReduce并行编程模型可令大规模并行计算任务自动并发地执行而不必关心底层的具体实现细节,从而令MapReduce并行编程模型在大规模中低性能集... MapReduce并行编程模型的出现简化了并行编程的复杂度。通过调用方便的接口和运行时支持库,MapReduce并行编程模型可令大规模并行计算任务自动并发地执行而不必关心底层的具体实现细节,从而令MapReduce并行编程模型在大规模中低性能集群中发挥出色的计算能力,且可节约成本。对国内外关于MapReduce并行编程模型的研究现状进行了综述,分析了目前国内外相关研究成果的优缺点,并对MapReduce并行编程模型的未来发展进行了展望。 展开更多
关键词 MAPreduce 并行编程模型 并行计算 海量数据处理
在线阅读 下载PDF
基于MapReduce的Hadoop大表导入编程模型 被引量:13
5
作者 陈吉荣 乐嘉锦 《计算机应用》 CSCD 北大核心 2013年第9期2486-2489,2561,共5页
针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长... 针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长度(等于步长),从而保证每个mapper的导入工作量完全相同。该模型的map方式是:进入map函数的键值对中的键是一个split所对应的SQL语句,将查询放在map函数中完成,从而使得模型中的每个mapper只调用一次map函数。对比实验表明:两个记录数相同的大表,无论其记录区间如何分布,其导入时间基本相同,或者对同一表分别用不同的分割字段,导入时间也完全相同;而对于同一个大表,模型的导入效率比Sqoop有显著提高。 展开更多
关键词 编程模型 HADOOP MAPreduce HADOOP分布式文件系统 Sqoop
在线阅读 下载PDF
SIMD-to-RVV动态二进制翻译中的跨架构编程模型适配优化
6
作者 赖远明 李亚龙 +3 位作者 胡瀚之 谢梦瑶 王喆 武成岗 《计算机研究与发展》 北大核心 2025年第6期1469-1491,共23页
RISC-V因其开源和模块化设计等特性,已在嵌入式领域取得显著成功,并逐步向高性能计算(HPC)领域拓展.面向HPC的RISC-V硬件(如Sophon SG2042多核处理器)已展现出与x86/ARM同类型产品相当的性能水平,但不完善的软件生态是阻碍其发展的最大... RISC-V因其开源和模块化设计等特性,已在嵌入式领域取得显著成功,并逐步向高性能计算(HPC)领域拓展.面向HPC的RISC-V硬件(如Sophon SG2042多核处理器)已展现出与x86/ARM同类型产品相当的性能水平,但不完善的软件生态是阻碍其发展的最大障碍之一.开发了面向RISC-V的进程级动态二进制翻译(DBT)器RVBT,用于将成熟的x86软件生态移植到RISC-V平台,加速RISC-V在HPC领域的应用进程.针对HPC程序广泛依赖SIMD指令的特性,聚焦于解决SIMD与RVV间显著的编程模型差异导致的翻译性能瓶颈问题,提出了3项创新的优化方案.x86SIMD将数据类型硬编码于操作码,而RVV需动态配置vtype和掩码寄存器,这导致直接翻译产生了大量冗余操作,严重拉低了翻译运行的效率.通过充分利用程序数据类型的局部性,优化方案可删除跨架构适配编程模型导致的冗余设置,混合使用浮点扩展和向量扩展翻译SIMD指令并按需同步数据,大幅提升了SIMD指令的翻译运行效率.3项优化方案具备通用性,也适用于ARM平台的SIMD到RVV的翻译.实验表明,以SPECCPU2006作为测试集,优化方案对csrr,vsetvl,vsetvli指令的平均动态消除率分别达到了100%,100%和56.31%,在浮点测试集上,掩码设置操作的平均动态消除率达到了74.66%,数据的平均动态同步率为67.35%.优化后的RVBT在整点和浮点测试集上的平均运行效率达到了本地执行的47.39%和40.06%,相比优化前的加速比分别为1.21和8.31,并远超QEMU18.84%和4.81%,展现出了应用于部分HPC场景的潜力. 展开更多
关键词 二进制翻译 RISC-V向量扩展 x86SIMD 跨架构编程模型适配 浮点计算 冗余设置消除 混合翻译
在线阅读 下载PDF
基于Kano模型的儿童编程App用户需求分析及界面交互设计 被引量:1
7
作者 陈柏君 《包装工程》 北大核心 2025年第4期237-249,共13页
目的解决小学生编程教育App易用性缺乏及用户体验欠佳的问题,系统性研究小学生、小学家长与小学教师三大用户群体对编程教育App的使用需求,提出强化编程教育App使用效能的界面交互设计策略。方法基于用户旅程图与数字化教育理论LM-GM模... 目的解决小学生编程教育App易用性缺乏及用户体验欠佳的问题,系统性研究小学生、小学家长与小学教师三大用户群体对编程教育App的使用需求,提出强化编程教育App使用效能的界面交互设计策略。方法基于用户旅程图与数字化教育理论LM-GM模型,输出编程教育App的初始功能清单。根据Kano模型分析法,创建双因素李克特量表,针对小学生、小学家长与小学教师进行调研,计算三大用户群体对各项产品功能的SI与DSI指数,形成Better-Worse四象限模型图。结果界定编程教育App的必备属性5项、期望属性8项与魅力属性12项,基于情感化设计理论研发编程教育App Wan-naBone1与WannaBone2,兼顾三大用户群体需求,涵盖40个教学任务、13个界面模块,并呈现2种界面设计模式,融合AIGC与智能教育技术,凸显多模态感官刺激、可视化编程交互与驱动式激励机制。结论基于Kano模型分析法进行编程教育App设计研究,可深入洞察目标用户群体的多维心理需求,实现用户体验良好的界面交互设计,为小学人工智能教育提供创新设计思路与实践指导。 展开更多
关键词 编程教育App KANO模型 情感化设计 用户需求分析 界面交互设计
在线阅读 下载PDF
集成AI大语言模型的在线编程实验平台设计与实现 被引量:6
8
作者 厉旭杰 顾雨辰 姚持恩 《实验技术与管理》 CAS 北大核心 2024年第8期215-221,共7页
传统在线编程实验平台受限于反馈信息的局限性、忽视代码风格及规范性、代码的可读性、代码的效率等多种因素,不利于学生的学习和发展。该文设计并实现了一个集成AI大语言模型的在线编程实验平台方案,该方案在传统平台基础上,引入了大... 传统在线编程实验平台受限于反馈信息的局限性、忽视代码风格及规范性、代码的可读性、代码的效率等多种因素,不利于学生的学习和发展。该文设计并实现了一个集成AI大语言模型的在线编程实验平台方案,该方案在传统平台基础上,引入了大语言模型的实时代码建议、程序安全扫描和判题结果分析优化功能。通过AI大语言模型的实时分析、诊断和优化建议,大大提高了教学效果,增强了学生与系统的互动,能够使学生更好的理解编程概念并提升解决问题的能力。该研究证实了AI模型在编程教育中的价值,并为人工智能在高等教育技术的应用提供了新的视角和策略。 展开更多
关键词 大语言模型 编程实验平台 程序设计 人工智能
在线阅读 下载PDF
基于Hadoop的MapReduce模型的研究与改进 被引量:36
9
作者 李玉林 董晶 《计算机工程与设计》 CSCD 北大核心 2012年第8期3110-3116,共7页
针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通... 针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致。仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间。 展开更多
关键词 MAPreduce模型 HADOOP 数据倾斜 云计算 并行编程
在线阅读 下载PDF
基于Dynamo的Revit-Midas/Civil斜拉桥模型信息转换 被引量:2
10
作者 蔡金标 刘鸾翔 +2 位作者 冯倩 何欣 徐荣桥 《湖南大学学报(自然科学版)》 北大核心 2025年第1期132-138,共7页
BIM模型不支持有限元计算,且BIM模型与有限元分析模型数据交互困难,故BIM技术正向设计过程中存在建模效率低、模型修改困难等问题,无法做到BIM结构设计与有限元力学分析一体化,增加了结构模型建模与纠错成本.本文依托Revit和Midas/Civi... BIM模型不支持有限元计算,且BIM模型与有限元分析模型数据交互困难,故BIM技术正向设计过程中存在建模效率低、模型修改困难等问题,无法做到BIM结构设计与有限元力学分析一体化,增加了结构模型建模与纠错成本.本文依托Revit和Midas/Civil软件平台,在Dynamo环境下采用IronPython语言设计了一套Revit-Midas/Civil的模型信息转换程序.以博士大桥主桥为对象,通过程序自动实现:1)Revit模型桥梁构件分解、截面特性计算、拉索及梁塔弹性连接处理,并转换成适用于Midas/Civil的语言格式MCT文件,实现了Revit向Midas/Civil模型信息自动转换;2)将有限元计算结果反馈到Revit模型中,对作用效应信息按数值大小赋予渐变颜色,实现了在BIM模型中显示有限元分析结果的展示功能.本文程序可实现Revit-Midas/Civil模型信息转换,有效提高了BIM正向应用效率,弥补了BIM技术在桥梁结构分析方面的不足. 展开更多
关键词 斜拉桥 模型转换 Dynamo混合编程 REVIT MIDAS/CIVIL
在线阅读 下载PDF
基于MapReduce的最小二乘支持向量机回归模型 被引量:4
11
作者 代亮 许宏科 +2 位作者 陈婷 钱超 梁殿鹏 《计算机应用研究》 CSCD 北大核心 2015年第4期1060-1064,共5页
针对最小二乘支持向量机处理大规模数据集耗时长且受内存限制的特点,将局部多模型方法与MapReduce编程模式相结合,提出一种并行最小二乘支持向量机回归模型。模型由两组MapReduce过程组成,首先按照输入样本集对样本数据进行聚类操作,再... 针对最小二乘支持向量机处理大规模数据集耗时长且受内存限制的特点,将局部多模型方法与MapReduce编程模式相结合,提出一种并行最小二乘支持向量机回归模型。模型由两组MapReduce过程组成,首先按照输入样本集对样本数据进行聚类操作,再对聚类后得到的子类按输出样本集进行二次聚类操作,分别得到局部模型数目和各局部模型综合加权输出计算结果。实验结果表明,并行最小二乘支持向量机回归模型具有较好的加速比和可扩展性。 展开更多
关键词 最小二乘支持向量机 Mapreduce编程模式 局部多模型方法 加速比 可扩展性
在线阅读 下载PDF
基于高频组合片段-基因表达式编程算法的轨道交通地面沉降预测模型
12
作者 胡珉 卢孟栋 《城市轨道交通研究》 北大核心 2024年第8期206-210,共5页
[目的]地面沉降预测和控制是轨道交通盾构法隧道施工中最为关注的问题之一。为了解决现有地面沉降预测和控制中存在的模型表达过于复杂且缺乏解释性的问题,需要一种既简洁清晰,又能够描述复杂问题的可解释模型,GEP(基因表达式编程)算法... [目的]地面沉降预测和控制是轨道交通盾构法隧道施工中最为关注的问题之一。为了解决现有地面沉降预测和控制中存在的模型表达过于复杂且缺乏解释性的问题,需要一种既简洁清晰,又能够描述复杂问题的可解释模型,GEP(基因表达式编程)算法提供了这种可能性,因此需对基于HFS(高频组合片段)-GEP算法的轨道交通地面沉降预测模型进行深入研究。[方法]以杭绍城际铁路某区段盾构隧道工程为依托,选取盾构施工过程中的土舱压力、刀盘扭矩、刀盘转速、推进速度、总推力、隧道埋深及盾尾注浆量等参数作为关键输入型施工参数,地面沉降作为输出型施工参数,通过备选公式集筛选以及HFS选取,建立基于HFS-GEP算法的轨道交通地面沉降预测模型。利用该模型对第180环—第210环区段的关键施工参数进行优化调整,分析盾构施工参数变化对地面最终沉降的影响效果。[结果及结论]基于HFS-GEP算法的地面沉降预测模型可以反映盾构施工参数与地面最终沉降的显式关系;相较于传统GEP算法的地面沉降预测模型,该模型准确度更高,结构更为简洁,且收敛速度更快。通过对盾构关键施工参数进行优化调整,该模型可将第180环—第210环区段的最终沉降量控制在10 mm以内。 展开更多
关键词 轨道交通 地面沉降预测模型 高频组合片段 基因表达式编程算法
在线阅读 下载PDF
动态在线Map/Reduce流数据处理模型及作业拓扑管理协议
13
作者 魏晓辉 李翔 +2 位作者 李洪亮 李聪 庄园 《吉林大学学报(理学版)》 CAS CSCD 北大核心 2015年第5期950-955,共6页
针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程... 针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程,即拓扑管理协议.SPATE系统解决了在线Map/Reduce流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性,拓扑管理协议能有效管理Flexible workflow流数据处理模型. 展开更多
关键词 流数据处理 FLEXIBLE workflow模型 MAP/reduce 拓扑管理
在线阅读 下载PDF
一种基于MapReduce的短时交通流预测方法 被引量:11
14
作者 梁轲 谭建军 李英远 《计算机工程》 CAS CSCD 北大核心 2015年第1期174-179,共6页
非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K... 非参数回归方法是短时交通流预测常用的方法,但现有非参数回归方法存在预测速度与精度之间的矛盾。为此,提出一种适用于海量历史数据、基于Map Reduce与遗传算法的非参数回归短时交通流预测方法。通过引入Map Reduce并行计算框架,加快K最近邻算法的搜索速度。在数据预处理阶段利用遗传算法优化关键参数的设置,并采用Map Reduce加速参数优化过程,以解决遗传算法迭代运算时间长的问题。实验结果表明,该方法在保证交通流预测精度的前提下,明显提高了预测速度,并且具有较好的可伸缩性。 展开更多
关键词 交通流预测 非参数回归 K最近邻搜索 遗传算法 Map reduce编程模型 并行计算
在线阅读 下载PDF
胰腺癌临床前肿瘤模型的建立与应用进展
15
作者 杜昶玮 刘悦泽 +1 位作者 曹喆 张太平 《临床肝胆病杂志》 北大核心 2025年第4期605-610,共6页
本文阐述了用于胰腺癌临床前肿瘤研究的各类模型的特点及应用进展,分析并探讨了人源性组织异种移植、条件重编程、患者来源的类器官等模型的历史发展、研究现状和优缺点,并在此基础上梳理了从临床前模型实现临床转化的研究,指出未来可... 本文阐述了用于胰腺癌临床前肿瘤研究的各类模型的特点及应用进展,分析并探讨了人源性组织异种移植、条件重编程、患者来源的类器官等模型的历史发展、研究现状和优缺点,并在此基础上梳理了从临床前模型实现临床转化的研究,指出未来可能的研究前景。 展开更多
关键词 胰腺肿瘤 模型 生物学 人源性组织异种移植 条件重编程 类器官
在线阅读 下载PDF
基于MapReduce的数据挖掘平台设计与实现 被引量:46
16
作者 黄斌 许舒人 蒲卫 《计算机工程与设计》 CSCD 北大核心 2013年第2期495-501,共7页
MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理。然而,MapReduce欠缺对多数据源、组件复用以及数据可视化支持,这些缺点使用户在运用MapReduce框架进行数据挖掘时暴露出开发效率低下,重复开发等问题。提出了一种... MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理。然而,MapReduce欠缺对多数据源、组件复用以及数据可视化支持,这些缺点使用户在运用MapReduce框架进行数据挖掘时暴露出开发效率低下,重复开发等问题。提出了一种基于MapReduce的数据挖掘平台的设计与实现,该设计思想为Hadoop作为大规模数据计算平台在数据挖掘、数据可视化以及商业智能应用方面的不足提供了参考与弥补。同时,基于该方法实现了一个大规模数据挖掘工具。 展开更多
关键词 Mapreduce编程模型 数据挖掘 HADOOP平台 模型驱动 可视化
在线阅读 下载PDF
基于领域编程模型的可信区块链自动化协议
17
作者 刘少杰 赵鸿伯 刘浛 《应用科学学报》 CAS CSCD 北大核心 2024年第4期569-584,共16页
区块链自动化技术有效解决了区块链无法自动执行智能合约程序的困境,拓展了区块链的应用场景。然而,现有的自动化方案往往任务定义复杂、任务执行缺少可证明性且无法支持链下数据,从而存在使用门槛高和可信性低等问题。针对上述问题,提... 区块链自动化技术有效解决了区块链无法自动执行智能合约程序的困境,拓展了区块链的应用场景。然而,现有的自动化方案往往任务定义复杂、任务执行缺少可证明性且无法支持链下数据,从而存在使用门槛高和可信性低等问题。针对上述问题,提出了一种区块链任务自动化可信协议Specy Network。该协议首先通过结合领域编程模型与可信执行环境,设计了应用于区块链自动化场景的领域专用语言,实现了条件检查的可证明性,且在提高任务检查可靠性的同时降低了定义的复杂度。其次对区块链自动化业务中的角色交互和任务生命周期进行优化,提高了协议实施的稳定性。最后对所提出的协议进行了开发与实现,以具体案例验证了方案的可行性。 展开更多
关键词 区块链自动化 可信执行环境 领域编程模型 智能合约
在线阅读 下载PDF
基于MapReduce的微博用户搜索排名算法 被引量:12
18
作者 梁秋实 吴一雷 封磊 《计算机应用》 CSCD 北大核心 2012年第11期2989-2993,共5页
在微博搜索领域,单纯依赖于粉丝数量的搜索排名使刷粉行为有了可乘之机,通过将用户看作网页,将用户间的"关注"关系看作网页间的链接关系,使PageRank关于网页等级的基本思想融入到微博用户搜索,并引入一个状态转移矩阵和一个... 在微博搜索领域,单纯依赖于粉丝数量的搜索排名使刷粉行为有了可乘之机,通过将用户看作网页,将用户间的"关注"关系看作网页间的链接关系,使PageRank关于网页等级的基本思想融入到微博用户搜索,并引入一个状态转移矩阵和一个自动迭代的MapReduce工作流将计算过程并行化,进而提出一种基于MapReduce的微博用户搜索排名算法。在Hadoop平台上对该算法进行了实验分析,结果表明,该算法避免了用户排名单纯与其粉丝数量相关,使那些更具"重要性"的用户在搜索结果中的排名获得提升,提高了搜索结果的相关性和质量。 展开更多
关键词 微博搜索 云计算 Mapreduce编程模型 Hadoop平台/系统 PAGERANK算法
在线阅读 下载PDF
基于大语言模型的网络流量智能预测
19
作者 周磊 石怀峰 +2 位作者 杨恺 王睿 刘超凡 《计算机科学》 北大核心 2025年第S1期29-35,共7页
随着5G基站数量的倍增和接入终端数量的剧增,网络流量的规模将呈现指数级增长,网络流量则呈现出显著的非线性、多模态和突发性特征,对网络资源分配和优化提出了新的挑战。为应对这些挑战,提出了一种基于大语言模型(LLM)的网络流量预测方... 随着5G基站数量的倍增和接入终端数量的剧增,网络流量的规模将呈现指数级增长,网络流量则呈现出显著的非线性、多模态和突发性特征,对网络资源分配和优化提出了新的挑战。为应对这些挑战,提出了一种基于大语言模型(LLM)的网络流量预测方法(NT-LLM)。该方法通过重编程技术,将传统的网络流量数据转换为适合LLM处理的形式,从而充分利用LLM在跨任务推理和复杂模式识别方面的优势,仅需少量训练数据和较短训练周期,就能够高效处理不同时间尺度的复杂网络流量模式。实验结果表明,与LSTM,Informer,Transformer等基线模型相比,NT-LLM模型在多个区域的网络流量预测均方误差显著下降,分别降低了44.26%,56.78%和51.36%。此外,该方法无需对预训练的语言模型进行大规模微调,具有较强的扩展性和适应性,能够在减少计算资源消耗的同时保持高精度的预测能力。 展开更多
关键词 网络流量预测 大语言模型 编程 时间序列数据 深度学习
在线阅读 下载PDF
基于MapReduce的分布式网络数据聚类算法 被引量:9
20
作者 陈东明 刘健 +1 位作者 王冬琦 徐晓伟 《计算机工程》 CAS CSCD 2013年第7期76-82,共7页
时空复杂度较高以及物理机器内存不足,会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题,在MapReduce分布式模型的基础上,提出一种网络数据分布式聚类算法。根据MRC理论设计有限MapReduce轮数,控制混洗过程所需时间,利... 时空复杂度较高以及物理机器内存不足,会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题,在MapReduce分布式模型的基础上,提出一种网络数据分布式聚类算法。根据MRC理论设计有限MapReduce轮数,控制混洗过程所需时间,利用Map内合并技术对网络流量进行控制,在进行中间结果合并时仅对社团合并,而不考虑社团内部节点,以控制内存开销。使用模拟生成的数据在集群中进行实验,结果表明,当数据规模和集群规模增大时,该算法具有较好的加速比和扩展性。 展开更多
关键词 聚类算法 分布式聚类 Mapreduce编程模型 数据挖掘 社团结构
在线阅读 下载PDF
上一页 1 2 29 下一页 到第
使用帮助 返回顶部