期刊文献+
共找到26篇文章
< 1 2 >
每页显示 20 50 100
基于分布式环境的图神经网络模型训练效率与训练性能评估
1
作者 涂银川 郭勇 +3 位作者 毛恒 任怡 张建锋 李宝 《计算机应用》 北大核心 2025年第8期2409-2420,共12页
随着图数据规模的快速增长,图神经网络(GNN)在处理大规模图结构数据时面临计算和存储方面的挑战。传统的单机训练方法已不足以应对日益庞大的数据集和复杂的GNN模型,分布式训练凭借并行计算能力和可扩展性,成为解决这些问题的有效途径... 随着图数据规模的快速增长,图神经网络(GNN)在处理大规模图结构数据时面临计算和存储方面的挑战。传统的单机训练方法已不足以应对日益庞大的数据集和复杂的GNN模型,分布式训练凭借并行计算能力和可扩展性,成为解决这些问题的有效途径。然而,一方面,已有的分布式GNN训练评估主要关注以模型精度为代表的性能指标和以训练时间为代表的效率指标,而较少关注数据处理效率和计算资源利用方面的指标;另一方面,算法效率评估的主要场景为单机单卡或单机多卡,而已有的评估方法在分布式环境中的应用相对简单。针对这些不足,提出针对分布式场景的模型训练的评估方法,涵盖评估指标、数据集和模型这3个方面。根据评估方法,选取3个代表性GNN模型,在4个具有不同数据特征的大型公开图数据集上进行分布式训练实验,并收集和分析得到的评估指标。实验结果表明,分布式训练中的模型架构和数据结构特征对模型复杂度、训练时间、计算节点吞吐量和计算节点平均吞吐量之比(NATR)均有影响;样本处理与数据拷贝占用了模型训练较多时间,计算节点互相等待的时间也不容忽视;相较于单机训练,分布式训练的计算节点吞吐量有显著降低,且需要进一步优化分布式系统中的资源利用。可见,所提评估方法为GNN模型在分布式环境中的训练性能优化提供了参考依据,并为模型的进一步优化和算法的改进奠定了实验基础。 展开更多
关键词 模型评估 图神经网络 分布式训练 训练效率 训练性能
在线阅读 下载PDF
面向深度神经网络大规模分布式数据并行训练的MC^(2)能耗模型 被引量:1
2
作者 魏嘉 张兴军 +2 位作者 王龙翔 赵明强 董小社 《计算机研究与发展》 EI CSCD 北大核心 2024年第12期2985-3004,共20页
深度神经网络(deep neural network,DNN)在许多现代人工智能(artificial intelligence,AI)任务中取得了最高的精度.近年来,使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性... 深度神经网络(deep neural network,DNN)在许多现代人工智能(artificial intelligence,AI)任务中取得了最高的精度.近年来,使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性能计算平台过量能耗方面起着至关重要的作用.目前,大部分的能耗模型都是从设备的角度出发对单个设备或多个设备构成的集群进行能耗建模,由于缺乏从能耗角度对分布式并行DNN应用进行分解剖析,导致罕有针对分布式DNN应用特征进行建模的能耗模型.针对目前最常用的DNN分布式数据并行训练模式,从DNN模型训练本质特征角度出发,提出了“数据预处理(materials preprocessing)-前向与反向传播(computing)-梯度同步与更新(communicating)”三阶段MC^(2)能耗模型,并通过在国产E级原型机天河三号上使用最多128个MT节点和32个FT节点训练经典的VGG16和ResNet50网络以及最新的Vision Transformer网络验证了模型的有效性和可靠性.实验结果表明,MC^(2)与真实能耗测量结果相差仅为2.84%,相较4种线性比例能耗模型以及AR,SES,ARIMA时间预测模型准确率分别提升了69.12个百分点,69.50个百分点,34.58个百分点,13.47个百分点,5.23个百分点,22.13个百分点,10.53个百分点.通过使用的模型可以在超算平台得到DNN模型的各阶段能耗和总体能耗结果,为评估基于能耗感知的DNN大规模分布式数据并行训练及推理各阶段任务调度、作业放置、模型分割、模型裁剪等优化策略的效能提供了基础. 展开更多
关键词 深度神经网络 能耗模型 大规模分布式训练 数据并行 超级计算机
在线阅读 下载PDF
分布式模型训练中的通信优化方法:现状及展望
3
作者 赵海燕 易庆奥 +2 位作者 汤敬华 钱诗友 曹健 《小型微型计算机系统》 CSCD 北大核心 2024年第12期2964-2978,共15页
在进行大模型训练时,采用分布式训练是解决单个GPU卡或单个节点无法处理庞大模型参数和数据集的有效方法.通过将训练任务分配给多个节点,分布式模型训练实现了计算资源的并行利用,从而提高了训练效率.然而,随着模型规模的迅速增大,通信... 在进行大模型训练时,采用分布式训练是解决单个GPU卡或单个节点无法处理庞大模型参数和数据集的有效方法.通过将训练任务分配给多个节点,分布式模型训练实现了计算资源的并行利用,从而提高了训练效率.然而,随着模型规模的迅速增大,通信成为制约分布式训练性能的瓶颈.近年来,许多研究者对分布式训练中的通信问题进行了深入的研究,本文对相关研究进行全面的综述,从5个不同角度对分布式训练中的通信问题进行了分析,并总结了相应的优化方法.这些优化方法包括但不限于通信拓扑优化、梯度压缩技术、同步和异步算法、重叠通信与计算、以及通信库及硬件的优化.最后,本文对未来的研究方向进行了分析与展望. 展开更多
关键词 大模型 分布式训练 并行 通信优化
在线阅读 下载PDF
Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架
4
作者 谭文婷 吕存驰 +1 位作者 史骁 赵晓芳 《高技术通讯》 CAS 北大核心 2024年第3期219-232,共14页
跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性... 跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。 展开更多
关键词 跨地域分布式机器学习(ML)训练 跨云ML训练 分布式训练框架 serverless 跨云模型同步
在线阅读 下载PDF
分布式强化学习实践教学平台 被引量:1
5
作者 董帅 梁晓滢 李悦乔 《实验技术与管理》 北大核心 2025年第3期161-166,共6页
强化学习是一种通过智能体与环境交互来学习策略的机器学习方法,在自动驾驶、机器人控制、游戏智能NPC等多个领域展现出强大的应用潜力。针对这些强化学习实践教学中存在的算法理解难度大、硬件需求高、训练时间长等问题,该文开发了一... 强化学习是一种通过智能体与环境交互来学习策略的机器学习方法,在自动驾驶、机器人控制、游戏智能NPC等多个领域展现出强大的应用潜力。针对这些强化学习实践教学中存在的算法理解难度大、硬件需求高、训练时间长等问题,该文开发了一个分布式强化学习实践教学平台,分别在教师机和学生机上进行策略模型更新和策略采样。该平台具有三个方面的优点:首先,基于Lanstar教学软件和FTP协议建立主从式数据交换机制,对电脑硬件和网络要求低,能够部署在现有的编程教学实验室;其次,训练框架基于Gym库和PyTorch进行二次开发,统一state和action接口,整合训练数据采样接口,可以兼容DQN、PPO等多种强化学习算法;最后,可以兼容强化学习和逆强化学习两种学习范式。在三个典型任务上的对比实验表明,该平台能够有效降低任务训练时间,能够在算力资源不足情况下支撑强化学习的实践教学。 展开更多
关键词 模型训练 强化学习范式 编程实践 分布式平台 多级模型发布
在线阅读 下载PDF
AI大模型训练数据的版权风险与治理路径
6
作者 黄孟苏 《湖北大学学报(哲学社会科学版)》 北大核心 2025年第5期185-193,共9页
数据作为新型生产要素,在AI大模型训练中发挥基础性作用,对模型性能提升非常关键。违规收集数据训练AI大模型面临版权风险,包括直接侵犯版权、衍生作品版权归属模糊、版权链断裂、法律风险及合规难题。此类问题的版权治理面临挑战,如版... 数据作为新型生产要素,在AI大模型训练中发挥基础性作用,对模型性能提升非常关键。违规收集数据训练AI大模型面临版权风险,包括直接侵犯版权、衍生作品版权归属模糊、版权链断裂、法律风险及合规难题。此类问题的版权治理面临挑战,如版权归属与数据使用的模糊性、侵权认定标准的争议、版权保护与数据共享的冲突、跨国版权治理的复杂性及科技发展与立法滞后性的矛盾等。为了解决这些问题,需要依靠多维度的治理方案,包括强化设计者和平台的版权意识、明确标记数据来源和版权归属、建立数据使用许可机制、加强技术监管和审核、构建多元互惠合作关系及完善立法和监管体系,以此为AI技术的健康发展提供有效的版权保护策略。 展开更多
关键词 生成式人工智能 ai大模型 著作权法 版权链断裂 训练数据 侵权行为
在线阅读 下载PDF
基于HLA的某型机动指挥分布式训练模拟系统设计 被引量:4
7
作者 夏薇 慕晓冬 +1 位作者 魏鸿毅 梁洪波 《火力与指挥控制》 CSCD 北大核心 2009年第6期135-137,140,共4页
在分析某型机动指挥系统的操作规程和部队需求的基础上,将训练模拟器和先进的计算机仿真技术结合起来,设计了基于HLA的训练、考核和管理仿真系统,以较小的代价解决部队的实际训练需求。针对该武器装备操作训练的特点,重点介绍了仿真联... 在分析某型机动指挥系统的操作规程和部队需求的基础上,将训练模拟器和先进的计算机仿真技术结合起来,设计了基于HLA的训练、考核和管理仿真系统,以较小的代价解决部队的实际训练需求。针对该武器装备操作训练的特点,重点介绍了仿真联邦的设计以及成员对象模型SOM和联邦对象模型FOM的设计与实现。 展开更多
关键词 高层体系结构 分布式训练模拟 对象模型模板
在线阅读 下载PDF
边缘智能计算系统中加速推荐模型训练的样本调度机制
8
作者 李国鹏 谈海生 +6 位作者 张弛 倪宏秋 王子龙 章馨月 徐洋 田晗 陈国良 《计算机研究与发展》 北大核心 2025年第6期1396-1415,共20页
在边缘智能计算系统中使用边缘工作节点训练深度学习推荐模型(deep learning recommendation model,DLRM)具有诸多优势,尤其是在数据隐私保护、低延迟和个性化推荐等方面.然而,由于嵌入表的规模庞大,在训练DLRM时通常采用1个或多个参数... 在边缘智能计算系统中使用边缘工作节点训练深度学习推荐模型(deep learning recommendation model,DLRM)具有诸多优势,尤其是在数据隐私保护、低延迟和个性化推荐等方面.然而,由于嵌入表的规模庞大,在训练DLRM时通常采用1个或多个参数服务器来维护全局嵌入表,同时利用多个边缘节点缓存嵌入表的一部分.在此架构下,需要在边缘节点和参数服务器间传输嵌入以保证嵌入数据一致性,嵌入传输代价通常主导了训练周期.目标旨在研究边缘智能计算系统中,当面对异构网络和资源受限等挑战时,如何将嵌入样本调度到合适的边缘节点上进行训练,以最小化总嵌入传输代价.为此,提出了一个基于预期嵌入传输代价的嵌入样本调度机制ESD.在ESD中,设计了一个结合资源密集型最优解法和启发式解法的调度决策方法HybridDis,以实现决策质量和资源消耗之间的平衡.使用C++和Python实现了ESD的原型系统,并在真实工作负载下将其与现有最先进的机制进行比较.大量实验结果表明,ESD可将嵌入传输代价至多降低36.76%,并且在端到端DLRM训练速度上实现了最高1.74倍的加速. 展开更多
关键词 分布式训练 边缘智能 深度学习 推荐模型 调度机制
在线阅读 下载PDF
综合通信训练模拟系统短波信道分布式实时仿真方法
9
作者 刘翠海 王文清 《现代电子技术》 2008年第17期25-27,30,共4页
从短波信道对信号传输的影响分析入手,介绍了无线电波通过媒质产生失真的原因,并对等效离散时间数学模型的结构和算法以及信道仿真的关键技术进行了分析与研究。针对综合通信训练模拟系统结构复杂、数据运算量大、实时性要求高等难题,... 从短波信道对信号传输的影响分析入手,介绍了无线电波通过媒质产生失真的原因,并对等效离散时间数学模型的结构和算法以及信道仿真的关键技术进行了分析与研究。针对综合通信训练模拟系统结构复杂、数据运算量大、实时性要求高等难题,给出了一种分布式仿真的设计方案。该方案充分利用了综合通信训练模拟系统中的计算机资源,实现了对传输信号的实时处理,能够实时模拟短波通信信道环境。 展开更多
关键词 分布式仿真 短波信道模型 短波信道模拟 通信训练
在线阅读 下载PDF
大语言模型“数据为王”:训练数据的价值、迷思与数字传播的未来挑战 被引量:30
10
作者 胡泳 刘纯懿 《西北师大学报(社会科学版)》 CSSCI 北大核心 2024年第3期43-54,共12页
伴随着ChatGPT的问世和流行,关于生成式人工智能的意涵和影响迅速成为学界和业界的关注焦点。在这场由大语言模型引领的非监督性深度学习浪潮中,一个核心议题就是训练数据。对训练数据的规模和质量的追求,演绎了“万模大战”形势下的“... 伴随着ChatGPT的问世和流行,关于生成式人工智能的意涵和影响迅速成为学界和业界的关注焦点。在这场由大语言模型引领的非监督性深度学习浪潮中,一个核心议题就是训练数据。对训练数据的规模和质量的追求,演绎了“万模大战”形势下的“数据为王”法则。而在训练数据的价值、功能和误读的背后,是对数据概念的改写、对数据可供性的迷信和对数据所有权的争夺。训练数据的具体架构和内部机制引发了智能传播生态的重建和信息生产秩序的重构,在这一变革之中也蕴藏着大语言模型时代的数字危机,其具体体现为蒸馏式传播的偏见再生产、过滤式传播的信息保守化和随机性传播的意义之消散。大语言模型及其训练数据急需破除规模迷思,着重思考如何让数据切实成为社会技术系统的一部分。 展开更多
关键词 大语言模型 训练数据 生成式ai ChatGPT 智能传播
在线阅读 下载PDF
生成式AI的融贯性法律治理——以生成式预训练模型(GPT)为例 被引量:90
11
作者 郭春镇 《现代法学》 CSSCI 北大核心 2023年第3期88-107,共20页
随着大规模数据和算式的增长,以及算法的不断优化。围绕生成式AI的前景,存在着支持、反对、中立等不同态度,这些态度背后隐含着认知根源、经济考量和权利思考。立足于法律3.0的融贯性治理注重国家法律、行政规制和技术方案之间的融贯,... 随着大规模数据和算式的增长,以及算法的不断优化。围绕生成式AI的前景,存在着支持、反对、中立等不同态度,这些态度背后隐含着认知根源、经济考量和权利思考。立足于法律3.0的融贯性治理注重国家法律、行政规制和技术方案之间的融贯,为治理生成式AI提供了思路和方向。融贯性治理中的“融贯”,既是规范性融贯,强调法律规范的内在一致性和统一性,也是整体性融贯,强调将技术方案融入规范,进而使得技术方案与不同层级规范和引领这些规范的原则与价值得以融贯。在面对以GPT为代表的生成式AI时,可以尝试将AI和区块链作为技术方案对其进行治理,也可以通过自我规制和外在约束培育建设“有道德的”AI,还可以通过“市场+规则”助力生成式AI的发展。生成式AI所涉及的法律问题在现有的法律体系框架内基本能得到有效应对,对于它带来的现实、急迫且法律没有明确规定的问题,可以进行融贯性治理。 展开更多
关键词 生成式ai 生成式预训练模型(GPT) 融贯性治理 法律3.0
在线阅读 下载PDF
一种改进的分布式同步梯度下降法 被引量:4
12
作者 李梁 王也 朱小飞 《重庆理工大学学报(自然科学)》 CAS 北大核心 2021年第7期139-145,共7页
在深度学习领域中,模型的训练往往非常耗时,尤其是当模型较复杂时,分布式训练则是解决这个问题的一个主要方式。以往的案例中,用分布式训练神经网络能够得到非常好的加速效果,是因为采用了异步梯度下降法,但是这样会导致准确率下降。也... 在深度学习领域中,模型的训练往往非常耗时,尤其是当模型较复杂时,分布式训练则是解决这个问题的一个主要方式。以往的案例中,用分布式训练神经网络能够得到非常好的加速效果,是因为采用了异步梯度下降法,但是这样会导致准确率下降。也有用同步梯度下降法来提升训练的准确率,但由于实际分布式的异构集群中各个计算节点的算力差距,会出现计算节点空闲等待的现象,使得模型的训练耗时十分不理想。采取改进同步梯度下降方法,通过设计新的样本分配机制,充分利用各个工作节点来加速模型训练。实验结果证明:所采取的方法在不降低准确率的情况下能够加快模型的训练速度。 展开更多
关键词 深度学习 模型训练 分布式 梯度下降
在线阅读 下载PDF
一种面向分布式深度学习系统的资源及批尺寸协同配置方法 被引量:3
13
作者 梁毅 丁振兴 +3 位作者 赵昱 刘明洁 潘勇 金翊 《计算机学报》 EI CAS CSCD 北大核心 2022年第2期302-316,共15页
如何在受限时间内满足深度学习模型的训练精度需求并最小化资源成本是分布式深度学习系统面临的一大挑战.资源和批尺寸超参数配置是优化模型训练精度及资源成本的主要方法.既有工作分别从计算效率和训练精度的角度,对资源及批尺寸超参... 如何在受限时间内满足深度学习模型的训练精度需求并最小化资源成本是分布式深度学习系统面临的一大挑战.资源和批尺寸超参数配置是优化模型训练精度及资源成本的主要方法.既有工作分别从计算效率和训练精度的角度,对资源及批尺寸超参数进行独立配置.然而,两类配置对于模型训练精度及资源成本的影响具有复杂的依赖关系,既有独立配置方法难以同时达到满足模型训练精度需求及资源成本最小化的目标.针对上述问题,本文提出分布式深度学习系统资源-批尺寸协同优化配置方法.该方法首先依据资源配置和批尺寸超参数配置与模型训练时间和训练精度间的单调函数关系,选取保序回归理论工具,分别建立模型单轮完整训练时间和训练最终精度预测模型;然后协同使用上述模型,以资源成本最小化为目标,求解满足模型训练精度需求的资源和批尺寸优化配置解.本文基于典型分布式深度学习系统TensorFlow对所提出方法进行性能评测.实验结果表明,与既有基于自动化的资源或批尺寸独立配置方法相比,本文提出的协同配置方法最大节约资源成本26.89%. 展开更多
关键词 分布式深度学习系统 模型训练 批尺寸 资源配置 资源成本
在线阅读 下载PDF
面向非独立同分布数据的迭代式联邦学习 被引量:1
14
作者 陈洪洋 李晓会 王天阳 《计算机工程与设计》 北大核心 2025年第4期1064-1071,共8页
针对现有的面向非独立同分布(non-IID)数据的联邦学习优化算法存在训练的模型缺失个性化、模型在测试集上精度较低的问题,提出一种迭代凝聚式簇估计联邦学习算法FL-ICE(iterative cluster estimation federated)。各个客户端联合训练单... 针对现有的面向非独立同分布(non-IID)数据的联邦学习优化算法存在训练的模型缺失个性化、模型在测试集上精度较低的问题,提出一种迭代凝聚式簇估计联邦学习算法FL-ICE(iterative cluster estimation federated)。各个客户端联合训练单个全局共享模型,迭代地依据客户端更新的相似度执行簇估计并通过梯度下降优化簇估计参数,对全局模型进行个性化处理。实验结果表明,该算法可以有效提升模型在测试集上的准确性,使得更大比例的客户端达到目标精度。 展开更多
关键词 联邦学习 分布式机器学习 个性化模型 迭代式训练 簇估计算法 非独立同分布数据 隐私保护
在线阅读 下载PDF
基于智能化工大模型的中国甲醇价格分析与预测
15
作者 王文洋 罗玉平 +3 位作者 余佳洹 周吉彬 叶茂 刘中民 《化工进展》 北大核心 2025年第10期5673-5688,共16页
甲醇作为一种多用途化工产品和低碳清洁燃料,其价格波动对全球化工产业链和能源市场具有重要影响,然而现有时间序列预测方法在捕捉甲醇价格的非平稳性和高波动性特征方面存在显著局限。为精准预测中国甲醇价格,本文基于国内首个智能化... 甲醇作为一种多用途化工产品和低碳清洁燃料,其价格波动对全球化工产业链和能源市场具有重要影响,然而现有时间序列预测方法在捕捉甲醇价格的非平稳性和高波动性特征方面存在显著局限。为精准预测中国甲醇价格,本文基于国内首个智能化工大模型,首先全面整合公开数据库中与甲醇市场具有相关性的27个领域的290万余条时间序列数据,迁移训练首个用于甲醇价格预测的生成式预训练时间序列预测模型——生成式预训练甲醇价格预测(CEGPT-price forecaster for methanol,CEGPT-PF-M)模型;其次,本文应用最大互信息系数算法,从非公开商业数据库中筛选出10900条与中国甲醇价格高度相关的指标数据,构建私有数据库,并基于此数据库对CEGPT-PF-M模型进行参数微调,以实现对中国甲醇价格的最佳预测效果;最后,在影响因素分析方面,本文基于私有数据库构建影响因素指标体系,从宏观和微观双层面分析外生变量对中国甲醇价格的影响程度。结果表明,CEGPT-PF-M模型在中国甲醇价格预测任务中的准确性、解释性和可扩展性,均显著优于现有模型。本文的研究结论为甲醇生产商、煤炭供应商和政策制定者提供有效参考,同时也为化工产品价格研究提供新视角和新方法。 展开更多
关键词 甲醇价格预测 Transformer架构 智能化工大模型 迁移训练 可解释ai
在线阅读 下载PDF
面向分布式机器学习的网络模态创新 被引量:4
16
作者 郭泽华 朱昊文 徐同文 《电信科学》 2023年第6期44-51,共8页
分布式机器学习作为人工智能的主流计算架构,目前仍然存在数据性能传输不高、模型训练速度慢等缺陷,传统的网络模态无法满足分布式机器学习场景的通信语义,继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术,基于应用... 分布式机器学习作为人工智能的主流计算架构,目前仍然存在数据性能传输不高、模型训练速度慢等缺陷,传统的网络模态无法满足分布式机器学习场景的通信语义,继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术,基于应用特点设计了面向分布式机器学习场景的新型网络模态及其运行逻辑,为多模态网络技术在垂直行业的应用提供了借鉴意义。 展开更多
关键词 多模态网络 分布式机器学习 模型训练 人工智能
在线阅读 下载PDF
AIS数据在航海模拟器交互训练中的应用
17
作者 马建斌 王凤武 +1 位作者 李江 齐壮 《舰船科学技术》 北大核心 2016年第S1期221-225,共5页
通过对新加坡海峡内航行船舶的AIS历史数据进行统计,提出一种元胞自动机的船舶交互仿真模型,应用于新加坡海峡各航段的交通流的交互状况进行模拟。并采用蒙特卡洛随机事件,结合新加坡海峡AIS历史数据按照统计学原理生成不同类型、不同... 通过对新加坡海峡内航行船舶的AIS历史数据进行统计,提出一种元胞自动机的船舶交互仿真模型,应用于新加坡海峡各航段的交通流的交互状况进行模拟。并采用蒙特卡洛随机事件,结合新加坡海峡AIS历史数据按照统计学原理生成不同类型、不同航行速度的船舶,提取船舶驾驶员在不同航行环境下采取的避让措施。对海员在狭水道和繁忙水域的船舶交互避让提供参考依据,同时也对提高模拟器训练与航海实践的仿真度具有重要意义。 展开更多
关键词 新加坡海峡 aiS数据 元胞自动机模型 蒙特卡洛随机事件 模拟器交互训练
在线阅读 下载PDF
鹏程·盘古:大规模自回归中文预训练语言模型及应用 被引量:6
18
作者 曾炜 苏腾 +2 位作者 王晖 田永鸿 高文 《中兴通讯技术》 2022年第2期33-43,共11页
在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从... 在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4096个处理器上。对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果。 展开更多
关键词 大规模预训练语言模型 鹏城云脑Ⅱ 大规模分布式训练 中文理解与生成 提示微调学习
在线阅读 下载PDF
DB4Trans:数据库内置知识图谱嵌入模型训练引擎 被引量:3
19
作者 柳鹏凯 王鑫 +2 位作者 刘宝珠 蔡顺汀 李思卓 《计算机学报》 EI CAS CSCD 北大核心 2022年第9期1969-1982,共14页
知识图谱嵌入技术将知识图谱中的实体和关系嵌入到连续的向量空间中,在简化图谱操作的同时保留知识图谱的固有结构,并有助于完成诸如图谱补全、链接预测等下游任务.随着基于知识的人工智能的日益普及和应用,知识图谱的数据规模正在急剧... 知识图谱嵌入技术将知识图谱中的实体和关系嵌入到连续的向量空间中,在简化图谱操作的同时保留知识图谱的固有结构,并有助于完成诸如图谱补全、链接预测等下游任务.随着基于知识的人工智能的日益普及和应用,知识图谱的数据规模正在急剧增加.然而,大部分的知识图谱嵌入工作主要关注模型训练的结果,忽略了对于数据规模的可扩展性,在处理大规模知识图谱时表现出较差的性能.近年来的一些研究工作将数据库技术应用于机器学习算法的优化,同时提供了用于数据库内机器学习的各类工具.通过将知识图谱嵌入模型与数据库在数据管理上的优势进行有效的结合,能够在保证知识图谱嵌入模型训练的准确率和效率的同时,提供更好的可扩展性以支持大规模知识图谱数据的训练.基于此,本文提出一种数据库内置知识图谱嵌入模型训练引擎DB4Trans.首先,设计了一种用于知识图谱嵌入模型训练的数据存储方案,对实体和关系进行编码并建立索引结构,以实现模型训练过程中对中间结果的快速访问和更新;其次,提出了一种数据库内置的模型训练优化算法,对数据库与内存间的数据批量交换方案进行设计以支持大规模数据的训练与存储;最后,在不同数据集上进行了测试,比较了模型训练与预测的时间、模型训练的准确率、存储时间和空间效率并验证了方法的可扩展性.实验结果表明,所提出的方法能够在不影响模型训练效率和准确率的同时,通过内存与数据库间的数据交换,支持在数据库内完成大规模知识图谱的训练过程. 展开更多
关键词 数据库 知识图谱嵌入 模型训练引擎 DB4ai TransE
在线阅读 下载PDF
基于Actor模型的众核数据流硬件架构探索
20
作者 张家豪 邓金易 +2 位作者 尹首一 魏少军 胡杨 《计算机工程与科学》 CSCD 北大核心 2024年第6期959-967,共9页
超大规模AI模型的分布式训练对芯片架构的通信能力和可扩展性提出了挑战。晶圆级芯片通过在同一片晶圆上集成大量的计算核心和互联网络,实现了超高的计算密度和通信性能,成为了训练超大规模AI模型的理想选择。AMCoDA是一种基于Actor模... 超大规模AI模型的分布式训练对芯片架构的通信能力和可扩展性提出了挑战。晶圆级芯片通过在同一片晶圆上集成大量的计算核心和互联网络,实现了超高的计算密度和通信性能,成为了训练超大规模AI模型的理想选择。AMCoDA是一种基于Actor模型的众核数据流硬件架构,旨在利用Actor并行编程模型的高度并行性、异步消息传递和高扩展性等特点,在晶圆级芯片上实现AI模型的分布式训练。AMCoDA的设计包括计算模型、执行模型和硬件架构3个层面。实验表明,AMCoDA能广泛支持分布式训练中的各种并行模式和集合通信模式,灵活高效地完成复杂分布式训练策略的部署和执行。 展开更多
关键词 晶圆级芯片 分布式训练 Actor模型 众核数据流架构
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部