近期语言模型领域的进展显示,采用Transformer架构的大型预训练模型在自然语言处理应用中表现出优异的技术能力。然而,受限于GPU内存,训练大语言模型(large language models,LLMs)成为了一项挑战。张量并行方法要求单个GPU存储所有激活...近期语言模型领域的进展显示,采用Transformer架构的大型预训练模型在自然语言处理应用中表现出优异的技术能力。然而,受限于GPU内存,训练大语言模型(large language models,LLMs)成为了一项挑战。张量并行方法要求单个GPU存储所有激活值,难以突破内存瓶颈。为解决GPU内存对大语言模型训练的制约并提升训练效率,本文提出一种二维张量并行方法(2D tensor parallelism,TP2D)。2D张量并行将输入数据和参数矩阵分割并分配至4个GPU;采用分布式通信,进行GPU间数据的高速交互,实现真正的分布式并行训练。以GPT-2模型作为基准模型,测试了两种训练方法的软扩展(soft scaling)效率和训练效率。实验表明,当使用4块GPU时,2D张量并行的训练速度是张量并行的1.84倍,软扩展效率达到86%,并降低了内存占用。展开更多
可追溯体系作为控制农产品质量安全的有效方法日益受到世界各国重视,供应链各环节与溯源中心间的异构数据交换是建立以政府监管为中心的农产品溯源系统急需解决的问题。XML(eXtensible Markup Language,可扩展标记语言)是先进的网络语...可追溯体系作为控制农产品质量安全的有效方法日益受到世界各国重视,供应链各环节与溯源中心间的异构数据交换是建立以政府监管为中心的农产品溯源系统急需解决的问题。XML(eXtensible Markup Language,可扩展标记语言)是先进的网络语言标准和网络信息共享的重要工具,采用可扩展标记可描述各种数据结构。该文在分析供应链数据流基础上,总结蔬菜溯源数据模型;以实现数据无缝交换为目标,基于XML构建了VTML(Markup Language for VegetableTraceability,蔬菜溯源信息描述语言),并设计了VTML Schema;应用VTML于蔬菜溯源系统数据交换。结果表明,采用ADO.NET开发数据交换接口,以VTML语言为基础的数据交换模式,通过VTML文档和关系型数据库数据间的映射,屏蔽了数据源间的差异。应用VTML是实现蔬菜溯源数据交换的有效手段。展开更多
文摘可追溯体系作为控制农产品质量安全的有效方法日益受到世界各国重视,供应链各环节与溯源中心间的异构数据交换是建立以政府监管为中心的农产品溯源系统急需解决的问题。XML(eXtensible Markup Language,可扩展标记语言)是先进的网络语言标准和网络信息共享的重要工具,采用可扩展标记可描述各种数据结构。该文在分析供应链数据流基础上,总结蔬菜溯源数据模型;以实现数据无缝交换为目标,基于XML构建了VTML(Markup Language for VegetableTraceability,蔬菜溯源信息描述语言),并设计了VTML Schema;应用VTML于蔬菜溯源系统数据交换。结果表明,采用ADO.NET开发数据交换接口,以VTML语言为基础的数据交换模式,通过VTML文档和关系型数据库数据间的映射,屏蔽了数据源间的差异。应用VTML是实现蔬菜溯源数据交换的有效手段。
