期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
面向服务器无感计算的模型推理服务切换方法研究
1
作者 温鑫 曾焘 +1 位作者 李春波 徐子晨 《计算机工程与科学》 CSCD 北大核心 2024年第7期1210-1217,共8页
模型推理服务正随着大模型技术的发展被广泛应用,为模型推理服务构建稳定可靠的体系结构支撑逐渐成为云服务商关注的焦点。服务器无感计算是一种资源粒度细、抽象程度高的云服务计算范式,具有按需计费、弹性扩展等优势,能够有效提高模... 模型推理服务正随着大模型技术的发展被广泛应用,为模型推理服务构建稳定可靠的体系结构支撑逐渐成为云服务商关注的焦点。服务器无感计算是一种资源粒度细、抽象程度高的云服务计算范式,具有按需计费、弹性扩展等优势,能够有效提高模型推理服务的计算效率。但是,模型推理服务工作流呈现出多阶段的特点,独立的服务器无感计算框架难以确保模型推理服务工作流各阶段的最优执行。因此,如何利用不同服务器无感计算框架的性能特征,实现模型推理服务工作流各阶段的在线切换,缩短整体工作流的执行时间,是亟待解决的关键问题。讨论模型推理服务在不同服务器无感计算框架上的切换问题。首先,使用预训练模型构建模型推理服务函数,得出异构服务器无感计算框架的性能特征;其次,采用机器学习技术构建二分类模型,结合异构服务器无感计算框架的性能特征,实现模型推理服务在线切换框架原型;最后,搭建测试平台,生成模型推理服务工作流,完成在线切换框架原型的性能评估。初步实验结果表明,在线切换框架原型与独立的服务器无感计算框架相比,最大可缩短模型推理服务工作流57%的执行时间。 展开更多
关键词 模型推理服务 服务器无感计算 机器学习
在线阅读 下载PDF
大语言模型推理中的存储优化技术综述 被引量:3
2
作者 葛旭冉 欧洋 +5 位作者 王博 赵宇 吴利舟 王子聪 陈志广 肖侬 《计算机研究与发展》 北大核心 2025年第3期545-562,共18页
近年来,大语言模型在多个领域展现出卓越的性能,显著改变了人类的生活方式.然而,随着模型规模的不断增长和用户对长上下文推理需求的增加,大语言模型推理系统在存储方面面临诸多问题.首先,庞大的模型参数和键值缓存导致GPU显存资源不足... 近年来,大语言模型在多个领域展现出卓越的性能,显著改变了人类的生活方式.然而,随着模型规模的不断增长和用户对长上下文推理需求的增加,大语言模型推理系统在存储方面面临诸多问题.首先,庞大的模型参数和键值缓存导致GPU显存资源不足;其次,分布式大语言模型推理系统难以充分利用GPU集群的存储资源,存在资源过度配置和存储容错的问题.因此,从显存优化、异构存储和分布式存储3方面入手,归纳总结了现有研究在解决GPU显存容量不足和资源利用率低下方面的努力.基于显存优化的大语言模型推理系统通过高效的键值缓存管理、压缩以及注意力算子优化,提高了GPU显存利用率,降低了显存占用.基于异构存储的大语言模型推理系统利用多种类别的存储资源扩展存储容量,通过张量放置策略、异步数据传输以及智能显存分配与预取技术,降低了异构存储带来的I/O开销.基于分布式存储的大语言模型推理系统通过批处理、多级调度、冗余复制等策略,优化了多机存储和计算资源的利用,提高了大语言模型推理任务的执行效率和容错能力.最后,总结了现有研究,并对未来的研究方向进行了展望. 展开更多
关键词 大语言模型推理系统 显存管理 异构存储 分布式存储 故障恢复 服务大语言模型推理
在线阅读 下载PDF
Emotional inference by means of Choquet integral and λ-fuzzy measurement in consideration of ambiguity of human mentality 被引量:1
3
作者 KWON Il-kyoung LEE Sang-yong 《Journal of Central South University》 SCIE EI CAS CSCD 2016年第1期160-168,共9页
Research on human emotions has started to address psychological aspects of human nature and has advanced to the point of designing various models that represent them quantitatively and systematically. Based on the fin... Research on human emotions has started to address psychological aspects of human nature and has advanced to the point of designing various models that represent them quantitatively and systematically. Based on the findings, a method is suggested for emotional space formation and emotional inference that enhance the quality and maximize the reality of emotion-based personalized services. In consideration of the subjective tendencies of individuals, AHP was adopted for the quantitative evaluation of human emotions, based on which an emotional space remodeling method is suggested in reference to the emotional model of Thayer and Plutchik, which takes into account personal emotions. In addition, Sugeno fuzzy inference, fuzzy measures, and Choquet integral were adopted for emotional inference in the remodeled personalized emotional space model. Its performance was evaluated through an experiment. Fourteen cases were analyzed with 4.0 and higher evaluation value of emotions inferred, for the evaluation of emotional similarity, through the case studies of 17 kinds of emotional inference methods. Matching results per inference method in ten cases accounting for 71% are confirmed. It is also found that the remaining two cases are inferred as adjoining emotion in the same section. In this manner, the similarity of inference results is verified. 展开更多
关键词 fuzzy measure fuzzy integral emotional model emotion space AHP fuzzy inference system Choquet integral
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部