随着人工智能(artificial intelligence,AI)的兴起,大模型(large language model,LLM)日益成为知识推介和多轮对话的核心技术。伴随而来,AI大模型在数据处理、模型训练和部署过程中的高能耗问题亟须有效评估,以便在模型优化后进行前后...随着人工智能(artificial intelligence,AI)的兴起,大模型(large language model,LLM)日益成为知识推介和多轮对话的核心技术。伴随而来,AI大模型在数据处理、模型训练和部署过程中的高能耗问题亟须有效评估,以便在模型优化后进行前后量化对比。提出一种AI大模型能耗的评估方法,旨在量化评估AI模型的服务效率(efficiency,E)。该模型使用训练收敛时间(time,T)、模型参数规模(parameter,P)和浮点运算量(floating-point operations,F)等多维度因素,通过构建能源消耗函数C(T,P,F)实现量化分析;同时,运用非线性最小二乘法,得出模型参数。该分析方法不仅适用于电信运营商客服AI模型的运行效率分析,也可泛化于其他行业的AI模型能耗评估。展开更多
文摘随着人工智能(artificial intelligence,AI)的兴起,大模型(large language model,LLM)日益成为知识推介和多轮对话的核心技术。伴随而来,AI大模型在数据处理、模型训练和部署过程中的高能耗问题亟须有效评估,以便在模型优化后进行前后量化对比。提出一种AI大模型能耗的评估方法,旨在量化评估AI模型的服务效率(efficiency,E)。该模型使用训练收敛时间(time,T)、模型参数规模(parameter,P)和浮点运算量(floating-point operations,F)等多维度因素,通过构建能源消耗函数C(T,P,F)实现量化分析;同时,运用非线性最小二乘法,得出模型参数。该分析方法不仅适用于电信运营商客服AI模型的运行效率分析,也可泛化于其他行业的AI模型能耗评估。
