-
题名针对控制流计算图的内存优化方法
- 1
-
-
作者
王向前
申彧昊
景琨
吕亚飞
-
机构
安徽大学互联网学院
-
出处
《国防科技大学学报》
2025年第6期71-80,共10页
-
基金
国家自然科学基金资助项目(62406003)。
-
文摘
AI芯片在深度学习应用中受限于片上内存容量,当前主流内存优化方法针对静态计算图,对动态计算图的内存优化存在进一步的优化空间。针对该问题,提出一种控制流计算图模型的内存优化框架,在子图内部实现内存复用的基础上,结合控制流特性递归进行子图间的内存复用。针对片上与片外内存的内存墙问题,针对控制流计算图的权重数据提出一种有效的乒乓缓存实现策略,在子图内部实现访存和计算操作的重叠执行。基于国产LUNA AI芯片进行验证,结果表明,该内存优化框架实现了控制流计算图的片上内存优化使用,相比原有方法进一步提升5.9%。该策略有效解决了内存墙问题,减少了片上片外内存的数据传输时间,计算图的执行效率最高提升29%。
-
关键词
AI芯片
内存优化
内存重用
跨内存传输
-
Keywords
AI chip
memory optimization
memory reuse
cross-memory transfer
-
分类号
TP18
[自动化与计算机技术]
-
