期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
Lite-IJformer:面向长序列Transformer的轻量化方法
1
作者
连家诚
郝一帆
+2 位作者
张曦珊
支天
孙广中
《高技术通讯》
北大核心
2025年第2期167-174,共8页
针对面向长序列的Transformer计算复杂度高的问题,本文提出了一种Trans-former轻量化方法Lite-IJformer。其核心思路分为2步:(1)对自注意力(self-attention)进行线性化,将Transformer的计算复杂度从输入序列的平方降至线性;(2)基于低秩...
针对面向长序列的Transformer计算复杂度高的问题,本文提出了一种Trans-former轻量化方法Lite-IJformer。其核心思路分为2步:(1)对自注意力(self-attention)进行线性化,将Transformer的计算复杂度从输入序列的平方降至线性;(2)基于低秩矩阵分解理论对KV矩阵乘法进行降维,进一步减少计算规模。在长序列竞技基准测试上的实验表明,当输入长度为1000~2000时,线性化可以将self-attention计算量降低13~26倍,将Transformer的推理速度提升4.75~5.72倍而无精度损失;在经过降维后,self-attention的计算量进一步减少了17.0%,模型推理速度提升了1.17倍,精度损失在0.5%以内。
展开更多
关键词
TRANSFORMER
自注意力
线性化方法
降维
在线阅读
下载PDF
职称材料
题名
Lite-IJformer:面向长序列Transformer的轻量化方法
1
作者
连家诚
郝一帆
张曦珊
支天
孙广中
机构
中国科学技术大学计算机科学与技术学院
中国科学院计算技术研究所处理器芯片全国重点实验室
中科寒武纪科技股份有限公司
出处
《高技术通讯》
北大核心
2025年第2期167-174,共8页
基金
国家重点研发计划(2022YFB4501601)
国家自然科学基金(U22A2028,U20A20227)
中国科学院稳定支持基础研究领域青年团队计划(YSBR-029)资助项目。
文摘
针对面向长序列的Transformer计算复杂度高的问题,本文提出了一种Trans-former轻量化方法Lite-IJformer。其核心思路分为2步:(1)对自注意力(self-attention)进行线性化,将Transformer的计算复杂度从输入序列的平方降至线性;(2)基于低秩矩阵分解理论对KV矩阵乘法进行降维,进一步减少计算规模。在长序列竞技基准测试上的实验表明,当输入长度为1000~2000时,线性化可以将self-attention计算量降低13~26倍,将Transformer的推理速度提升4.75~5.72倍而无精度损失;在经过降维后,self-attention的计算量进一步减少了17.0%,模型推理速度提升了1.17倍,精度损失在0.5%以内。
关键词
TRANSFORMER
自注意力
线性化方法
降维
Keywords
Transformer
self-attention
linearization method
dimension reduction
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
Lite-IJformer:面向长序列Transformer的轻量化方法
连家诚
郝一帆
张曦珊
支天
孙广中
《高技术通讯》
北大核心
2025
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
