期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
Swin Transformer轻量化:融合权重共享、蒸馏与剪枝的高效策略
1
作者 韩博 周顺 +3 位作者 范建华 魏祥麟 胡永杨 朱艳萍 《电信科学》 北大核心 2024年第9期66-74,共9页
偏移窗口的分层视觉转换器(Swin Transformer)因其优秀的模型能力而在计算机视觉领域引起了广泛的关注,然而Swin Transformer模型有着较高的计算复杂度,限制了其在计算资源有限设备上的适用性。为缓解该问题,提出一种融合权重共享及蒸... 偏移窗口的分层视觉转换器(Swin Transformer)因其优秀的模型能力而在计算机视觉领域引起了广泛的关注,然而Swin Transformer模型有着较高的计算复杂度,限制了其在计算资源有限设备上的适用性。为缓解该问题,提出一种融合权重共享及蒸馏的模型剪枝压缩方法。首先,在各层之间实现了权重共享,并添加变换层实现权重变换以增加多样性。接下来,构建并分析变换块的参数依赖映射图,构建分组矩阵F记录所有参数之间的依赖关系,确定需要同时剪枝的参数。最后,蒸馏被用于恢复模型性能。在ImageNet-Tiny-200公开数据集上的试验表明,在模型计算复杂度减少32%的情况下,最低仅造成约3%的性能下降,有效降低了模型的计算复杂度。为实现在计算资源受限环境中部署高性能人工智能模型提供了一种解决方案。 展开更多
关键词 偏移窗口的分层视觉转换器 模型轻量化 推理加速 剪枝 蒸馏 权重共享
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部