期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
面向CNN和Transformer的自注意力机制自适应性提示学习
1
作者
杨鹏跃
王锋
魏巍
《小型微型计算机系统》
北大核心
2025年第1期16-22,共7页
随着大规模预训练模型对视觉领域中的一般性数据的深入研究,当将其应用于特定下游任务时,若模型只训练分类头方法则极其依赖于预训练模型且效果一般;而全面微调预训练模型也因模型参数过大而变得不切实际;另外如VPT等视觉提示学习方法...
随着大规模预训练模型对视觉领域中的一般性数据的深入研究,当将其应用于特定下游任务时,若模型只训练分类头方法则极其依赖于预训练模型且效果一般;而全面微调预训练模型也因模型参数过大而变得不切实际;另外如VPT等视觉提示学习方法在图像数据集具有很大的数据多样性时,每个数据集的通用提示在向原始预训练数据分布转变时会带来极大的挑战.基于以上的种种挑战,本文提出一种新的提示学习方法,即在输入空间中添加特定任务的自注意力机制提示块,并在增强通道间的竞争条件下,引入极小的参数量进行预训练模型的自适应性调整,最终实现将视觉领域中具有一般性的特征信息应用于特定的视觉任务.实验以CNN和Transformer代表性的网络为基础模型并选取CIFAR、Tiny ImageNet等数据集,结果表明本文提出的方法相比常见的微调方法在平均准确率上提高了0.55%、1.86%.
展开更多
关键词
模型的微调
数据多样性
提示学习
自注意力机制提示块
自适应性调整
在线阅读
下载PDF
职称材料
题名
面向CNN和Transformer的自注意力机制自适应性提示学习
1
作者
杨鹏跃
王锋
魏巍
机构
山西大学计算机与信息技术学院
出处
《小型微型计算机系统》
北大核心
2025年第1期16-22,共7页
基金
国家自然科学基金项目(62276158)资助
山西省回国留学人员科研项目(2021-007)资助。
文摘
随着大规模预训练模型对视觉领域中的一般性数据的深入研究,当将其应用于特定下游任务时,若模型只训练分类头方法则极其依赖于预训练模型且效果一般;而全面微调预训练模型也因模型参数过大而变得不切实际;另外如VPT等视觉提示学习方法在图像数据集具有很大的数据多样性时,每个数据集的通用提示在向原始预训练数据分布转变时会带来极大的挑战.基于以上的种种挑战,本文提出一种新的提示学习方法,即在输入空间中添加特定任务的自注意力机制提示块,并在增强通道间的竞争条件下,引入极小的参数量进行预训练模型的自适应性调整,最终实现将视觉领域中具有一般性的特征信息应用于特定的视觉任务.实验以CNN和Transformer代表性的网络为基础模型并选取CIFAR、Tiny ImageNet等数据集,结果表明本文提出的方法相比常见的微调方法在平均准确率上提高了0.55%、1.86%.
关键词
模型的微调
数据多样性
提示学习
自注意力机制提示块
自适应性调整
Keywords
fine-tuning of models
data diversity
prompt learning
self-attentive mechanism prompt blocks
adaptive tuning
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
面向CNN和Transformer的自注意力机制自适应性提示学习
杨鹏跃
王锋
魏巍
《小型微型计算机系统》
北大核心
2025
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
