-
题名整合卷积与高效自注意力机制的图像分类模型
- 1
-
-
作者
田鑫驰
王亚刚
尹钟
陈浩
-
机构
上海理工大学光电信息与计算机工程学院
-
出处
《小型微型计算机系统》
CSCD
北大核心
2024年第3期684-691,共8页
-
基金
国家自然科学基金项目(61074087)资助.
-
文摘
对于传统的图像分类网络而言,卷积神经网络受限于较小且固定的感受野使其忽略了感受野之外的图像特征信息.基于Transformer模型灵活的多头自注意力机制使得其必须依赖于巨大的数据量以减少过拟合的风险,导致模型参数与计算复杂度过于庞大.针对上述问题本文提出了一种名为CSNet的多阶段图像分类模型.在模型浅层阶段利用大核卷积分解的思想扩大卷积层感受野以学习较大范围的特征信息.在深层阶段利用一种高效的自注意力机制,将卷积运算的特性加入自注意力机制中,有效减少了原始自注意力机制局部计算冗余和过分依赖数据的问题.CSNet在CIFAR-10和ImageNet-1K数据集上的分类准确率分别达到98.9%和82.6%,实验表明CSNet的模型性能优于ResNet和Vision Transformer.
-
关键词
卷积神经网络
TRANSFORMER
自注意力机制
卷积分解
图像分类
csnet
-
Keywords
convolutional neural network
Transformer
self-attention
convolutional decomposition
image classification
csnet
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名采用多通道浅层CNN构建的多降噪器最优组合模型
被引量：1
- 2
-
-
作者
徐少平
林珍玉
陈孝国
李芬
杨晓辉
-
机构
南昌大学数学与计算机学院
南昌大学信息工程学院
-
出处
《自动化学报》
EI
CAS
CSCD
北大核心
2022年第11期2797-2811,共15页
-
基金
国家自然科学基金(62162043,62162042,61662044)
江西省自然科学基金(20171BAB202017)资助。
-
文摘
现有的一致性神经网络(Consensus neural network,CsNet)利用凸优化和神经网络技术将多个降噪算法(降噪器)输出的图像进行加权组合(融合),以获得更好的降噪效果,但该优化模型在降噪效果和执行效率方面仍有较大改进空间.为此,提出一种基于轻量型多通道浅层卷积神经网络(Multi-channel shallow convolutional neural network,MSCNN)构建的多降噪器最优组合(Optimal combination of image denoisers,OCID)模型.该模型采用多通道输入结构直接接收由多个降噪器输出的降噪图像,并利用残差学习技术合并完成图像融合和图像质量提升两项任务.具体使用时,对于给定的一张噪声图像,先用多个降噪器对其降噪,并将降噪后图像输入OCID模型获得残差图像,然后将多个降噪图像的均值图像与残差图像相减,所得到图像作为优化组合后的降噪图像.实验结果表明,与CsNet组合模型相比,网络结构更为简单的OCID模型以更小的计算代价获得了图像质量更高的降噪图像.
-
关键词
多降噪器最优组合
一致性神经网络
多通道浅层卷积神经网络
降噪效果提升
执行效率
-
Keywords
Optimal combination of image denoisers(OCID)
consensus neural network(csnet)
multi-channel shallow convolutional neural network(MSCNN)
denoising effect promotion
execution efficiency
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TP183
[自动化与计算机技术—控制理论与控制工程]
-
