-
题名基于快速最大奇异值幂正规化的全局协方差池化
- 1
-
-
作者
曾睿仁
谢江涛
李培华
-
机构
大连理工大学信息与通信工程学院
-
出处
《计算机科学》
CSCD
北大核心
2024年第4期254-261,共8页
-
基金
国家自然科学基金(61971086)。
-
文摘
近期的研究工作表明,矩阵正规化对全局协方差池化起着关键作用,有助于生成分辨能力更强的表征,从而提升图像识别任务的性能。在不同的矩阵正规化方法中,矩阵结构正规化能充分利用协方差矩阵的几何结构,因此可以获得更好的性能。然而,结构正规化一般依赖计算代价很高的奇异值分解(SVD)或者特征值分解(EIG),不能充分利用GPU的并行计算能力,从而形成计算瓶颈。迭代矩阵平方根正规化(iSQRT)通过牛顿-舒尔兹迭代对协方差矩阵进行正规化,速度比基于SVD和EIG的方法更快。但是随着迭代次数和维度的提高,iSQRT的时间和内存开销都会显著增加,而且该方法无法完成一般幂次的正规化,限制了其应用范围。为了弥补iSQRT的不足,文中提出了一种基于最大奇异值幂的协方差矩阵正规化方法。该方法通过将协方差矩阵除以其最大奇异值的幂来实现,计算过程仅需迭代幂法计算矩阵的最大奇异值。详细的消融实验的结果表明,与iSQRT相比,所提方法的速度更快并占用更少的显存,在时间复杂度和空间复杂度上都优于iSQRT方法,同时性能上与iSQRT方法相当或更好。所提方法在大规模图像分类数据库和细粒度识别数据库中取得了领先的性能,其中在Aircraft,Cars和Indoor67上分别表现为90.7%,93.3%以及83.9%,充分验证了所提方法的鲁棒性和泛化性。
-
关键词
图像分类
全局协方差池化
矩阵幂正规化
最大奇异值幂正规化
-
Keywords
Image classification
Global covariance pooling
Matrix power normalization
Maximum singular value power normalization
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名全局协方差池化与多尺度特征融合的图像隐写检测
- 2
-
-
作者
叶学义
陈海颖
郭文风
陈华华
赵知劲
-
机构
杭州电子科技大学通信工程学院浙江省数据存储传输及应用技术研究重点实验室
-
出处
《传感技术学报》
CAS
CSCD
北大核心
2024年第10期1746-1753,共8页
-
基金
国家自然科学基金项目(U19B2016,60802047)。
-
文摘
针对目前图像隐写深度检测模型中池化等操作造成特征图信息丢失,全局平均池化忽视高阶统计量的问题,提出一个基于全局协方差池化与多尺度特征融合的隐写检测模型:首先用多层小尺度卷积核替换多层感知器中的大尺度卷积核,增强特征表达能力的同时提高卷积计算效率;然后利用空洞卷积构建多尺度特征融合模块,减少模型在池化等过程中导致的细节特征信息损失;最后引入全局协方差池化,通过计算二阶统计量协方差作为最后的特征输出,增强检测模型对细节特征的捕捉能力。实验结果表明在不同的隐写算法和不同的嵌入率下,相比于近期典型的Xu-Net、Yedroudj-Net、Zhu-Net模型,所提模型的检测准确率均有显著提升,即使是与最新的Zhu-Net相比,准确率也提升了2.4%~7.3%。
-
关键词
隐写检测
特征融合
空洞卷积
全局协方差池化
-
Keywords
steganalysis
feature fusion
dilated convolution
global covariance pooling
-
分类号
TP309.2
[自动化与计算机技术—计算机系统结构]
-
-
题名基于改进反馈神经网络的煤矸石图像分类模型
- 3
-
-
作者
闫洪霖
-
机构
西安科技大学电气与控制工程学院
-
出处
《工矿自动化》
北大核心
2022年第8期50-55,113,共7页
-
文摘
现有的基于深度学习的图像分类方法存在分类模型参数量大、耗时长、分类精度低,难以在模型轻便和分类精度上达到折衷。针对上述问题,提出了一种基于改进反馈神经网络(Feedback−Net)的煤矸石图像分类模型。在ResNet50模型的基础上搭建Feedback−Net模型,通过在ResNet50模型搭建反馈通路,将高低阶信息进行融合,从而提升特征的表现能力。针对搭建的Feedback−Net模型在分类准确率提升的同时耗时有所增加的问题,将Feedback−Net模型中的方形卷积核改进为非对称卷积块(ACB),通过叠加融合的方式增加卷积核的特征提取能力;将参数量最多的全连接层转换为全局协方差池化(GCP),以降低网络参数量。通过模拟煤矿井下煤矸石分拣环境,以验证Feedback−Net模型和改进Feedback−Net模型(Feedback−Net+ACB和Feedback−Net+ACB+GCP)的性能。结果表明:①Feedback−Net模型在精度上高于ResNet50模型,损失值略低于ResNet50模型。②Feedback−Net模型训练精度较ResNet50模型提升了1.20%,测试精度提升了1.21%,但训练耗时较ResNet50模型增加了0.22%。③Feedback−Net+ACB+GCP模型精度高于Feedback−Net和Feedback−Net+ACB模型,其收敛速度在3个模型中最快,具有最优性能。④Feedback−Net+ACB模型测试精度、训练精度均较Feedback−Net模型提升了1.39%,且耗时减少了15.53 min,Feedback−Net+ACB+GCP模型训练精度、测试精度较Feedback−Net模型分别提升了1.62%,1.59%,耗时缩短了1.12%;Feedback−Net+ACB+GCP模型耗时较Feedback−Net+ACB模型减少了50.38 min,性能更加优越。
-
关键词
煤矸石分类
图像分类
反馈神经网络
图像特征提取
Feedback-Net
非对称卷积
全局协方差池化
-
Keywords
coal and gangue classification
image classification
feedback neural network
image feature extraction
Feedback-Net
asymmetric convolution
global covariance pooling
-
分类号
TD948
[矿业工程—选矿]
-
