-
题名跨视图时序对比学习的自监督视频表征算法
- 1
-
-
作者
王露露
徐增敏
张雪莲
蒙儒省
卢涛
-
机构
桂林电子科技大学数学与计算科学学院广西高校数据分析与计算重点实验室
广西应用数学中心(桂林电子科技大学)
桂林安维科技有限公司
武汉工程大学计算机科学与工程学院智能机器人湖北省重点实验室
-
出处
《计算机工程与应用》
CSCD
北大核心
2024年第18期158-166,共9页
-
基金
广西自然科学基金(2024GXNSFAA010493)
国家自然科学基金(61862015,62072350)
+1 种基金
广西科技基地和人才专项(AD23023002,AD21220114)
广西重点研发计划项目(AB17195025)。
-
文摘
现有的自监督表征算法主要关注视频帧之间的短期运动特性,但是帧间动作序列的变化幅度较小,而且单视图数据因语义受限影响深度特征表达能力,视频动作中丰富的多视图信息未被充分利用。为此提出基于跨视图语义一致性的时序对比学习算法,自监督学习RGB帧和光流场两种数据中蕴含的动作时序变化特性,主要思路为:设计局部时序对比学习方法,采用不同正负样本划分策略,挖掘同一实例不重叠片段之间的时序相关性和判别可分性,增强细粒度特征表达能力;研究全局对比学习方法,通过跨视图语义协同训练来增加正样本,学习多实例不同视图的语义一致性,提高模型的泛化能力。通过两个下游任务对模型效果进行评估,在UCF101和HMDB51数据集的实验结果表明,所提方法在动作识别和视频检索任务上,较前沿主流方法平均提升了2~3.5个百分点。
-
关键词
自监督学习
视频表征学习
时序对比学习
局部对比学习
跨视图协同
-
Keywords
self-supervised learning
video representation learning
temporal contrastive learning
local contrastive learning
cross-view co-training
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名面向轻量级卷积网络的激活函数与压缩模型
被引量：13
- 2
-
-
作者
徐增敏
陈凯
郭威伟
赵汝文
蒋占四
-
机构
桂林电子科技大学数学与计算科学学院
杭州海康威视数字技术股份有限公司
桂林安维科技有限公司
中国通信建设集团设计院有限公司第四分公司
桂林电子科技大学机电工程学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第5期242-250,共9页
-
基金
国家自然科学基金“视频侦查中基于深度学习的人体行为识别技术研究”(61862015)
广西重点研发计划项目“面向涉密场所的视频人体行为分析系统研发及应用”(AB17195025)
广西高校中青年教师科研基础能力提升项目“基于手机指纹识别身份认证系统研究”(2019KY0253)。
-
文摘
因卷积神经网络参数膨胀,导致模型训练时占用大量的计算资源和存储资源,从而限制其在边缘终端上的应用。依据深度可分离卷积模型MobileNet V1的设计思路,结合自门控函数和ReLU函数的特点,构建一种改进的激活函数和压缩神经网络模型MobileNet-rhs。将ReLU函数和swish函数分别作为分段线性函数,设计激活函数ReLU-h-swish,通过优化卷积单元结构,解决模型训练过程中难以激活部分神经元的问题,以减少特征信息丢失。构建一种剔除卷积核的压缩模型,从模型深处自下而上剔除2;个卷积核,减少逐点卷积的参数量。在CIFAR-10和CIFAR-100数据集上进行实验,结果表明,引入ReLU-h-swish函数构建MobileNet-rhs模型的Top-1分类准确率为80.38%。相比MobileNet-rhs模型,压缩后MobileNet-rhs模型的参数量减少17.9%,其Top-1分类准确率仅降低2.28个百分点。此外,利用Tensorflow将该模型部署在安卓平台上,实现图像分类相册的应用。
-
关键词
manifold
of
interest变换
深度可分离卷积
逐点卷积
自门控函数
Kotlin协程
-
Keywords
transformation of manifold of interest
depthwise seperable convolution
pointwise convolution
self-gating function
Kotlin coroutine
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于通道特征聚合的行人重识别算法
被引量：1
- 3
-
-
作者
徐增敏
陆光建
陈俊彦
陈金龙
丁勇
-
机构
桂林电子科技大学数学与计算科学学院
桂林电子科技大学计算机与信息安全学院
桂林安维科技有限公司
-
出处
《应用科学学报》
CAS
CSCD
北大核心
2023年第1期107-120,共14页
-
基金
国家自然科学基金(No.61862015)
广西科技基地和人才专项基金(No.2021AC06001)
广西重点研发计划项目基金(No.AB17195025)资助。
-
文摘
在基于深度学习的行人重识别算法中,通道特征易被忽视而导致模型表达能力降低。为此,以ResNeSt50为骨干网络,借鉴SENet通道注意力特点在残差块末尾接入SE block,增强网络对通道特征的提取能力;针对ReLU函数因缺少控制因子而限制不同通道特征图对激活值的准确响应问题,引入一个动态学习因子来丰富通道特征权重信息,以形成新的加权激活函数Weighted ReLU(WReLU);基于分组卷积特征图局部而设计新的激活函数Leaky Weighted ReLU(LWReLU),有效提高不同位置的深度特征表达能力;在Split-Attention和SE block中应用LWReLU,改善Split-Attention对各组特征图的权重学习能力;利用circle loss改进损失函数,优化目标收敛过程,从而提高模型精度。实验结果表明:在CUHK03-NP、Market1501和DukeMTMC-ReID数据集上,所提方法的Rank-1比原骨干网络分别提高了19.08%、0.98%、2.02%,且其mAP比原骨干网络分别提高了17.13%、2.11%、2.56%。
-
关键词
分组卷积
通道注意力
修正线性单元
激活函数
动态学习因子
-
Keywords
group convolution
channel attention
rectified linear unit
activation function
dynamic learning factor
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于跨尺度图对比学习的人体骨架动作识别方法
被引量：5
- 4
-
-
作者
张雪莲
徐增敏
陈家昆
王露露
-
机构
桂林电子科技大学数学与计算科学学院
桂林电子科技大学广西高校数据分析与计算重点实验室
桂林安维科技有限公司
-
出处
《燕山大学学报》
CAS
北大核心
2023年第2期164-174,共11页
-
基金
国家自然科学基金资助项目(61862015)
广西科技基地和人才专项资助项目(AD21220114)
广西重点研发计划资助项目(AB17195025)。
-
文摘
传统基于人体骨架的自监督学习方法常用对比学习模块进行表征学习,而现有对比学习模块使用数据增强方法来构建相似的正样本,其余样本皆为负样本,这限制了同类样本的语义信息表达。针对上述问题,提出一种图对比学习与跨尺度一致性知识挖掘的动作识别算法。首先,基于骨架图结构设计了一种新的数据增强方法,对输入的骨架序列进行随机边裁剪,得到两个不同的扩增视图,加强了同一骨架序列不同视图间的语义相关性表达;其次,为缓解同类样本嵌入相似度较低的问题,引入自监督协同训练网络模型,利用同一骨架数据源的不同尺度间的互补信息,从一个骨架尺度获取另一个骨架尺度的正类样本,实现了单尺度内关联及多尺度间语义协同交互;最后,基于线性评估协议对模型效果进行评估,在NTURGB+D60与NTURGB+D120数据集的实验结果表明,本文所提方法在识别精度上较前沿主流方法平均提升了2%~3.5%。
-
关键词
图对比学习
数据增强
跨尺度一致性知识挖掘
协同训练
人体骨架
-
Keywords
graph contrastive learning
data augmentation
cross-scale consistent knowledge mining
co-training
human skeleton
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
