-
题名基于双流自适应时空增强图卷积网络的手语识别
被引量：1
- 1
-
-
作者
金彦亮
吴筱溦
-
机构
上海大学通信与信息工程学院
上海大学上海先进通信与数据科学研究院
-
出处
《应用科学学报》
CAS
CSCD
北大核心
2024年第2期189-199,共11页
-
基金
上海市自然科学基金(No.22ZR1422200)
上海市科委重点基金(No.19511102803)
上海市产业项目(No.XTCX-KJ-2022-68)资助。
-
文摘
针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。
-
关键词
骨架数据
双流结构
自适应时空图卷积模块
自适应多尺度时空注意力模块
特征融合
-
Keywords
skeleton data
two-stream structure
adaptive spatial temporal graph convolutional module
adaptive multi-scale spatial temporal attention module
feature fusion
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
-
题名多支路融合注意力机制的低光照图像增强
被引量：2
- 2
-
-
作者
汪星
贾晓芬
-
机构
安徽理工大学电气与信息工程学院
安徽理工大学省部共建深部煤矿采动响应与灾害防控国家重点实验室
-
出处
《微电子学与计算机》
2022年第10期54-61,共8页
-
基金
安徽省自然科学基金面上项目(2108085ME158)
国家自然科学基金面上项目(52174141)
+1 种基金
安徽高校协同创新项目(GXXT-2020-54)
安徽省重点研究与开发计划资助项目(202004a07020043)。
-
文摘
低光照图像因对比度低、细节信息丢失、颜色失真以及噪声伪影等引起的过度曝光,质量差等问题,融合多支路和注意力机制,提出一种基于分解任务的多支路低光增强网络(MANet).首先低光输入图像经过VGG-19卷积对特征采集同时为了降低计算量,将普通卷积替换为可分离卷积的网络提取出边缘、纹理等有效特征.然后为了能够自适应对图像中不同区域进行自适应亮度增强和噪声伪影抑制,在增强模块中引入注意力机制,利用注意力机制来学习和设置不同权重信息,获取特征信息来增强.最后,为了进一步提高图像质量,在融合模块中使用多尺度特征融合,使得上下文信息得到进一步的融合和增强.实验结果表明,MANet能够自适应的提升图像亮度的同时降低图像的噪声和去除伪影,与GLADNet网络相比PSNR提高了7%,SSIM提高了3.3%.
-
关键词
低光照图像增强
注意力机制模块
多尺度融合
自适应增强
深度学习
-
Keywords
Low light image enhancement
Attention mechanism module
Multi-scale fusion
Adaptive enhancement
Deep learning
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
