-
题名基于EWBiLSTM-ATT的数据手套手语识别
- 1
-
-
作者
武东辉
王金凤
仇森
刘国志
-
机构
郑州轻工业大学建筑环境工程学院
大连理工大学控制科学与工程学院
-
出处
《计算机工程》
北大核心
2025年第8期107-119,共13页
-
基金
国家自然科学基金(62272081)
河南省科技攻关项目(222102210086,232102321021,252102210093)
河南省高等学校重点科研项目(25B413005)。
-
文摘
手语识别近年来受到广泛关注,但现有手语识别模型存在训练时间长和计算成本高的问题。为此,基于穿戴式数据手套提出一种融合注意力机制的首层宽卷积核扩展深度卷积神经网络(EWDCNN)和双向长短期记忆网络(BiLSTM)的混合深度学习方法——EWBiLSTM-ATT模型。首先通过加宽首层卷积层来减少模型参数量,提升计算速度,通过扩展WDCNN卷积层深度来提高模型自动提取手语特征的能力;其次引入BiLSTM作为时间建模器捕捉手语序列数据的时间动态信息,有效处理传感器数据中的时序关系;最后利用注意力机制通过映射加权和学习参数矩阵赋予BiLSTM隐含状态不同权重,通过计算每个时间段的注意力权重,模型自动选择与手势动作相关的关键时间段。以STM32F103为主控模块,以MPU6050与Flex Sensor 4.5传感器为核心搭建数据手套手语采集平台。选取16种动态手语动作用于构建GR-Dataset数据训练模型。同一实验条件下,EWBiLSTM-ATT准确率为99.40%,相对于CLT-net、CNN-GRU、CLA-net、CNN-GRU-ATT模型分别提升10.36、8.41、3.87、3.05百分点,训练总时间分别缩减至这4种对比模型的57%、61%、55%、56%。
-
关键词
扩展深度卷积神经网络
双向长短期记忆网络
注意力模块
手语识别
数据手套
深度学习
-
Keywords
expanded wide-kernel deep convolutional neural network(ewdcnn)
Bidirectional Long Short-Term Memory(BiLSTM)network
attention module
sign language recognition
data glove
deep learning
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
