期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
多尺度全局自适应注意力图神经网络
被引量：
1
1
作者
苟茹茹
杨文柱
+1 位作者
罗梓菲
原云峰
《计算机科学与探索》
CSCD
北大核心
2023年第12期3039-3051,共13页
针对动态多尺度图神经网络的编解码网络中存在的身体部位内部关节点间关联度不高和感受野受限制导致运动预测误差偏高的问题,提出了一种用于人体运动预测的多尺度全局自适应注意力图神经网络,降低运动预测误差。提出了一种划分骨架关节...
针对动态多尺度图神经网络的编解码网络中存在的身体部位内部关节点间关联度不高和感受野受限制导致运动预测误差偏高的问题,提出了一种用于人体运动预测的多尺度全局自适应注意力图神经网络,降低运动预测误差。提出了一种划分骨架关节点的多距离分区策略,用于提高身体部位关节点信息在时间和空间上的关联程度;提出了全局自适应注意力时空卷积神经网络,以动态地加强网络对某一动作有贡献的时空关节点的关注度;将上述两处改进集成到图卷积神经网络门控循环单元中,以增强解码网络的状态传播性能,并降低预测误差。实验表明,与最新方法相比,该方法在Human 3.6M、CMU Mocap和3DPW数据集上的预测误差都有所下降。
展开更多
关键词
运动预测
多距离分区策略
全局自适应注意力
时空图卷积神经网络
门控循环单元
在线阅读
下载PDF
职称材料
基于全局自适应宽度注意力改进的Transformer
2
作者
曾庆威
张建
+2 位作者
张鸿昌
谭雨阳
沈文枫
《计算机应用与软件》
北大核心
2024年第7期145-149,共5页
Transformer在自然语言处理中运用广泛,但存在文本长度过长带来的输入信息被切割、显存占用太大的问题,已有的解决方法是让模型动态决定每层注意力宽度,可以在控制计算量和显存开销的前提下关联最优序列长度,但存在每层最优的注意力宽...
Transformer在自然语言处理中运用广泛,但存在文本长度过长带来的输入信息被切割、显存占用太大的问题,已有的解决方法是让模型动态决定每层注意力宽度,可以在控制计算量和显存开销的前提下关联最优序列长度,但存在每层最优的注意力宽度并不能达到模型最优注意力宽度的缺点。为此,提出一种全层自适应宽度注意力模型(GAA)。让每层的注意力范围和全局关联,实现模型全局注意力范围最优,还将模型的前馈层修改为带门控单元的前馈层(FFN_(GLU))。在数据集enwiki8和text-8上的验证表明,该方法仅使用25%的训练计算成本,即可达到比基线更好的性能。
展开更多
关键词
TRANSFORMER
全局自
适应
宽度
注意力
FFN_(GLU)
在线阅读
下载PDF
职称材料
题名
多尺度全局自适应注意力图神经网络
被引量：
1
1
作者
苟茹茹
杨文柱
罗梓菲
原云峰
机构
河北大学网络空间安全与计算机学院
河北大学河北省机器视觉工程研究中心
出处
《计算机科学与探索》
CSCD
北大核心
2023年第12期3039-3051,共13页
文摘
针对动态多尺度图神经网络的编解码网络中存在的身体部位内部关节点间关联度不高和感受野受限制导致运动预测误差偏高的问题,提出了一种用于人体运动预测的多尺度全局自适应注意力图神经网络,降低运动预测误差。提出了一种划分骨架关节点的多距离分区策略,用于提高身体部位关节点信息在时间和空间上的关联程度;提出了全局自适应注意力时空卷积神经网络,以动态地加强网络对某一动作有贡献的时空关节点的关注度;将上述两处改进集成到图卷积神经网络门控循环单元中,以增强解码网络的状态传播性能,并降低预测误差。实验表明,与最新方法相比,该方法在Human 3.6M、CMU Mocap和3DPW数据集上的预测误差都有所下降。
关键词
运动预测
多距离分区策略
全局自适应注意力
时空图卷积神经网络
门控循环单元
Keywords
motion prediction
multi-distance partitioning strategy
global adaptive attention
spatial temporal graph convolution neural network
gated recurrent unit
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
基于全局自适应宽度注意力改进的Transformer
2
作者
曾庆威
张建
张鸿昌
谭雨阳
沈文枫
机构
上海大学
出处
《计算机应用与软件》
北大核心
2024年第7期145-149,共5页
基金
上海智能计算系统工程技术研究中心项目(19DZ2252600)
国家重点研发计划项目(2017YFB0701600)
上海市科学技术委员会项目(19511121002)。
文摘
Transformer在自然语言处理中运用广泛,但存在文本长度过长带来的输入信息被切割、显存占用太大的问题,已有的解决方法是让模型动态决定每层注意力宽度,可以在控制计算量和显存开销的前提下关联最优序列长度,但存在每层最优的注意力宽度并不能达到模型最优注意力宽度的缺点。为此,提出一种全层自适应宽度注意力模型(GAA)。让每层的注意力范围和全局关联,实现模型全局注意力范围最优,还将模型的前馈层修改为带门控单元的前馈层(FFN_(GLU))。在数据集enwiki8和text-8上的验证表明,该方法仅使用25%的训练计算成本,即可达到比基线更好的性能。
关键词
TRANSFORMER
全局自
适应
宽度
注意力
FFN_(GLU)
Keywords
Transformer
Global adaptive width attention
FFN_(GLU)
分类号
TP3 [自动化与计算机技术—计算机科学与技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
多尺度全局自适应注意力图神经网络
苟茹茹
杨文柱
罗梓菲
原云峰
《计算机科学与探索》
CSCD
北大核心
2023
1
在线阅读
下载PDF
职称材料
2
基于全局自适应宽度注意力改进的Transformer
曾庆威
张建
张鸿昌
谭雨阳
沈文枫
《计算机应用与软件》
北大核心
2024
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
