现有的注意力机制仅增强特征图的通道或空间维度,未能充分捕捉细微视觉元素和多尺度特征变化。为解决此问题,提出一种基于局部分块与全局多尺度特征融合的注意力机制(patch and global multiscale attention,PGMA)。将特征图分割成多个...现有的注意力机制仅增强特征图的通道或空间维度,未能充分捕捉细微视觉元素和多尺度特征变化。为解决此问题,提出一种基于局部分块与全局多尺度特征融合的注意力机制(patch and global multiscale attention,PGMA)。将特征图分割成多个小块,分别计算这些小块的注意力得分,增强对局部信息的感知能力。使用一组空洞卷积计算整个特征图的得分,获得全局多尺度信息的权衡。实验中,将PGMA集成到U-Net、DeepLab、SegNet等语义分割网络中,有效提升了它们的分割性能。这表明PGMA在增强CNN性能方面优于当前主流方法。展开更多
为解决现有时间序列模型未能充分融合局部和全局依赖的问题,提出一种融合局部和全局相关性的多变量时间序列预测方法PatchLG(Patch-integrated Local-Global correlation method)。该方法基于3个关键部分:1)将时间序列划分为多个子序列(...为解决现有时间序列模型未能充分融合局部和全局依赖的问题,提出一种融合局部和全局相关性的多变量时间序列预测方法PatchLG(Patch-integrated Local-Global correlation method)。该方法基于3个关键部分:1)将时间序列划分为多个子序列(Patch),在保持时间序列的局部性的同时使模型更易于提取全局依赖;2)使用深度可分离卷积和自注意力机制建模局部和全局相关性;3)将时间序列分解为趋势项与季节项2个部分同时进行预测,并将预测结果组合起来得到最终预测结果。在7个基准数据集上的实验结果表明,PatchLG相较于最优基线方法PatchTST(Patch Time Series Transformer)在均方误差(MSE)和平均绝对误差(MAE)2个指标上平均改进量为3.0%和2.9%,同时具有较短的实际运行时间和较低的内存消耗,验证了PatchLG在时间序列预测中的有效性。展开更多
文摘现有的注意力机制仅增强特征图的通道或空间维度,未能充分捕捉细微视觉元素和多尺度特征变化。为解决此问题,提出一种基于局部分块与全局多尺度特征融合的注意力机制(patch and global multiscale attention,PGMA)。将特征图分割成多个小块,分别计算这些小块的注意力得分,增强对局部信息的感知能力。使用一组空洞卷积计算整个特征图的得分,获得全局多尺度信息的权衡。实验中,将PGMA集成到U-Net、DeepLab、SegNet等语义分割网络中,有效提升了它们的分割性能。这表明PGMA在增强CNN性能方面优于当前主流方法。
文摘为解决现有时间序列模型未能充分融合局部和全局依赖的问题,提出一种融合局部和全局相关性的多变量时间序列预测方法PatchLG(Patch-integrated Local-Global correlation method)。该方法基于3个关键部分:1)将时间序列划分为多个子序列(Patch),在保持时间序列的局部性的同时使模型更易于提取全局依赖;2)使用深度可分离卷积和自注意力机制建模局部和全局相关性;3)将时间序列分解为趋势项与季节项2个部分同时进行预测,并将预测结果组合起来得到最终预测结果。在7个基准数据集上的实验结果表明,PatchLG相较于最优基线方法PatchTST(Patch Time Series Transformer)在均方误差(MSE)和平均绝对误差(MAE)2个指标上平均改进量为3.0%和2.9%,同时具有较短的实际运行时间和较低的内存消耗,验证了PatchLG在时间序列预测中的有效性。
