-
题名基于Transformer的时间序列预测方法综述
被引量：1
- 1
-
-
作者
陈嘉俊
刘波
林伟伟
郑剑文
谢家晨
-
机构
华南师范大学人工智能学院
华南理工大学计算机科学与工程学院
华南师范大学计算机学院
-
出处
《计算机科学》
北大核心
2025年第6期96-105,共10页
-
基金
国家自然科学基金面上项目(62072187)
广州市开发区国际合作项目(2023GH02)。
-
文摘
时间序列预测作为分析历史数据以预测未来趋势的关键技术,已广泛应用于金融、气象等领域。然而,传统方法如自回归移动平均模型和指数平滑法等在处理非线性模式、捕捉长期依赖性时存在局限。最近,基于Transformer的方法因其自注意力机制,在自然语言处理与计算机视觉领域取得突破,也开始拓展至时间序列预测领域并取得显著成果。因此,探究如何将Transformer高效运用于时间序列预测,成为推动该领域发展的关键。首先,介绍了时间序列的特性,阐述了时间序列预测的常见任务类别及评估指标。接着,深入解析Transformer的基本架构,并挑选了近年来在时间序列预测中广受关注的Transfo-rmer衍生模型,从模块及架构层面进行分类,并分别从问题解决、创新点及局限性3个维度进行比较和分析。最后,进一步探讨了时间序列预测Transformer在未来可能的研究方向。
-
关键词
时间序列
Transformer模型
深度学习
注意力机制
预测
-
Keywords
Time series
Transformer model
Deep learning
Attention mechanism
Prediction
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名联邦增量学习研究综述
- 2
-
-
作者
谢家晨
刘波
林伟伟
郑剑文
-
机构
华南师范大学计算机学院
华南理工大学计算机科学与工程学院
-
出处
《计算机科学》
北大核心
2025年第3期377-384,共8页
-
基金
国家自然科学基金(620721878)
广州开发区科技项目(2021GH10)。
-
文摘
联邦学习以其独特的分布式训练模式和安全聚合机制成为近年来的研究热点。然而,在现实生活中,本地模型训练往往会收集到新数据,从而造成对旧数据的灾难性遗忘。因此,如何将联邦学习和增量学习有效结合是实现联邦生态可持续发展的关键所在。文中首先对联邦增量学习(Federated Incremental Learning)的相关概念进行了深入的调查和分析;然后,重点阐述了基于数据、基于模型、基于架构和基于多方面联合优化的联邦增量学习方法,同时对现有方法进行分类和比较;最后,分析和总结了联邦增量学习未来的研究发展方向,如大规模、小样本、安全可靠和多任务场景下的联邦增量学习。
-
关键词
联邦学习
安全聚合
灾难性遗忘
可持续发展
联邦增量学习
-
Keywords
Federated learning
Secure aggregation
Catastrophic forgetting
Sustainable development
Federated incremental learning
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名联邦学习通信效率研究综述
被引量：3
- 3
-
-
作者
郑剑文
刘波
林伟伟
谢家晨
-
机构
华南师范大学计算机学院
鹏城实验室
华南理工大学计算机科学与工程学院
-
出处
《计算机科学》
北大核心
2025年第2期1-7,共7页
-
基金
国家自然科学基金面上项目(62072187)
广州市开发区国际合作项目(2023GH02)
鹏城实验室重大任务项目(PCL2023A09)。
-
文摘
作为一种分布式机器学习范式,联邦学习(Federated Learning,FL)旨在在保护数据隐私的前提下,实现在多方数据上共同训练机器学习模型。在实际应用中,FL在每轮迭代中需要大量的通信来传输模型参数和梯度更新,从而提高通信效率,这是FL面临的一个重要挑战。文中主要介绍了FL中通信效率的重要性,并依据不同的侧重点将现有FL通信效率的研究分为客户端选择、模型压缩、网络拓扑重构以及多种技术结合等方法。在现有的FL通信效率研究的基础上,归纳并总结出通信效率在FL发展中面临的困难与挑战,探索FL通信效率未来的研究方向。
-
关键词
联邦学习
通信效率
客户端选择
模型压缩
网络拓扑重构
-
Keywords
Federated learning
Communication efficiency
Client selection
Model compression
Network topology refactoring
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
TP309
[自动化与计算机技术—计算机系统结构]
-
