-
题名多任务学习
被引量：41
- 1
-
-
作者
张钰
刘建伟
左信
-
机构
中国石油大学(北京)自动化系
-
出处
《计算机学报》
EI
CSCD
北大核心
2020年第7期1340-1378,共39页
-
基金
国家重点研发计划项目(2016YFC0303703-03)
中国石油大学(北京)年度前瞻导向及培育项目(2462018QZDX02)资助.
-
文摘
随着图像处理,语音识别等人工智能技术的发展,很多学习方法尤其是采用深度学习框架的方法取得了优异的性能,在精度和速度方面有了很大的提升,但随之带来的问题也很明显,这些学习方法如果要获得稳定的学习效果,往往需要使用数量庞大的标注数据进行充分训练,否则就会出现欠拟合的情况而导致学习性能的下降.因此,随着任务复杂程度和数据规模的增加,对人工标注数据的数量和质量也提出了更高的要求,造成了标注成本和难度的增大.同时,单一任务的独立学习往往忽略了来自其它任务的经验信息,致使训练冗余重复和学习资源的浪费,也限制了其性能的提升.为了缓解这些问题,属于迁移学习范畴的多任务学习方法逐渐引起了研究者的重视.与单任务学习只使用单个任务的样本信息不同,多任务学习假设不同任务数据分布之间存在一定的相似性,在此基础上通过共同训练和优化建立任务之间的联系.这种训练模式充分促进任务之间的信息交换并达到了相互学习的目的,尤其是在各自任务样本容量有限的条件下,各个任务可以从其它任务获得一定的启发,借助于学习过程中的信息迁移能间接利用其它任务的数据,从而缓解了对大量标注数据的依赖,也达到了提升各自任务学习性能的目的.在此背景之下,本文首先介绍了相关任务的概念,并按照功能的不同对相关任务的类型进行划分,之后对它们的特点进行了逐一描述.然后,本文按照数据的处理模式和任务关系的建模过程不同将当前的主流算法划分为两大类:结构化多任务学习算法和深度多任务学习算法.其中,结构化多任务学习算法采用线性模型,可以直接针对数据进行结构假设并且使用原有标注特征表述任务关系,同时,又可根据学习对象的不同将其细分为基于任务层面和基于特征层面两种不同结构,每种结构有判别式方法和生成式方法两种实现手段.与结构化多任务学习算法的建模过程不同,深度多任务学习算法利用经过多层特征抽象后的深层次信息进行任务关系描述,通过处理特定网络层中的参数达到信息共享的目的.紧接着,以两大类算法作为主线,本文详细分析了不同建模方法中对任务关系的结构假设、实现途径、各自的优缺点以及方法之间的联系.最后,本文总结了任务之间相似性及其紧密程度的判别依据,并且分析了多任务作用机制的有效性和内在成因,从归纳偏置和动态求解等角度阐述了多任务信息迁移的特点.
-
关键词
多任务学习
信息迁移
任务相似性
贝叶斯生成式模型多任务学习
判别式多任务学习
深度多任务学习
-
Keywords
multi-task learning
information transfer
similarity of tasks
Bayesian generative model of multi-task learning
discriminant approach of multi-task learning
deep multi-task learning via deep neural network
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于奇异谱分析和双向LSTM的多元负荷同时预测
- 2
-
-
作者
刘永福
张天颖
霍殿阳
张立梅
-
机构
河北农业大学信息科学与技术学院
河北农业大学
-
出处
《科学技术与工程》
北大核心
2025年第19期8099-8107,共9页
-
基金
中国电力科学研究院项目(JLW51202100757)
河北省重点研发计划(203227307D)。
-
文摘
开展多元负荷的准确预测对提高新能源消纳、实现节能减排、确保电网安全可靠运行具有重要意义。为了提高多元负荷同时预测的精度,构建了奇异谱分析与双向长短期记忆网络相结合的多元负荷同时预测模型。首先,利用皮尔逊相关系数进行耦合特征提取,以识别多元负荷数据中的内在关联和依赖关系;其次,使用奇异谱分析进行特征提取,以便更全面地捕捉多元负荷数据的动态特性,降低预测难度。最后,针对所提模型引入多任务学习,利用多个负荷预测任务之间的共享信息,相互辅助进行预测,提升预测精度。实验分别通过多区域多元负荷和柔性负荷及风光发电数据进行仿真分析,结果表明,在多区域中电、热、冷负荷预测平均绝对百分比误差平均提高0.41%,均方根误差平均提高0.02 MW。
-
关键词
多元负荷同时预测
奇异谱分析
双向长短期记忆网络
多任务学习模型
皮尔逊相关系数
-
Keywords
multiple load forecasting
singular spectrum analysis
bidirectional long short-term memory network
multi-task learning model
pearson correlation coefficient
-
分类号
TM714
[电气工程—电力系统及自动化]
-
-
题名考虑空间异质性的降雨滑坡易发性预测研究
- 3
-
-
作者
张幸福
姜元俊
阿比尔的
-
机构
重庆交通大学河海学院
重庆交通大学山区公路水运交通地质减灾重庆市教委重点实验室
中国科学院水利部成都山地灾害与环境研究所
-
出处
《工程科学与技术》
北大核心
2025年第4期12-28,共17页
-
基金
国家自然科学基金项目(42172320)。
-
文摘
现有滑坡易发性预测方法未能充分考虑地形、土壤和植被等环境因素的空间异质性,也无法准确反映极端降雨对滑坡易发性的影响。为了克服这些限制,引入了一种结合深度嵌入聚类(DEC)的动态雨量阈值分区方法,通过深度学习技术,根据环境因素将研究区域划分为具有相似特征的子区域,实现了滑坡预测模型的精细化空间异质性分析;在此基础上,提出基于混合分布的动态雨量阈值模型以区分非极端降雨与极端降雨,并采用贝叶斯方法动态更新模型参数,提高了模型对不同降雨类型的适应性和预测的时效性。以通江县为案例,采用多任务学习自适应神经树模型(MLANT),结合深度嵌入DEC模型与混合分布阈值模型,对滑坡易发性进行预测。结果表明,本文方法在精确度、F1分数及受试者工作特征曲线下面积AUC值等关键性能指标上显著优于传统依赖统一阈值的模型。特别是与传统的基于前期有效降雨量方法相比,预测效果提升显著,预测滑坡密度和数量由0.038事件/km^(2)和44个滑坡事件提升至0.044事件/km^(2)和59个滑坡事件,充分证实了在滑坡易发性预测中使用深度嵌入聚类(DEC)的动态雨量阈值分区考虑空间异质性和区分不同降雨事件的重要性和有效性。
-
关键词
滑坡易发性
深度嵌入聚类(DEC)
空间异质性
混合分布降雨阈值
多任务学习自适应神经树模型
-
Keywords
landslide susceptibility
deep embedded clustering(DEC)
spatial heterogeneity
mixed distribution rainfall threshold
multi-task learning adaptive neural tree model
-
分类号
P642.22
[天文地球—工程地质学]
-
