-
题名“可预测的”非凸在线点对学习的遗憾界
- 1
-
-
作者
郎璇聪
王梅
刘勇
李春生
-
机构
东北石油大学计算机与信息技术学院
东北石油大学、黑龙江省石油大数据与智能分析重点实验室
中国人民大学高瓴人工智能学院
中国人民大学、大数据管理与分析方法研究北京市重点实验室
-
出处
《郑州大学学报(理学版)》
北大核心
2025年第4期55-62,共8页
-
基金
国家自然科学基金项目(51774090,62076234)
黑龙江省博士后科研启动金资助项目(LBH-Q20080)
黑龙江省研究生精品课程建设项目(15141220103)。
-
文摘
在线点对学习是指损失函数依赖于一对实例的在线学习模式,泛化性是在线点对学习理论研究的重要内容。大多数关于在线点对学习使用对抗性损失函数且假设凸性,然而凸性并不符合通常的实际应用场景。针对非凸在线点对学习,给出基于稳定性分析的具有“可预测的”损失函数的在线点对学习遗憾界,作出相应的稳定性分析。通过稳定性和度量在线点对学习泛化能力的常用方式——遗憾之间的关系,建立“可预测的”非凸损失函数下的遗憾界。证明当学习者(leaner)能够获得离线神谕(oracle)时,“可预测的”非凸广义在线点对学习达到遗憾界O(T^(-3/2))。该结论丰富了非凸在线点对学习的理论研究,且优于现有理论保证。
-
关键词
在线点对学习
非凸
稳定性
遗憾界
离线神谕
-
Keywords
online pairwise learning
non-convex
stability
regret bounds
offline optimization oracle
-
分类号
TP301.5
[自动化与计算机技术—计算机系统结构]
-
-
题名基于稳定性分析的非凸损失函数在线点对学习的遗憾界
被引量：1
- 2
-
-
作者
郎璇聪
李春生
刘勇
王梅
-
机构
东北石油大学计算机与信息技术学院
黑龙江省石油大数据与智能分析重点实验室(东北石油大学)
中国人民大学高瓴人工智能学院
大数据管理与分析方法研究北京市重点实验室(中国人民大学)
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2023年第12期2806-2813,共8页
-
基金
国家自然科学基金项目(51774090,62076234)
黑龙江省博士后科研启动金项目(LBH-Q20080)
+1 种基金
黑龙江省自然科学基金项目(LH2020F003)
黑龙江省高校基本科研业务费项目(KYCXTD201903,YYYZX202105)。
-
文摘
点对学习(pairwise learning)是指损失函数依赖于2个实例的学习任务.遗憾界对点对学习的泛化分析尤为重要.现有的在线点对学习分析只提供了凸损失函数下的遗憾界.为了弥补非凸损失函数下在线点对学习理论研究的空白,提出了基于稳定性分析的非凸损失函数在线点对学习的遗憾界.首先提出了一个广义的在线点对学习框架,并给出了具有非凸损失函数的在线点对学习的稳定性分析;然后,根据稳定性和遗憾界之间的关系,对非凸损失函数下的遗憾界进行研究;最后证明了当学习者能够获得离线神谕(oracle)时,具有非凸损失函数的广义在线点对学习框架实现了最佳的遗憾界O(T-^(1/2)).
-
关键词
在线点对学习
非凸
稳定性
遗憾界
离线优化神谕
-
Keywords
online pairwise learning
non-convex
stability
regret bounds
offline optimization oracle
-
分类号
TP301.5
[自动化与计算机技术—计算机系统结构]
-
