-
题名基于稳定性分析的非凸损失函数在线点对学习的遗憾界
被引量：1
- 1
-
-
作者
郎璇聪
李春生
刘勇
王梅
-
机构
东北石油大学计算机与信息技术学院
黑龙江省石油大数据与智能分析重点实验室(东北石油大学)
中国人民大学高瓴人工智能学院
大数据管理与分析方法研究北京市重点实验室(中国人民大学)
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2023年第12期2806-2813,共8页
-
基金
国家自然科学基金项目(51774090,62076234)
黑龙江省博士后科研启动金项目(LBH-Q20080)
+1 种基金
黑龙江省自然科学基金项目(LH2020F003)
黑龙江省高校基本科研业务费项目(KYCXTD201903,YYYZX202105)。
-
文摘
点对学习(pairwise learning)是指损失函数依赖于2个实例的学习任务.遗憾界对点对学习的泛化分析尤为重要.现有的在线点对学习分析只提供了凸损失函数下的遗憾界.为了弥补非凸损失函数下在线点对学习理论研究的空白,提出了基于稳定性分析的非凸损失函数在线点对学习的遗憾界.首先提出了一个广义的在线点对学习框架,并给出了具有非凸损失函数的在线点对学习的稳定性分析;然后,根据稳定性和遗憾界之间的关系,对非凸损失函数下的遗憾界进行研究;最后证明了当学习者能够获得离线神谕(oracle)时,具有非凸损失函数的广义在线点对学习框架实现了最佳的遗憾界O(T-^(1/2)).
-
关键词
在线点对学习
非凸
稳定性
遗憾界
离线优化神谕
-
Keywords
online pairwise learning
non-convex
stability
regret bounds
offline optimization oracle
-
分类号
TP301.5
[自动化与计算机技术—计算机系统结构]
-
-
题名神经正切核K-Means聚类
被引量：5
- 2
-
-
作者
王梅
宋晓晖
刘勇
许传海
-
机构
东北石油大学计算机与信息技术学院
黑龙江省石油大数据与智能分析重点实验室(东北石油大学)
中国人民大学高瓴人工智能学院
大数据管理与分析方法研究北京市重点实验室(中国人民大学)
-
出处
《计算机应用》
CSCD
北大核心
2022年第11期3330-3336,共7页
-
基金
国家自然科学基金资助项目(51774090,62076234)
黑龙江省博士后科研启动金资助项目(LBH‑Q20080)
+1 种基金
黑龙江省自然科学基金资助项目(LH2020F003)
黑龙江省高等教育教学改革重点委托项目(SJGZ20190011)。
-
文摘
针对K‑Means聚类算法利用均值更新聚类中心,导致聚类结果受样本分布影响的问题,提出了神经正切核K‑Means聚类算法(NTKKM)。首先通过神经正切核(NTK)将输入空间的数据映射到高维特征空间,然后在高维特征空间中进行K‑Means聚类,并采用兼顾簇间与簇内距离的方法更新聚类中心,最后得到聚类结果。在car和breast‑tissue数据集上,对NTKKM聚类算法的准确率、调整兰德系数(ARI)及FM指数这3个评价指标进行统计。实验结果表明,NTKKM聚类算法的聚类效果以及稳定性均优于K‑Means聚类算法和高斯核K‑Means聚类算法。NTKKM聚类算法与传统的K‑Means聚类算法相比,准确率分别提升了14.9%和9.4%,ARI分别提升了9.7%和18.0%,FM指数分别提升了12.0%和12.0%,验证了NTKKM聚类算法良好的聚类性能。
-
关键词
神经正切核
K‑Means
核聚类
特征空间
核函数
-
Keywords
Neural Tangent Kernel(NTK)
K‑Means
kernel clustering
feature space
kernel function
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于神经正切核的多核学习方法
被引量：4
- 3
-
-
作者
王梅
许传海
刘勇
-
机构
东北石油大学计算机与信息技术学院
黑龙江省石油大数据与智能分析重点实验室(东北石油大学)
中国人民大学高瓴人工智能学院
大数据管理与分析方法研究北京市重点实验室(中国人民大学)
-
出处
《计算机应用》
CSCD
北大核心
2021年第12期3462-3467,共6页
-
基金
国家自然科学基金面上项目(51774090,62076234)
黑龙江省博士后科研启动金资助项目(LBH-Q20080)
+1 种基金
黑龙江省自然科学基金资助项目(LH2020F003)
黑龙江省高等教育教学改革重点委托项目(SJGZ20190011)。
-
文摘
多核学习方法是一类重要的核学习方法,但大多数多核学习方法存在如下问题:多核学习方法中的基核函数大多选择传统的具有浅层结构的核函数,在处理数据规模大且分布不平坦的问题时表示能力较弱;现有的多核学习方法的泛化误差收敛率大多为O(1/√n),收敛速度较慢。为此,提出了一种基于神经正切核(NTK)的多核学习方法。首先,将具有深层次结构的NTK作为多核学习方法的基核函数,从而增强多核学习方法的表示能力。然后,根据主特征值比例度量证明了一种收敛速率可达O(1/n)的泛化误差界;在此基础上,结合核对齐度量设计了一种全新的多核学习算法。最后,在多个数据集上进行了实验,实验结果表明,相比Adaboost和K近邻(KNN)等分类算法,新提出的多核学习算法具有更高的准确率和更好的表示能力,也验证了所提方法的可行性与有效性。
-
关键词
机器学习
多核学习
神经正切核
核对齐
主特征值比例
-
Keywords
machine learning
multi-kernel learning
Neural Tangent Kernel(NTK)
kernel-target alignment
principal eigenvalue ratio
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
