基于β-混合输入的经验风险最小化回归的学习速率(英文) 被引量：2

1

作者 邹斌 徐宗本 张海 《应用概率统计》 CSCD 北大核心 2011年第6期597-613,共17页

研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独... 研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独立输入样本这个经典框架来研究了基于β混合输入样本的经验风险最小化回归算法学习速率的界.我们证明了基于β混合输入样本的经验风险最小化回归算法是一致的,指出了本文所建立的结果同样适合输入样本是马氏链、隐马氏链的情形. 展开更多

关键词 学习速率 经验风险最小化 β混合 最小平方损失.

在线阅读 下载PDF 职称材料

基于经验风险的中心文本分类算法

2

作者 周晓堂 欧阳继红 李熙铭 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2013年第5期876-880,共5页

采用经验风险最小化归纳原则和梯度下降方法调整传统中心分类法的类别中心向量,解决了传统中心分类法因忽略训练集文本权值因素而导致的类别中心向量表达能力较差问题,得到了与支持向量机分类性能基本一致的一种改进的中心分类法.实验... 采用经验风险最小化归纳原则和梯度下降方法调整传统中心分类法的类别中心向量,解决了传统中心分类法因忽略训练集文本权值因素而导致的类别中心向量表达能力较差问题,得到了与支持向量机分类性能基本一致的一种改进的中心分类法.实验结果表明,该方法是提高中心分类法分类性能的一种有效方法. 展开更多

关键词 文本分类 中心分类法 经验风险最小化

在线阅读 下载PDF 职称材料

基于算法稳定的ERM原则一致性的研究

3

作者 周德强 邹斌 《高校应用数学学报（A辑）》 CSCD 北大核心 2008年第2期235-242,共8页

通过对变一误差估计下算法稳定的研究,提出了不依赖于样本分布的CO稳定的概念,证明了CO稳定不仅是变一误差估计条件下ERM原则一致性的充要条件,而且也是学习算法具有推广性的充分条件.

关键词 经验风险最小化原则 算法稳定 变一误差估计

在线阅读 下载PDF 职称材料

泛化界正则项:理解权重衰减正则形式的统一视角 被引量：3

4

作者 李翔 陈硕 杨健 《计算机学报》 EI CAS CSCD 北大核心 2021年第10期2122-2134,共13页

经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重... 经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重要.然而,WD的具体形式仅仅是在优化过程中不断缩小所学习的模型参数,这很难与提升泛化能力这个概念直接地联系起来,尤其是对于多层深度网络而言.本文首先从计算学习理论(learning theory)中的鲁棒性(robustness)与泛化性(generalization)之间的量化关系出发,推导出了一个统一的泛化界正则项(Generalization Bound Regularizer,GBR)来理解WD的作用.本文证明了优化WD项(作为损失目标函数的一部分)本质上是在优化GBR的上界,而GBR则与模型的泛化能力有着理论上的直接关联.对于单层线性系统,本文可以直接推导出该上界;对于多层深度神经网络,该上界可以通过几个不等式的松弛来获得.本文通过引入均等范数约束(Equivalent Norm Constraint,ENC)即保证上述不等式的取等条件来进一步压缩GBR与其上界之间的距离,从而获得具有更好泛化能力的网络模型,该模型的识别性能在大型ImageNet数据集上得到了全面的验证. 展开更多

关键词 泛化界正则项 经验风险最小化 权重衰减 均等范数约束 深度神经网络

在线阅读 下载PDF 职称材料

复合ICA-SVM机械状态模式分类 被引量：6

5

作者 焦卫东 杨世锡 吴昭同 《中国机械工程》 EI CAS CSCD 北大核心 2004年第1期62-65,共4页

提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持... 提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持向量机分类方法具有更好的推广能力。而借助多个独立分量分析网络 ,隐藏于多通道振动观测信号中的不变特征得到有效提取 ,从而实现了支持向量机分类器在分类能力和推广性两者间的合理平衡。 展开更多

关键词 独立分量分析 残余总体相关 经验风险最小化 结构风险最小化

在线阅读 下载PDF 职称材料

基于极限学习机的配电网重构 被引量：14

6

作者 吴登国 李晓明 《电力自动化设备》 EI CSCD 北大核心 2013年第2期47-51,56,共6页

为使配电网重构有功功率损耗最小,提出一种基于极限学习机的神经网络重构模型来反映配电网负荷模式与开关状态之间的非线性关系。将配电网负荷模式作为输入、网损最小时的开关状态作为输出,利用所提模型网络结构简单、学习速度快的优势... 为使配电网重构有功功率损耗最小,提出一种基于极限学习机的神经网络重构模型来反映配电网负荷模式与开关状态之间的非线性关系。将配电网负荷模式作为输入、网损最小时的开关状态作为输出,利用所提模型网络结构简单、学习速度快的优势进行配电网重构。引入统计学习理论中的结构风险最小化准则来改进基于经验风险最小化的极限学习机,使经验风险和置信范围最小,从而使实际风险最小,减小期望误差。通过2个典型算例对配电网重构进行仿真研究,并对基于支持向量机、BP神经网络和基于经验风险最小化的极限学习机重构模型进行比较,结果表明所提模型在保持学习速度快的同时,泛化性能更高。 展开更多

关键词 配电网重构 最小化网损 极限学习机 结构风险 经验风险 模型 配电 风险

在线阅读 下载PDF 职称材料

基于复拟随机样本的统计学习理论的理论基础 被引量：11

7

作者 张植明 田景峰 哈明虎 《计算机工程与应用》 CSCD 北大核心 2008年第9期82-86,93,共6页

引入复拟(概率)随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最... 引入复拟(概率)随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则等定义。证明并讨论了基于复拟随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复拟随机样本的统计学习理论奠定了理论基础。 展开更多

关键词 复拟随机变量 准范数 复经验风险最小化原则 关键定理 收敛速度的界 神经网络

在线阅读 下载PDF 职称材料

区别性知识利用的迁移分类学习 被引量：1

8

作者 程旸 王士同 杭文龙 《计算机科学与探索》 CSCD 北大核心 2017年第3期427-437,共11页

目前的迁移学习模型旨在利用事先准备好的源域数据为目标域学习提供辅助知识,即从源域抽象出与目标域共享的知识结构时,使用所有的源域数据。然而,由于人力资源的限制,收集真实场景下整体与目标域相关的源域数据并不现实。提出了一种泛... 目前的迁移学习模型旨在利用事先准备好的源域数据为目标域学习提供辅助知识,即从源域抽象出与目标域共享的知识结构时,使用所有的源域数据。然而,由于人力资源的限制,收集真实场景下整体与目标域相关的源域数据并不现实。提出了一种泛化的经验风险最小化选择性知识利用模型,并给出了该模型的理论风险上界。所提模型能够自动筛选出与目标域相关的源域数据子集,解决了源域只有部分知识可用的问题,进而避免了在真实场景下使用整个源域数据集带来的负迁移效应。在模拟数据集和真实数据集上进行了仿真实验,结果显示所提算法较之传统迁移学习算法性能更佳。域相关的源域数据并不现实。提出了一种泛化的经验风险最小化选择性知识利用模型,并给出了该模型的理论风险上界。所提模型能够自动筛选出与目标域相关的源域数据子集,解决了源域只有部分知识可用的问题,进而避免了在真实场景下使用整个源域数据集带来的负迁移效应。在模拟数据集和真实数据集上进行了仿真实验,结果显示所提算法较之传统迁移学习算法性能更佳。 展开更多

关键词 迁移学习 经验风险最小化(erm) 泛化的经验风险最小化(Germ) 区别性知识利用 负迁移

在线阅读 下载PDF 职称材料

一种基于粗糙变量的学习算法的基础研究 被引量：2

9

作者 董开坤 刘杨 +2 位作者 刘扬 胡仕成 刘慧霞 《计算机工程与应用》 CSCD 北大核心 2008年第10期40-42,70,共4页

支持向量机目前已成为机器学习领域新的研究热点,而统计学习理论中的关键定理为支持向量机等的研究提供了重要的理论基础。提出了粗糙经验风险最小化原则,提出并证明了一种基于粗糙变量的学习理论的关键定理,为研究粗糙支持向量机等应... 支持向量机目前已成为机器学习领域新的研究热点,而统计学习理论中的关键定理为支持向量机等的研究提供了重要的理论基础。提出了粗糙经验风险最小化原则,提出并证明了一种基于粗糙变量的学习理论的关键定理,为研究粗糙支持向量机等应用性研究提供了依据。 展开更多

关键词 向量机 信赖理论 信赖统计 粗糙经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

基于支持向量机的核爆地震自动识别 被引量：4

10

作者 张斌 李夕海 +1 位作者 苏娟 刘代志 《核电子学与探测技术》 CAS CSCD 北大核心 2005年第1期44-47,共4页

针对核爆地震识别问题的特点,提出利用支持向量机(SVM)方法进行核爆地震的自动识别。该方法借助算法的内在能力来实现特征的选择变换,不必像传统方法那样将很大的精力用于特征空间的降维处理。同时,由于该方法建立在结构风险最小化准则... 针对核爆地震识别问题的特点,提出利用支持向量机(SVM)方法进行核爆地震的自动识别。该方法借助算法的内在能力来实现特征的选择变换,不必像传统方法那样将很大的精力用于特征空间的降维处理。同时,由于该方法建立在结构风险最小化准则上,而不是仅仅使经验风险最小,所以,它具有好的推广能力。实际数据处理结果表明,该方法在小样本情况下性能优于神经网络,可以很好地克服过学习问题。 展开更多

关键词 自动识别 支持向量机(SVM) 推广能力 结构风险最小化 特征空间 经验风险 神经网络 实际 克服 方法

在线阅读 下载PDF 职称材料

受噪声影响的复hybrid样本的学习理论关键定理 被引量：7

11

作者 李俊华 李海军 《河北大学学报（自然科学版）》 CAS 北大核心 2014年第1期14-18,82,共6页

结合机会测度理论和统计学习理论,提出了机会空间上受噪声影响的复hybrid样本的复期望风险泛函、复经验风险泛函以及复经验风险最小化原则的定义,给出并证明了机会空间上受噪声影响的复hybrid样本的学习理论的关键定理.

关键词 机会空间 复hybrid变量 噪声 复经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

泛空间上学习理论的关键定理 被引量：2

12

作者 高林庆 李鑫 +1 位作者 白云超 哈明虎 《计算机工程与应用》 CSCD 北大核心 2010年第31期32-35,共4页

给出泛空间上泛随机变量及其分布函数、泛期望和泛方差的定义和性质,证明泛空间上的Chebyshev不等式和Khinchine大数定律;给出泛空间上期望风险泛函、经验风险泛函以及经验风险最小化原则严格一致收敛的定义,证明了泛空间上学习理论的... 给出泛空间上泛随机变量及其分布函数、泛期望和泛方差的定义和性质,证明泛空间上的Chebyshev不等式和Khinchine大数定律;给出泛空间上期望风险泛函、经验风险泛函以及经验风险最小化原则严格一致收敛的定义,证明了泛空间上学习理论的关键定理,把概率空间和可能性测度空间上的学习理论的关键定理统一推广到了泛空间上。 展开更多

关键词 泛空间 泛可加测度 经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

噪声影响的泛空间上的学习理论关键定理 被引量：3

13

作者 李俊华 高林庆 李海军 《计算机工程与应用》 CSCD 2012年第27期49-52,共4页

关键定理是统计学习理论的重要组成部分,但目前其研究主要集中在概率空间上且假设样本不受噪声的影响。鉴于此,提出了泛空间上样本受噪声影响的期望风险泛函、经验风险泛函以及经验风险最小化原则的定义,给出并证明了泛空间上样本受噪... 关键定理是统计学习理论的重要组成部分,但目前其研究主要集中在概率空间上且假设样本不受噪声的影响。鉴于此,提出了泛空间上样本受噪声影响的期望风险泛函、经验风险泛函以及经验风险最小化原则的定义,给出并证明了泛空间上样本受噪声影响的学习理论的关键定理。 展开更多

关键词 泛空间 泛随机变量 噪声 经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

基于双重随机样本的统计学习理论的理论基础 被引量：10

14

作者 张植明 田景峰 《计算机工程与应用》 CSCD 北大核心 2008年第17期33-36,共4页

介绍双重随机理论的基本内容。提出双重随机经验风险泛函,双重随机期望风险泛函,双重随机经验风险最小化原则等概念。最后证明基于双重随机样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。为系统建立基于不确定样本的统... 介绍双重随机理论的基本内容。提出双重随机经验风险泛函,双重随机期望风险泛函,双重随机经验风险最小化原则等概念。最后证明基于双重随机样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。为系统建立基于不确定样本的统计学习理论并构建相应的支持向量机奠定了理论基础。 展开更多

关键词 双重随机样本 统计学习理论 双重随机经验风险最小化原则 关键定理 一致收敛速度的界

在线阅读 下载PDF 职称材料

Sugeno测度空间基于复样本的统计学习理论 被引量：3

15

作者 张植明 田景峰 《计算机工程与应用》 CSCD 北大核心 2009年第7期59-64,共6页

引入复g_λ随机变量、准范数的定义,给出了复g_λ随机变量的期望和方差的概念及若干性质;证明了基于复g_λ随机变量的马尔可夫不等式、契比雪夫不等式和辛钦大数定律;提出了Sugeno测度空间中复经验风险泛函、复期望风险泛函以及复经验... 引入复g_λ随机变量、准范数的定义,给出了复g_λ随机变量的期望和方差的概念及若干性质;证明了基于复g_λ随机变量的马尔可夫不等式、契比雪夫不等式和辛钦大数定律;提出了Sugeno测度空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则严格一致性等定义;证明并构建了基于复g_λ随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复g_λ随机样本的统计学习理论奠定了理论基础。 展开更多

关键词 Sugeno测度空间 准范数 复经验风险最小化原则 关键定理 收敛速度的界

在线阅读 下载PDF 职称材料

基于Hybrid样本的学习过程一致收敛速度的界 被引量：2

16

作者 李俊华 白鹤举 《河北大学学报（自然科学版）》 CAS 北大核心 2016年第2期113-116,共4页

学习过程收敛速度的界是统计学习理论的重要组成部分,这些界决定了学习机器的推广能力.以机会理论和Hybrid变量的概念为基础,讨论了基于Hybrid样本的学习过程一致收敛速度的界,并给出了这些界和函数容量之间的关系.

关键词 Hybrid变量 Hybrid经验风险最小化原则 一致收敛速度的界

在线阅读 下载PDF 职称材料

受噪声影响的复拟随机样本的STL关键定理 被引量：1

17

作者 杜二玲 李俊华 《河北大学学报（自然科学版）》 CAS 北大核心 2015年第5期449-452,共4页

引入了拟概率空间上复拟随机样本受噪声影响的复经验风险泛函、复期望风险泛函、复经验风险最小化原则以及严格一致性的定义,提出并证明了拟概率空间上复拟随机样本受噪声影响的学习理论关键定理,为系统建立拟概率空间上基于噪声影响的... 引入了拟概率空间上复拟随机样本受噪声影响的复经验风险泛函、复期望风险泛函、复经验风险最小化原则以及严格一致性的定义,提出并证明了拟概率空间上复拟随机样本受噪声影响的学习理论关键定理,为系统建立拟概率空间上基于噪声影响的复拟随机样本的统计学习理论奠定了基础. 展开更多

关键词 复拟随机样本 噪声 复经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

受噪声影响的复g_λ样本的学习理论的关键定理 被引量：1

18

作者 田景峰 张植明 《计算机工程与应用》 CSCD 北大核心 2009年第5期59-63,共5页

关键定理是统计学习理论的重要组成部分。但是,目前的研究主要集中在实随机变量且样本不受噪声影响。引入了复gλ随机变量、准范数的定义,提出了受噪声影响的复gλ样本的经验风险泛函、期望风险泛函以及经验风险最小化原则严格一致性的... 关键定理是统计学习理论的重要组成部分。但是,目前的研究主要集中在实随机变量且样本不受噪声影响。引入了复gλ随机变量、准范数的定义,提出了受噪声影响的复gλ样本的经验风险泛函、期望风险泛函以及经验风险最小化原则严格一致性的定义;给出并证明了受噪声影响的复gλ样本的学习理论的关键定理,为系统建立基于复gλ样本的统计学习理论奠定了理论基础。 展开更多

关键词 复gλ随机变量 准范数 噪声 经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

基于随机粗糙样本的统计学习理论研究 被引量：1

19

作者 张植明 《计算机工程与应用》 CSCD 北大核心 2008年第31期43-46,63,共5页

介绍随机粗糙理论的基本内容。提出随机粗糙经验风险泛函,随机粗糙期望风险泛函,随机粗糙经验风险最小化原则等概念。最后证明基于随机粗糙样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。

关键词 随机粗糙样本 统计学习理论 随机粗糙经验风险最小化原则 关键定理 一致收敛速度的界

在线阅读 下载PDF 职称材料

模糊样本下学习问题的研究

20

作者 刘杨 刘扬 胡仕成 《计算机工程与应用》 CSCD 北大核心 2008年第20期45-47,共3页

支持向量机是机器学习领域一个研究热点,而统计学习理论中的关键定理为支持向量机的研究提供了重要的理论基础。基于模糊样本,提出了模糊经验风险最小化原则和非平凡一致性的概念,提出并证明了基于模糊样本的学习理论的关键定理,为研究... 支持向量机是机器学习领域一个研究热点,而统计学习理论中的关键定理为支持向量机的研究提供了重要的理论基础。基于模糊样本,提出了模糊经验风险最小化原则和非平凡一致性的概念,提出并证明了基于模糊样本的学习理论的关键定理,为研究模糊支持向量机提供了依据。 展开更多

关键词 支持向量机 模糊风险泛函 经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料