基于复随机样本的结构风险最小化原则 被引量：8

1

作者 哈明虎 田景峰 张植明 《计算机研究与发展》 EI CSCD 北大核心 2009年第11期1907-1916,共10页

统计学习理论目前是处理小样本学习问题的最佳理论.然而,该理论主要是针对实随机样本的,它难以讨论和处理现实世界中客观存在的涉及复随机样本的小样本统计学习问题.结构风险最小化原则是统计学习理论的核心内容之一,是构建支持向量机... 统计学习理论目前是处理小样本学习问题的最佳理论.然而,该理论主要是针对实随机样本的,它难以讨论和处理现实世界中客观存在的涉及复随机样本的小样本统计学习问题.结构风险最小化原则是统计学习理论的核心内容之一,是构建支持向量机的重要基础.基于此,研究了基于复随机样本的统计学习理论的结构风险最小化原则.首先,给出了标志复可测函数集容量的退火熵、生长函数和VC维的定义,并证明了它们的一些性质;其次,构建了基于复随机样本的学习过程一致收敛速度的界;最后,给出了基于复随机样本的结构风险最小化原则,证明了该原则是一致的,同时推导出了收敛速度的界. 展开更多

关键词 统计学习理论 结构风险最小化原则 支持向量机 复随机样本 VC维

在线阅读 下载PDF 职称材料

基于模糊随机样本的结构风险最小化原则 被引量：4

2

作者 何其慧 姚登宝 +1 位作者 王翠翠 毛军军 《计算机工程与应用》 CSCD 北大核心 2011年第34期51-55,144,共6页

基于模糊随机样本,提出了熵、退火熵、生长函数和VC维等概念,并在此基础上构建了基于VC维的学习过程一致收敛速度的界;给出了基于模糊随机样本的结构风险最小化原则(FSSRM原则),证明了基于FSSRM原则下收敛速度渐进分析的相关性质。

关键词 模糊随机样本 VC维 结构风险最小化原则 渐进分析

在线阅读 下载PDF 职称材料

基于β-混合输入的经验风险最小化回归的学习速率(英文) 被引量：2

3

作者 邹斌 徐宗本 张海 《应用概率统计》 CSCD 北大核心 2011年第6期597-613,共17页

研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独... 研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独立输入样本这个经典框架来研究了基于β混合输入样本的经验风险最小化回归算法学习速率的界.我们证明了基于β混合输入样本的经验风险最小化回归算法是一致的,指出了本文所建立的结果同样适合输入样本是马氏链、隐马氏链的情形. 展开更多

关键词 学习速率 经验风险最小化 β混合 最小平方损失.

在线阅读 下载PDF 职称材料

基于随机粗糙样本的结构风险最小化原则 被引量：4

4

作者 张植明 田景峰 《计算机工程与应用》 CSCD 北大核心 2010年第21期51-54,共4页

提出了退火熵,生长函数和VC维等概念,构建了基于VC维的学习过程一致收敛速度的界。然后以这些界为基础,给出基于随机粗糙样本的结构风险最小化原则。最后证明该原则是一致的并且推导出了关于渐近收敛速度的界。

关键词 随机粗糙样本 退火熵 生长函数 VC维 结构风险最小化原则 渐进收敛速度的界

在线阅读 下载PDF 职称材料

双重随机样本的结构风险最小化原则 被引量：5

5

作者 张植明 《计算机工程与应用》 CSCD 北大核心 2009年第1期51-55,共5页

提出退火熵、生长函数和VC维等概念,构建基于VC维的学习过程一致收敛速度的界。以这些界为基础,给出基于双重随机样本的结构风险最小化原则。最后证明该原则是一致的并且推导出了关于渐近收敛速度的界。

关键词 双重随机样本 退火熵 生长函数 VC维 结构风险最小化原则 渐近收敛速率的界

在线阅读 下载PDF 职称材料

拟概率空间上结构风险最小化原则

6

作者 白云超 张植明 《计算机工程与应用》 CSCD 北大核心 2010年第20期37-39,共3页

首先,给出了拟概率空间上结构风险最小化原则。然后,为了解决在拟概率空间上结构风险是否一致收敛到期望风险,也就是根据这个最小化原则结构风险是否能收敛到最小可能的风险,给出并证明了结构风险最小化原则的一致收敛性。

关键词 拟概率 结构风险最小化原则 一致收敛速度的界

在线阅读 下载PDF 职称材料

基于经验风险的中心文本分类算法

7

作者 周晓堂 欧阳继红 李熙铭 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2013年第5期876-880,共5页

采用经验风险最小化归纳原则和梯度下降方法调整传统中心分类法的类别中心向量,解决了传统中心分类法因忽略训练集文本权值因素而导致的类别中心向量表达能力较差问题,得到了与支持向量机分类性能基本一致的一种改进的中心分类法.实验... 采用经验风险最小化归纳原则和梯度下降方法调整传统中心分类法的类别中心向量,解决了传统中心分类法因忽略训练集文本权值因素而导致的类别中心向量表达能力较差问题,得到了与支持向量机分类性能基本一致的一种改进的中心分类法.实验结果表明,该方法是提高中心分类法分类性能的一种有效方法. 展开更多

关键词 文本分类 中心分类法 经验风险最小化

在线阅读 下载PDF 职称材料

基于复拟随机样本的统计学习理论的理论基础 被引量：11

8

作者 张植明 田景峰 哈明虎 《计算机工程与应用》 CSCD 北大核心 2008年第9期82-86,93,共6页

引入复拟(概率)随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最... 引入复拟(概率)随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则等定义。证明并讨论了基于复拟随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复拟随机样本的统计学习理论奠定了理论基础。 展开更多

关键词 复拟随机变量 准范数 复经验风险最小化原则 关键定理 收敛速度的界 神经网络

在线阅读 下载PDF 职称材料

受噪声影响的复hybrid样本的学习理论关键定理 被引量：7

9

作者 李俊华 李海军 《河北大学学报（自然科学版）》 CAS 北大核心 2014年第1期14-18,82,共6页

结合机会测度理论和统计学习理论,提出了机会空间上受噪声影响的复hybrid样本的复期望风险泛函、复经验风险泛函以及复经验风险最小化原则的定义,给出并证明了机会空间上受噪声影响的复hybrid样本的学习理论的关键定理.

关键词 机会空间 复hybrid变量 噪声 复经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

Sugeno测度空间基于复样本的统计学习理论 被引量：3

10

作者 张植明 田景峰 《计算机工程与应用》 CSCD 北大核心 2009年第7期59-64,共6页

引入复g_λ随机变量、准范数的定义,给出了复g_λ随机变量的期望和方差的概念及若干性质;证明了基于复g_λ随机变量的马尔可夫不等式、契比雪夫不等式和辛钦大数定律;提出了Sugeno测度空间中复经验风险泛函、复期望风险泛函以及复经验... 引入复g_λ随机变量、准范数的定义,给出了复g_λ随机变量的期望和方差的概念及若干性质;证明了基于复g_λ随机变量的马尔可夫不等式、契比雪夫不等式和辛钦大数定律;提出了Sugeno测度空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则严格一致性等定义;证明并构建了基于复g_λ随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复g_λ随机样本的统计学习理论奠定了理论基础。 展开更多

关键词 Sugeno测度空间 准范数 复经验风险最小化原则 关键定理 收敛速度的界

在线阅读 下载PDF 职称材料

受噪声影响的复拟随机样本的STL关键定理 被引量：1

11

作者 杜二玲 李俊华 《河北大学学报（自然科学版）》 CAS 北大核心 2015年第5期449-452,共4页

引入了拟概率空间上复拟随机样本受噪声影响的复经验风险泛函、复期望风险泛函、复经验风险最小化原则以及严格一致性的定义,提出并证明了拟概率空间上复拟随机样本受噪声影响的学习理论关键定理,为系统建立拟概率空间上基于噪声影响的... 引入了拟概率空间上复拟随机样本受噪声影响的复经验风险泛函、复期望风险泛函、复经验风险最小化原则以及严格一致性的定义,提出并证明了拟概率空间上复拟随机样本受噪声影响的学习理论关键定理,为系统建立拟概率空间上基于噪声影响的复拟随机样本的统计学习理论奠定了基础. 展开更多

关键词 复拟随机样本 噪声 复经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

复合ICA-SVM机械状态模式分类 被引量：6

12

作者 焦卫东 杨世锡 吴昭同 《中国机械工程》 EI CAS CSCD 北大核心 2004年第1期62-65,共4页

提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持... 提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持向量机分类方法具有更好的推广能力。而借助多个独立分量分析网络 ,隐藏于多通道振动观测信号中的不变特征得到有效提取 ,从而实现了支持向量机分类器在分类能力和推广性两者间的合理平衡。 展开更多

关键词 独立分量分析 残余总体相关 经验风险最小化 结构风险最小化

在线阅读 下载PDF 职称材料

支撑向量机回归的简化SMO算法 被引量：9

13

作者 杨杰 叶晨洲 +1 位作者 全勇 陈念贻 《红外与激光工程》 EI CSCD 北大核心 2004年第5期533-537,共5页

统计学习理论中提出的支撑向量机回归(SVR)遵循了结构风险最小化原则,从而避免了一味追求经验风险最小化带来的弊端。采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上提出了一种用于SVR的简化SMO算法。与SVR现... 统计学习理论中提出的支撑向量机回归(SVR)遵循了结构风险最小化原则,从而避免了一味追求经验风险最小化带来的弊端。采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上提出了一种用于SVR的简化SMO算法。与SVR现有的SMO算法相比,简化算法的数学形式简洁直观,在不增加算法空间和时间复杂度的前提下避免了大量繁复的判别条件,较大幅度地简化了算法实现,有利于SVR的广泛使用。 展开更多

关键词 SMO算法 支撑向量机 统计学习理论 时间复杂度 简化算法 算法实现 结构风险最小化原则 数学形式 判别条件 回归

在线阅读 下载PDF 职称材料

社区发展与计划生育一体化 被引量：4

14

作者 戴星翼 梁鸿 《人口与经济》 CSSCI 北大核心 1994年第1期14-20,共7页

一、中国传统农村社区 我国农村当前的社会经济发展处于怎样的阶段,很不好说。其原因主要来自两方面,一是中国太大,内部差距也太大;二是与我们建国以来曲折历程有关,即一方面,解放之后党和政府致力于推动农村生产力的发展和社会进步。

关键词 计划生育 风险最小化原则 社区发展 现代社区 生育意愿 农村社区 经济机会 效益最大化原则 自然经济 经济活动

在线阅读 下载PDF 职称材料

受噪声影响的复g_λ样本的学习理论的关键定理 被引量：1

15

作者 田景峰 张植明 《计算机工程与应用》 CSCD 北大核心 2009年第5期59-63,共5页

关键定理是统计学习理论的重要组成部分。但是,目前的研究主要集中在实随机变量且样本不受噪声影响。引入了复gλ随机变量、准范数的定义,提出了受噪声影响的复gλ样本的经验风险泛函、期望风险泛函以及经验风险最小化原则严格一致性的... 关键定理是统计学习理论的重要组成部分。但是,目前的研究主要集中在实随机变量且样本不受噪声影响。引入了复gλ随机变量、准范数的定义,提出了受噪声影响的复gλ样本的经验风险泛函、期望风险泛函以及经验风险最小化原则严格一致性的定义;给出并证明了受噪声影响的复gλ样本的学习理论的关键定理,为系统建立基于复gλ样本的统计学习理论奠定了理论基础。 展开更多

关键词 复gλ随机变量 准范数 噪声 经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

基于算法稳定的ERM原则一致性的研究

16

作者 周德强 邹斌 《高校应用数学学报（A辑）》 CSCD 北大核心 2008年第2期235-242,共8页

通过对变一误差估计下算法稳定的研究,提出了不依赖于样本分布的CO稳定的概念,证明了CO稳定不仅是变一误差估计条件下ERM原则一致性的充要条件,而且也是学习算法具有推广性的充分条件.

关键词 经验风险最小化原则 算法稳定 变一误差估计

在线阅读 下载PDF 职称材料

泛化界正则项:理解权重衰减正则形式的统一视角 被引量：3

17

作者 李翔 陈硕 杨健 《计算机学报》 EI CAS CSCD 北大核心 2021年第10期2122-2134,共13页

经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重... 经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重要.然而,WD的具体形式仅仅是在优化过程中不断缩小所学习的模型参数,这很难与提升泛化能力这个概念直接地联系起来,尤其是对于多层深度网络而言.本文首先从计算学习理论(learning theory)中的鲁棒性(robustness)与泛化性(generalization)之间的量化关系出发,推导出了一个统一的泛化界正则项(Generalization Bound Regularizer,GBR)来理解WD的作用.本文证明了优化WD项(作为损失目标函数的一部分)本质上是在优化GBR的上界,而GBR则与模型的泛化能力有着理论上的直接关联.对于单层线性系统,本文可以直接推导出该上界;对于多层深度神经网络,该上界可以通过几个不等式的松弛来获得.本文通过引入均等范数约束(Equivalent Norm Constraint,ENC)即保证上述不等式的取等条件来进一步压缩GBR与其上界之间的距离,从而获得具有更好泛化能力的网络模型,该模型的识别性能在大型ImageNet数据集上得到了全面的验证. 展开更多

关键词 泛化界正则项 经验风险最小化 权重衰减 均等范数约束 深度神经网络

在线阅读 下载PDF 职称材料

高斯核支持向量机分类和模型参数选择研究 被引量：41

18

作者 郑小霞 钱锋 《计算机工程与应用》 CSCD 北大核心 2006年第1期77-79,共3页

支持向量机(SupportVectorMachine,SVM)是近几年发展起来的机器学习新方法,以高斯核为核函数的支持向量机在实际应用中表现出良好的学习性能,被广泛应用于模式分类中。论文研究了高斯核支持向量机分类在IRIS分类问题上的应用,并结合结... 支持向量机(SupportVectorMachine,SVM)是近几年发展起来的机器学习新方法,以高斯核为核函数的支持向量机在实际应用中表现出良好的学习性能,被广泛应用于模式分类中。论文研究了高斯核支持向量机分类在IRIS分类问题上的应用,并结合结构风险最小化原则分析了误差惩罚参数C和高斯核宽度σ对SVM性能的影响,最后通过数值实验进一步分析了这种影响。 展开更多

关键词 支持向量机 结构风险最小化原则 高斯核 核参数

在线阅读 下载PDF 职称材料

支持向量机分类器中几个问题的研究 被引量：33

19

作者 朱永生 张优云 《计算机工程与应用》 CSCD 北大核心 2003年第13期36-38,共3页

研究了核参数和误差惩罚参数对支持向量机推广能力的影响方式,指出核参数主要影响数据在特征空间中的分布,误差惩罚参数在特征空间中确定经验风险水平而影响SVM的性能。指出特征空间维数和学习机器复杂度并没有直接关系,讨论了结构风险... 研究了核参数和误差惩罚参数对支持向量机推广能力的影响方式,指出核参数主要影响数据在特征空间中的分布,误差惩罚参数在特征空间中确定经验风险水平而影响SVM的性能。指出特征空间维数和学习机器复杂度并没有直接关系,讨论了结构风险最小化原则,最后给出了支持向量机和神经网络训练方法的差别和仿真试验结果。 展开更多

关键词 支持向量机 核参数 结构风险最小化原则

在线阅读 下载PDF 职称材料

基于极限学习机的配电网重构 被引量：14

20

作者 吴登国 李晓明 《电力自动化设备》 EI CSCD 北大核心 2013年第2期47-51,56,共6页

为使配电网重构有功功率损耗最小,提出一种基于极限学习机的神经网络重构模型来反映配电网负荷模式与开关状态之间的非线性关系。将配电网负荷模式作为输入、网损最小时的开关状态作为输出,利用所提模型网络结构简单、学习速度快的优势... 为使配电网重构有功功率损耗最小,提出一种基于极限学习机的神经网络重构模型来反映配电网负荷模式与开关状态之间的非线性关系。将配电网负荷模式作为输入、网损最小时的开关状态作为输出,利用所提模型网络结构简单、学习速度快的优势进行配电网重构。引入统计学习理论中的结构风险最小化准则来改进基于经验风险最小化的极限学习机,使经验风险和置信范围最小,从而使实际风险最小,减小期望误差。通过2个典型算例对配电网重构进行仿真研究,并对基于支持向量机、BP神经网络和基于经验风险最小化的极限学习机重构模型进行比较,结果表明所提模型在保持学习速度快的同时,泛化性能更高。 展开更多

关键词 配电网重构 最小化网损 极限学习机 结构风险 经验风险 模型 配电 风险

在线阅读 下载PDF 职称材料