基于随机粗糙样本的结构风险最小化原则 被引量：4

1

作者 张植明 田景峰 《计算机工程与应用》 CSCD 北大核心 2010年第21期51-54,共4页

提出了退火熵,生长函数和VC维等概念,构建了基于VC维的学习过程一致收敛速度的界。然后以这些界为基础,给出基于随机粗糙样本的结构风险最小化原则。最后证明该原则是一致的并且推导出了关于渐近收敛速度的界。

关键词 随机粗糙样本 退火熵 生长函数 VC维 结构风险最小化原则 渐进收敛速度的界

在线阅读 下载PDF 职称材料

基于复随机样本的结构风险最小化原则 被引量：8

2

作者 哈明虎 田景峰 张植明 《计算机研究与发展》 EI CSCD 北大核心 2009年第11期1907-1916,共10页

统计学习理论目前是处理小样本学习问题的最佳理论.然而,该理论主要是针对实随机样本的,它难以讨论和处理现实世界中客观存在的涉及复随机样本的小样本统计学习问题.结构风险最小化原则是统计学习理论的核心内容之一,是构建支持向量机... 统计学习理论目前是处理小样本学习问题的最佳理论.然而,该理论主要是针对实随机样本的,它难以讨论和处理现实世界中客观存在的涉及复随机样本的小样本统计学习问题.结构风险最小化原则是统计学习理论的核心内容之一,是构建支持向量机的重要基础.基于此,研究了基于复随机样本的统计学习理论的结构风险最小化原则.首先,给出了标志复可测函数集容量的退火熵、生长函数和VC维的定义,并证明了它们的一些性质;其次,构建了基于复随机样本的学习过程一致收敛速度的界;最后,给出了基于复随机样本的结构风险最小化原则,证明了该原则是一致的,同时推导出了收敛速度的界. 展开更多

关键词 统计学习理论 结构风险最小化原则 支持向量机 复随机样本 VC维

在线阅读 下载PDF 职称材料

基于模糊随机样本的结构风险最小化原则 被引量：4

3

作者 何其慧 姚登宝 +1 位作者 王翠翠 毛军军 《计算机工程与应用》 CSCD 北大核心 2011年第34期51-55,144,共6页

基于模糊随机样本,提出了熵、退火熵、生长函数和VC维等概念,并在此基础上构建了基于VC维的学习过程一致收敛速度的界;给出了基于模糊随机样本的结构风险最小化原则(FSSRM原则),证明了基于FSSRM原则下收敛速度渐进分析的相关性质。

关键词 模糊随机样本 VC维 结构风险最小化原则 渐进分析

在线阅读 下载PDF 职称材料

基于β-混合输入的经验风险最小化回归的学习速率(英文) 被引量：2

4

作者 邹斌 徐宗本 张海 《应用概率统计》 CSCD 北大核心 2011年第6期597-613,共17页

研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独... 研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独立输入样本这个经典框架来研究了基于β混合输入样本的经验风险最小化回归算法学习速率的界.我们证明了基于β混合输入样本的经验风险最小化回归算法是一致的,指出了本文所建立的结果同样适合输入样本是马氏链、隐马氏链的情形. 展开更多

关键词 学习速率 经验风险最小化 β混合 最小平方损失.

在线阅读 下载PDF 职称材料

双重随机样本的结构风险最小化原则 被引量：5

5

作者 张植明 《计算机工程与应用》 CSCD 北大核心 2009年第1期51-55,共5页

提出退火熵、生长函数和VC维等概念,构建基于VC维的学习过程一致收敛速度的界。以这些界为基础,给出基于双重随机样本的结构风险最小化原则。最后证明该原则是一致的并且推导出了关于渐近收敛速度的界。

关键词 双重随机样本 退火熵 生长函数 VC维 结构风险最小化原则 渐近收敛速率的界

在线阅读 下载PDF 职称材料

粗糙集学习机器泛化性能控制的结构风险最小化方法

6

作者 刘金福 于达仁 《计算机科学》 CSCD 北大核心 2009年第12期210-213,共4页

对影响粗糙集学习机器泛化性能的因素进行了分析,通过将结构风险最小化原则引入到粗糙集学习中,提出了粗糙集学习的结构风险最小化方法;通过12个UCI数据集上的实验分析,验证了提出方法的有效性。

关键词 粗糙集 泛化性能 结构风险最小化

在线阅读 下载PDF 职称材料

拟概率空间上结构风险最小化原则

7

作者 白云超 张植明 《计算机工程与应用》 CSCD 北大核心 2010年第20期37-39,共3页

首先,给出了拟概率空间上结构风险最小化原则。然后,为了解决在拟概率空间上结构风险是否一致收敛到期望风险,也就是根据这个最小化原则结构风险是否能收敛到最小可能的风险,给出并证明了结构风险最小化原则的一致收敛性。

关键词 拟概率 结构风险最小化原则 一致收敛速度的界

在线阅读 下载PDF 职称材料

决策风险最小化属性约简 被引量：12

8

作者 贾修一 商琳 陈家骏 《计算机科学与探索》 CSCD 2011年第2期155-160,共6页

决策粗糙集模型下目前定义的属性约简都要求约简前后正区域保持不变或者非负区域不变等,而属性约简所带来的区域变化的好坏却无法判断,只能人为地偏向于保持或增大正区域或非负区域,这在理论性和可解释性上存在一定的困难。属性减少所... 决策粗糙集模型下目前定义的属性约简都要求约简前后正区域保持不变或者非负区域不变等,而属性约简所带来的区域变化的好坏却无法判断,只能人为地偏向于保持或增大正区域或非负区域,这在理论性和可解释性上存在一定的困难。属性减少所带来的前后区域变化实际上是由决策风险所决定的,基于此提出一种与各个区域无关基于决策风险最小化的属性约简,使得决策者基于约简后的属性集合所作的决策风险最小。约简只与决策风险相关,不再通过区域变化来解释,使得定义的约简在理论性和可解释性上更强。 展开更多

关键词 决策粗糙集模型 属性约简 风险最小化

在线阅读 下载PDF 职称材料

一种有效的基于风险最小化的属性约简算法 被引量：6

9

作者 于洪 姚园 赵军 《南京大学学报（自然科学版）》 CAS CSCD 北大核心 2013年第2期210-216,共7页

基于粗糙集理论定义的属性约简大都要求约简前后正区域保持不变或者非负区域不变.在概率型决策粗糙集模型下,决策区域和决策规则与属性增减之间并不具备单调性.因此,决策者基于约简后的属性集合所作的决策风险最小就变得非常有意义.针... 基于粗糙集理论定义的属性约简大都要求约简前后正区域保持不变或者非负区域不变.在概率型决策粗糙集模型下,决策区域和决策规则与属性增减之间并不具备单调性.因此,决策者基于约简后的属性集合所作的决策风险最小就变得非常有意义.针对这种与各个区域无关的基于决策风险最小化的属性约简进行了研究.考虑到不同属性对决策表的决策分类能力不同,提出了基于决策粗糙集模型的属性重要性概念,设计了一种有效的基于属性重要性的决策风险最小化启发式属性约简算法.实例分析与对比实验结果说明新方法是有效的. 展开更多

关键词 属性约简 风险最小化 属性重要性 决策粗糙集

在线阅读 下载PDF 职称材料

基于联合属性重要度的决策风险最小化属性约简 被引量：3

10

作者 徐菲菲 毕忠勤 雷景生 《计算机科学》 CSCD 北大核心 2016年第S1期40-43,共4页

经典粗糙集属性约简基本都是保持正域、负域和边界域不变,而决策粗糙集对属性的增减过程不具备单调性,因此不可能同时保持3个区域均不变。在决策粗糙集模型中,作出决策更应该考虑风险最小化原则,因此提出一种改进的风险最小化属性约简方... 经典粗糙集属性约简基本都是保持正域、负域和边界域不变,而决策粗糙集对属性的增减过程不具备单调性,因此不可能同时保持3个区域均不变。在决策粗糙集模型中,作出决策更应该考虑风险最小化原则,因此提出一种改进的风险最小化属性约简方法,在属性的选取过程中同时考虑所选取的属性子集对决策的划分能力,即联合属性重要度以及风险最小化。实验证明所提方法是有效的。 展开更多

关键词 属性约简 风险最小化 联合属性重要度 决策粗糙集

在线阅读 下载PDF 职称材料

基于经验风险的中心文本分类算法

11

作者 周晓堂 欧阳继红 李熙铭 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2013年第5期876-880,共5页

采用经验风险最小化归纳原则和梯度下降方法调整传统中心分类法的类别中心向量,解决了传统中心分类法因忽略训练集文本权值因素而导致的类别中心向量表达能力较差问题,得到了与支持向量机分类性能基本一致的一种改进的中心分类法.实验... 采用经验风险最小化归纳原则和梯度下降方法调整传统中心分类法的类别中心向量,解决了传统中心分类法因忽略训练集文本权值因素而导致的类别中心向量表达能力较差问题,得到了与支持向量机分类性能基本一致的一种改进的中心分类法.实验结果表明,该方法是提高中心分类法分类性能的一种有效方法. 展开更多

关键词 文本分类 中心分类法 经验风险最小化

在线阅读 下载PDF 职称材料

一种基于粗糙变量的学习算法的基础研究 被引量：2

12

作者 董开坤 刘杨 +2 位作者 刘扬 胡仕成 刘慧霞 《计算机工程与应用》 CSCD 北大核心 2008年第10期40-42,70,共4页

支持向量机目前已成为机器学习领域新的研究热点,而统计学习理论中的关键定理为支持向量机等的研究提供了重要的理论基础。提出了粗糙经验风险最小化原则,提出并证明了一种基于粗糙变量的学习理论的关键定理,为研究粗糙支持向量机等应... 支持向量机目前已成为机器学习领域新的研究热点,而统计学习理论中的关键定理为支持向量机等的研究提供了重要的理论基础。提出了粗糙经验风险最小化原则,提出并证明了一种基于粗糙变量的学习理论的关键定理,为研究粗糙支持向量机等应用性研究提供了依据。 展开更多

关键词 向量机 信赖理论 信赖统计 粗糙经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

基于随机粗糙样本的统计学习理论研究 被引量：1

13

作者 张植明 《计算机工程与应用》 CSCD 北大核心 2008年第31期43-46,63,共5页

介绍随机粗糙理论的基本内容。提出随机粗糙经验风险泛函,随机粗糙期望风险泛函,随机粗糙经验风险最小化原则等概念。最后证明基于随机粗糙样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。

关键词 随机粗糙样本 统计学习理论 随机粗糙经验风险最小化原则 关键定理 一致收敛速度的界

在线阅读 下载PDF 职称材料

支撑向量机回归的简化SMO算法 被引量：9

14

作者 杨杰 叶晨洲 +1 位作者 全勇 陈念贻 《红外与激光工程》 EI CSCD 北大核心 2004年第5期533-537,共5页

统计学习理论中提出的支撑向量机回归(SVR)遵循了结构风险最小化原则,从而避免了一味追求经验风险最小化带来的弊端。采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上提出了一种用于SVR的简化SMO算法。与SVR现... 统计学习理论中提出的支撑向量机回归(SVR)遵循了结构风险最小化原则,从而避免了一味追求经验风险最小化带来的弊端。采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上提出了一种用于SVR的简化SMO算法。与SVR现有的SMO算法相比,简化算法的数学形式简洁直观,在不增加算法空间和时间复杂度的前提下避免了大量繁复的判别条件,较大幅度地简化了算法实现,有利于SVR的广泛使用。 展开更多

关键词 SMO算法 支撑向量机 统计学习理论 时间复杂度 简化算法 算法实现 结构风险最小化原则 数学形式 判别条件 回归

在线阅读 下载PDF 职称材料

基于粗糙集理论与支持向量回归的预测模型 被引量：4

15

作者 姜德民 王磊 +1 位作者 徐义田 袁冬梅 《统计与决策》 CSSCI 北大核心 2008年第10期32-33,共2页

文章将粗糙集与支持向量回归有机结合起来,建立了一种基于粗糙集数据预处理的支持向量回归模型,有效地克服了支持向量回归对样本属性重要性不加区分以及处理大量数据时运算速度慢等缺陷,并将该模型成功地应用到我国粮食产量的预测中,取... 文章将粗糙集与支持向量回归有机结合起来,建立了一种基于粗糙集数据预处理的支持向量回归模型,有效地克服了支持向量回归对样本属性重要性不加区分以及处理大量数据时运算速度慢等缺陷,并将该模型成功地应用到我国粮食产量的预测中,取得了较好的预测效果。 展开更多

关键词 支持向量回归 结构风险最小化 粗糙集理论 属性约减 粮食产量预测

在线阅读 下载PDF 职称材料

社区发展与计划生育一体化 被引量：4

16

作者 戴星翼 梁鸿 《人口与经济》 CSSCI 北大核心 1994年第1期14-20,共7页

一、中国传统农村社区 我国农村当前的社会经济发展处于怎样的阶段,很不好说。其原因主要来自两方面,一是中国太大,内部差距也太大;二是与我们建国以来曲折历程有关,即一方面,解放之后党和政府致力于推动农村生产力的发展和社会进步。

关键词 计划生育 风险最小化原则 社区发展 现代社区 生育意愿 农村社区 经济机会 效益最大化原则 自然经济 经济活动

在线阅读 下载PDF 职称材料

基于算法稳定的ERM原则一致性的研究

17

作者 周德强 邹斌 《高校应用数学学报（A辑）》 CSCD 北大核心 2008年第2期235-242,共8页

通过对变一误差估计下算法稳定的研究,提出了不依赖于样本分布的CO稳定的概念,证明了CO稳定不仅是变一误差估计条件下ERM原则一致性的充要条件,而且也是学习算法具有推广性的充分条件.

关键词 经验风险最小化原则 算法稳定 变一误差估计

在线阅读 下载PDF 职称材料

泛化界正则项:理解权重衰减正则形式的统一视角 被引量：3

18

作者 李翔 陈硕 杨健 《计算机学报》 EI CAS CSCD 北大核心 2021年第10期2122-2134,共13页

经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重... 经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重要.然而,WD的具体形式仅仅是在优化过程中不断缩小所学习的模型参数,这很难与提升泛化能力这个概念直接地联系起来,尤其是对于多层深度网络而言.本文首先从计算学习理论(learning theory)中的鲁棒性(robustness)与泛化性(generalization)之间的量化关系出发,推导出了一个统一的泛化界正则项(Generalization Bound Regularizer,GBR)来理解WD的作用.本文证明了优化WD项(作为损失目标函数的一部分)本质上是在优化GBR的上界,而GBR则与模型的泛化能力有着理论上的直接关联.对于单层线性系统,本文可以直接推导出该上界;对于多层深度神经网络,该上界可以通过几个不等式的松弛来获得.本文通过引入均等范数约束(Equivalent Norm Constraint,ENC)即保证上述不等式的取等条件来进一步压缩GBR与其上界之间的距离,从而获得具有更好泛化能力的网络模型,该模型的识别性能在大型ImageNet数据集上得到了全面的验证. 展开更多

关键词 泛化界正则项 经验风险最小化 权重衰减 均等范数约束 深度神经网络

在线阅读 下载PDF 职称材料

复合ICA-SVM机械状态模式分类 被引量：6

19

作者 焦卫东 杨世锡 吴昭同 《中国机械工程》 EI CAS CSCD 北大核心 2004年第1期62-65,共4页

提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持... 提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持向量机分类方法具有更好的推广能力。而借助多个独立分量分析网络 ,隐藏于多通道振动观测信号中的不变特征得到有效提取 ,从而实现了支持向量机分类器在分类能力和推广性两者间的合理平衡。 展开更多

关键词 独立分量分析 残余总体相关 经验风险最小化 结构风险最小化

在线阅读 下载PDF 职称材料

高斯核支持向量机分类和模型参数选择研究 被引量：41

20

作者 郑小霞 钱锋 《计算机工程与应用》 CSCD 北大核心 2006年第1期77-79,共3页

支持向量机(SupportVectorMachine,SVM)是近几年发展起来的机器学习新方法,以高斯核为核函数的支持向量机在实际应用中表现出良好的学习性能,被广泛应用于模式分类中。论文研究了高斯核支持向量机分类在IRIS分类问题上的应用,并结合结... 支持向量机(SupportVectorMachine,SVM)是近几年发展起来的机器学习新方法,以高斯核为核函数的支持向量机在实际应用中表现出良好的学习性能,被广泛应用于模式分类中。论文研究了高斯核支持向量机分类在IRIS分类问题上的应用,并结合结构风险最小化原则分析了误差惩罚参数C和高斯核宽度σ对SVM性能的影响,最后通过数值实验进一步分析了这种影响。 展开更多

关键词 支持向量机 结构风险最小化原则 高斯核 核参数

在线阅读 下载PDF 职称材料