基于β-混合输入的经验风险最小化回归的学习速率(英文) 被引量：2

1

作者 邹斌 徐宗本 张海 《应用概率统计》 CSCD 北大核心 2011年第6期597-613,共17页

研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独... 研究最小平方损失下的经验风险最小化算法是统计学习理论中非常重要研究内容之一.而以往研究经验风险最小化回归学习速率的几乎所有工作都是基于独立同分布输入假设的.然而,独立的输入样本是一个非常强的条件.因此,在本文,我们超出了独立输入样本这个经典框架来研究了基于β混合输入样本的经验风险最小化回归算法学习速率的界.我们证明了基于β混合输入样本的经验风险最小化回归算法是一致的,指出了本文所建立的结果同样适合输入样本是马氏链、隐马氏链的情形. 展开更多

关键词 学习速率 经验风险最小化 β混合 最小平方损失.

在线阅读 下载PDF 职称材料

粗糙集学习机器泛化性能控制的结构风险最小化方法

2

作者 刘金福 于达仁 《计算机科学》 CSCD 北大核心 2009年第12期210-213,共4页

对影响粗糙集学习机器泛化性能的因素进行了分析,通过将结构风险最小化原则引入到粗糙集学习中,提出了粗糙集学习的结构风险最小化方法;通过12个UCI数据集上的实验分析,验证了提出方法的有效性。

关键词 粗糙集 泛化性能 结构风险最小化

在线阅读 下载PDF 职称材料

基于数据表示不变性的域泛化研究 被引量：2

3

作者 倪云昊 黄雷 《图学学报》 CSCD 北大核心 2024年第4期705-713,共9页

域泛化是人工智能近几年非常热门的一个研究方向,希望在不同的数据分布中学习到与任务相关的不变表征,即移除不同域在学习任务中的影响,从而提升模型的域泛化能力。为提升模型域泛化能力,利用基于不变性风险最小化的思想,具体将神经网... 域泛化是人工智能近几年非常热门的一个研究方向,希望在不同的数据分布中学习到与任务相关的不变表征,即移除不同域在学习任务中的影响,从而提升模型的域泛化能力。为提升模型域泛化能力,利用基于不变性风险最小化的思想,具体将神经网络分为特征提取器和不变性分类器进行分别探究。在特征提取器上,采用了基于牛顿迭代的组白化方法来控制激活值的分布,从而使得不同的图像经过神经网络后能够去除部分域信息,以求达到域泛化的目的;在不变性分类器上,探究了特征和权重的规范化方法对模型域泛化效果的影响,并提出了基于余弦相似度损失函数的雪花算法,该算法提升了模型域泛化的准确率。此外,提供了关于雪花算法的理论推导并做了深入分析,为实验提供了理论支撑。 展开更多

关键词 域泛化 不变风险最小化 组白化 迭代白化 雪花算法

在线阅读 下载PDF 职称材料

泛化界正则项:理解权重衰减正则形式的统一视角 被引量：3

4

作者 李翔 陈硕 杨健 《计算机学报》 EI CAS CSCD 北大核心 2021年第10期2122-2134,共13页

经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重... 经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重要.然而,WD的具体形式仅仅是在优化过程中不断缩小所学习的模型参数,这很难与提升泛化能力这个概念直接地联系起来,尤其是对于多层深度网络而言.本文首先从计算学习理论(learning theory)中的鲁棒性(robustness)与泛化性(generalization)之间的量化关系出发,推导出了一个统一的泛化界正则项(Generalization Bound Regularizer,GBR)来理解WD的作用.本文证明了优化WD项(作为损失目标函数的一部分)本质上是在优化GBR的上界,而GBR则与模型的泛化能力有着理论上的直接关联.对于单层线性系统,本文可以直接推导出该上界;对于多层深度神经网络,该上界可以通过几个不等式的松弛来获得.本文通过引入均等范数约束(Equivalent Norm Constraint,ENC)即保证上述不等式的取等条件来进一步压缩GBR与其上界之间的距离,从而获得具有更好泛化能力的网络模型,该模型的识别性能在大型ImageNet数据集上得到了全面的验证. 展开更多

关键词 泛化界正则项 经验风险最小化 权重衰减 均等范数约束 深度神经网络

在线阅读 下载PDF 职称材料

基于经验风险的中心文本分类算法

5

作者 周晓堂 欧阳继红 李熙铭 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2013年第5期876-880,共5页

采用经验风险最小化归纳原则和梯度下降方法调整传统中心分类法的类别中心向量,解决了传统中心分类法因忽略训练集文本权值因素而导致的类别中心向量表达能力较差问题,得到了与支持向量机分类性能基本一致的一种改进的中心分类法.实验... 采用经验风险最小化归纳原则和梯度下降方法调整传统中心分类法的类别中心向量,解决了传统中心分类法因忽略训练集文本权值因素而导致的类别中心向量表达能力较差问题,得到了与支持向量机分类性能基本一致的一种改进的中心分类法.实验结果表明,该方法是提高中心分类法分类性能的一种有效方法. 展开更多

关键词 文本分类 中心分类法 经验风险最小化

在线阅读 下载PDF 职称材料

噪声影响的泛空间上的学习理论关键定理 被引量：3

6

作者 李俊华 高林庆 李海军 《计算机工程与应用》 CSCD 2012年第27期49-52,共4页

关键定理是统计学习理论的重要组成部分,但目前其研究主要集中在概率空间上且假设样本不受噪声的影响。鉴于此,提出了泛空间上样本受噪声影响的期望风险泛函、经验风险泛函以及经验风险最小化原则的定义,给出并证明了泛空间上样本受噪... 关键定理是统计学习理论的重要组成部分,但目前其研究主要集中在概率空间上且假设样本不受噪声的影响。鉴于此,提出了泛空间上样本受噪声影响的期望风险泛函、经验风险泛函以及经验风险最小化原则的定义,给出并证明了泛空间上样本受噪声影响的学习理论的关键定理。 展开更多

关键词 泛空间 泛随机变量 噪声 经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

泛空间上学习理论的关键定理 被引量：2

7

作者 高林庆 李鑫 +1 位作者 白云超 哈明虎 《计算机工程与应用》 CSCD 北大核心 2010年第31期32-35,共4页

给出泛空间上泛随机变量及其分布函数、泛期望和泛方差的定义和性质,证明泛空间上的Chebyshev不等式和Khinchine大数定律;给出泛空间上期望风险泛函、经验风险泛函以及经验风险最小化原则严格一致收敛的定义,证明了泛空间上学习理论的... 给出泛空间上泛随机变量及其分布函数、泛期望和泛方差的定义和性质,证明泛空间上的Chebyshev不等式和Khinchine大数定律;给出泛空间上期望风险泛函、经验风险泛函以及经验风险最小化原则严格一致收敛的定义,证明了泛空间上学习理论的关键定理,把概率空间和可能性测度空间上的学习理论的关键定理统一推广到了泛空间上。 展开更多

关键词 泛空间 泛可加测度 经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

面向未知域场景的车辆轨迹预测模型

8

作者 卢一凡 李煊鹏 薛启凡 《智能系统学报》 CSCD 北大核心 2024年第5期1238-1247,共10页

自动驾驶技术随着科技革新迎来蓬勃发展,轨迹预测已成为智能汽车软件系统不可或缺的关键组成部分。为了解决传统车辆轨迹预测模型中存在的泛化能力不足的问题,提出一种基于泛化终点预测和地图场景的车辆轨迹预测方法。该方法采用基于不... 自动驾驶技术随着科技革新迎来蓬勃发展,轨迹预测已成为智能汽车软件系统不可或缺的关键组成部分。为了解决传统车辆轨迹预测模型中存在的泛化能力不足的问题,提出一种基于泛化终点预测和地图场景的车辆轨迹预测方法。该方法采用基于不变风险最小化的条件变分自编码器生成轨迹终点,并结合时序网络编码的地图场景特征,提升了模型预测未知域数据的准确率。在交互式道路场景数据集INTERACTION上的实验结果证明该模型具有良好的泛化性能。本方法与效果最好的方法REx相比1、2、3 s处的mADE值(越小越好)分别下降0%、36.59%、50.68%,在未知测试域的预测轨迹准确度得到显著提升。 展开更多

关键词 轨迹预测 域泛化 不变风险最小化 条件变分自编码器 端点生成 矢量地图 场景上下文 时序网络

在线阅读 下载PDF 职称材料

复合ICA-SVM机械状态模式分类 被引量：6

9

作者 焦卫东 杨世锡 吴昭同 《中国机械工程》 EI CAS CSCD 北大核心 2004年第1期62-65,共4页

提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持... 提出了一种新颖的、基于独立分量分析 ( ICA)的复合神经网络 ,用于不同机械状态模式的特征提取。利用支持向量机 ( SVM)进行最终分类。与通常的基于经验风险最小化 ( ERM)原理的神经网络方法相比 ,基于结构风险最小化 ( SRM)原理的支持向量机分类方法具有更好的推广能力。而借助多个独立分量分析网络 ,隐藏于多通道振动观测信号中的不变特征得到有效提取 ,从而实现了支持向量机分类器在分类能力和推广性两者间的合理平衡。 展开更多

关键词 独立分量分析 残余总体相关 经验风险最小化 结构风险最小化

在线阅读 下载PDF 职称材料

基于极限学习机的配电网重构 被引量：14

10

作者 吴登国 李晓明 《电力自动化设备》 EI CSCD 北大核心 2013年第2期47-51,56,共6页

为使配电网重构有功功率损耗最小,提出一种基于极限学习机的神经网络重构模型来反映配电网负荷模式与开关状态之间的非线性关系。将配电网负荷模式作为输入、网损最小时的开关状态作为输出,利用所提模型网络结构简单、学习速度快的优势... 为使配电网重构有功功率损耗最小,提出一种基于极限学习机的神经网络重构模型来反映配电网负荷模式与开关状态之间的非线性关系。将配电网负荷模式作为输入、网损最小时的开关状态作为输出,利用所提模型网络结构简单、学习速度快的优势进行配电网重构。引入统计学习理论中的结构风险最小化准则来改进基于经验风险最小化的极限学习机,使经验风险和置信范围最小,从而使实际风险最小,减小期望误差。通过2个典型算例对配电网重构进行仿真研究,并对基于支持向量机、BP神经网络和基于经验风险最小化的极限学习机重构模型进行比较,结果表明所提模型在保持学习速度快的同时,泛化性能更高。 展开更多

关键词 配电网重构 最小化网损 极限学习机 结构风险 经验风险 模型 配电 风险

在线阅读 下载PDF 职称材料

基于复拟随机样本的统计学习理论的理论基础 被引量：11

11

作者 张植明 田景峰 哈明虎 《计算机工程与应用》 CSCD 北大核心 2008年第9期82-86,93,共6页

引入复拟(概率)随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最... 引入复拟(概率)随机变量,准范数的定义。给出了复拟随机变量的期望和方差的概念及若干性质;证明了基于复拟随机变量的马尔可夫不等式,契比雪夫不等式和辛钦大数定律;提出了拟概率空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则等定义。证明并讨论了基于复拟随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复拟随机样本的统计学习理论奠定了理论基础。 展开更多

关键词 复拟随机变量 准范数 复经验风险最小化原则 关键定理 收敛速度的界 神经网络

在线阅读 下载PDF 职称材料

基于支持向量机的核爆地震自动识别 被引量：4

12

作者 张斌 李夕海 +1 位作者 苏娟 刘代志 《核电子学与探测技术》 CAS CSCD 北大核心 2005年第1期44-47,共4页

针对核爆地震识别问题的特点,提出利用支持向量机(SVM)方法进行核爆地震的自动识别。该方法借助算法的内在能力来实现特征的选择变换,不必像传统方法那样将很大的精力用于特征空间的降维处理。同时,由于该方法建立在结构风险最小化准则... 针对核爆地震识别问题的特点,提出利用支持向量机(SVM)方法进行核爆地震的自动识别。该方法借助算法的内在能力来实现特征的选择变换,不必像传统方法那样将很大的精力用于特征空间的降维处理。同时,由于该方法建立在结构风险最小化准则上,而不是仅仅使经验风险最小,所以,它具有好的推广能力。实际数据处理结果表明,该方法在小样本情况下性能优于神经网络,可以很好地克服过学习问题。 展开更多

关键词 自动识别 支持向量机(SVM) 推广能力 结构风险最小化 特征空间 经验风险 神经网络 实际 克服 方法

在线阅读 下载PDF 职称材料

一种基于粗糙变量的学习算法的基础研究 被引量：2

13

作者 董开坤 刘杨 +2 位作者 刘扬 胡仕成 刘慧霞 《计算机工程与应用》 CSCD 北大核心 2008年第10期40-42,70,共4页

支持向量机目前已成为机器学习领域新的研究热点,而统计学习理论中的关键定理为支持向量机等的研究提供了重要的理论基础。提出了粗糙经验风险最小化原则,提出并证明了一种基于粗糙变量的学习理论的关键定理,为研究粗糙支持向量机等应... 支持向量机目前已成为机器学习领域新的研究热点,而统计学习理论中的关键定理为支持向量机等的研究提供了重要的理论基础。提出了粗糙经验风险最小化原则,提出并证明了一种基于粗糙变量的学习理论的关键定理,为研究粗糙支持向量机等应用性研究提供了依据。 展开更多

关键词 向量机 信赖理论 信赖统计 粗糙经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

受噪声影响的复hybrid样本的学习理论关键定理 被引量：7

14

作者 李俊华 李海军 《河北大学学报（自然科学版）》 CAS 北大核心 2014年第1期14-18,82,共6页

结合机会测度理论和统计学习理论,提出了机会空间上受噪声影响的复hybrid样本的复期望风险泛函、复经验风险泛函以及复经验风险最小化原则的定义,给出并证明了机会空间上受噪声影响的复hybrid样本的学习理论的关键定理.

关键词 机会空间 复hybrid变量 噪声 复经验风险最小化原则 关键定理

在线阅读 下载PDF 职称材料

基于SVM的多传感器信息融合算法 被引量：12

15

作者 周鸣争 汪军 《仪器仪表学报》 EI CAS CSCD 北大核心 2005年第4期407-410,共4页

支持向量机(Support Vector machine,简称SVM)是一种基于结构风险最小化原理,具有很高泛化性能的学习算法。针对工业多传感器测控系统中,被测系数与相关参数之间存在有较大的非线性和模糊关系,提出了一种基于支持SVM的多传感器信息融合... 支持向量机(Support Vector machine,简称SVM)是一种基于结构风险最小化原理,具有很高泛化性能的学习算法。针对工业多传感器测控系统中,被测系数与相关参数之间存在有较大的非线性和模糊关系,提出了一种基于支持SVM的多传感器信息融合模型及算法。为小样本、非线性、高维数一类多传感器信息融合问题的建模提供了一种有效的途径。通过对“纸张水份在线测量系统”应用表明,基于SVM的多传感器信息融合模型及算法在测量精度和推广性能上都具有一定的优越性。 展开更多

关键词 信息融合算法 SVM 多传感器信息融合 信息融合模型 结构风险最小化 Vector 在线测量系统 支持向量机 学习算法 泛化性能 测控系统 模糊关系 纸张水份 推广性能 测量精度 非线性 小样本 高维数

在线阅读 下载PDF 职称材料

基于双重随机样本的统计学习理论的理论基础 被引量：10

16

作者 张植明 田景峰 《计算机工程与应用》 CSCD 北大核心 2008年第17期33-36,共4页

介绍双重随机理论的基本内容。提出双重随机经验风险泛函,双重随机期望风险泛函,双重随机经验风险最小化原则等概念。最后证明基于双重随机样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。为系统建立基于不确定样本的统... 介绍双重随机理论的基本内容。提出双重随机经验风险泛函,双重随机期望风险泛函,双重随机经验风险最小化原则等概念。最后证明基于双重随机样本的统计学习理论的关键定理并讨论学习过程一致收敛速度的界。为系统建立基于不确定样本的统计学习理论并构建相应的支持向量机奠定了理论基础。 展开更多

关键词 双重随机样本 统计学习理论 双重随机经验风险最小化原则 关键定理 一致收敛速度的界

在线阅读 下载PDF 职称材料

区别性知识利用的迁移分类学习 被引量：1

17

作者 程旸 王士同 杭文龙 《计算机科学与探索》 CSCD 北大核心 2017年第3期427-437,共11页

目前的迁移学习模型旨在利用事先准备好的源域数据为目标域学习提供辅助知识,即从源域抽象出与目标域共享的知识结构时,使用所有的源域数据。然而,由于人力资源的限制,收集真实场景下整体与目标域相关的源域数据并不现实。提出了一种泛... 目前的迁移学习模型旨在利用事先准备好的源域数据为目标域学习提供辅助知识,即从源域抽象出与目标域共享的知识结构时,使用所有的源域数据。然而,由于人力资源的限制,收集真实场景下整体与目标域相关的源域数据并不现实。提出了一种泛化的经验风险最小化选择性知识利用模型,并给出了该模型的理论风险上界。所提模型能够自动筛选出与目标域相关的源域数据子集,解决了源域只有部分知识可用的问题,进而避免了在真实场景下使用整个源域数据集带来的负迁移效应。在模拟数据集和真实数据集上进行了仿真实验,结果显示所提算法较之传统迁移学习算法性能更佳。域相关的源域数据并不现实。提出了一种泛化的经验风险最小化选择性知识利用模型,并给出了该模型的理论风险上界。所提模型能够自动筛选出与目标域相关的源域数据子集,解决了源域只有部分知识可用的问题,进而避免了在真实场景下使用整个源域数据集带来的负迁移效应。在模拟数据集和真实数据集上进行了仿真实验,结果显示所提算法较之传统迁移学习算法性能更佳。 展开更多

关键词 迁移学习 经验风险最小化(ERM) 泛化的经验风险最小化(germ) 区别性知识利用 负迁移

在线阅读 下载PDF 职称材料

汽轮发电机组故障诊断GA-SVM模型方法的研究 被引量：6

18

作者 汪江 陆颂元 《汽轮机技术》 北大核心 2005年第1期1-3,16,共4页

基于结构风险最小化 [1]的支持向量机是一种新的机器学习方法,具有适应小样本学习和提高学习机泛化性能的优点,详细介绍了将其应用于汽轮发电机组的故障诊断的研究结果,包括结合遗传算法进行模型参数的优化选择,建立联合模型,通过对现... 基于结构风险最小化 [1]的支持向量机是一种新的机器学习方法,具有适应小样本学习和提高学习机泛化性能的优点,详细介绍了将其应用于汽轮发电机组的故障诊断的研究结果,包括结合遗传算法进行模型参数的优化选择,建立联合模型,通过对现场采集的故障样本进行的分类试验,并同BP神经网络方法进行了比较,结果显示本文所述方法具有较高的诊断准确率。 展开更多

关键词 SVM模型 泛化性能 结构风险最小化 机器学习方法 支持向量机 学习机 显示 汽轮发电机组 故障诊断 GA

在线阅读 下载PDF 职称材料

基于支持向量回归模型的电力系统谐波分析新方法 被引量：2

19

作者 刘尚伟 吴玲 《中国电力》 CSCD 北大核心 2007年第6期32-35,共4页

当前电力系统中的谐波问题日益严重,对谐波的准确检测和分析是抑制谐波畸变的重要依据。将基于改进的SMO算法的支持向量回归模型应用于电力系统谐波的检测,该算法克服了常规算法计算规模大和建模复杂的困难,通过引入一个中间因子,将原... 当前电力系统中的谐波问题日益严重,对谐波的准确检测和分析是抑制谐波畸变的重要依据。将基于改进的SMO算法的支持向量回归模型应用于电力系统谐波的检测,该算法克服了常规算法计算规模大和建模复杂的困难,通过引入一个中间因子,将原来问题的计算规模减半,并利用迭代算法求解中间因子,使得该算法简单可行。对三相桥式整流电路交流侧产生的特征谐波和非特征谐波电流进行了分析,仿真结果通过与FFT算法和ADALINE神经网络的检测分析结果对比,表明该方法无论是在理想情况下还是在考虑了各种影响因素的情况下,都具有很高的检测精度,可以满足电力系统的谐波分析的要求。该方法的不足之处是计算量会随着输入量分辨率的提高而增大。 展开更多

关键词 谐波分析 支持向量回归 结构风险最小化 泛化能力 序列最小最优化算法

在线阅读 下载PDF 职称材料

Sugeno测度空间基于复样本的统计学习理论 被引量：3

20

作者 张植明 田景峰 《计算机工程与应用》 CSCD 北大核心 2009年第7期59-64,共6页

引入复g_λ随机变量、准范数的定义,给出了复g_λ随机变量的期望和方差的概念及若干性质;证明了基于复g_λ随机变量的马尔可夫不等式、契比雪夫不等式和辛钦大数定律;提出了Sugeno测度空间中复经验风险泛函、复期望风险泛函以及复经验... 引入复g_λ随机变量、准范数的定义,给出了复g_λ随机变量的期望和方差的概念及若干性质;证明了基于复g_λ随机变量的马尔可夫不等式、契比雪夫不等式和辛钦大数定律;提出了Sugeno测度空间中复经验风险泛函、复期望风险泛函以及复经验风险最小化原则严格一致性等定义;证明并构建了基于复g_λ随机样本的统计学习理论的关键定理和学习过程一致收敛速度的界,为系统建立基于复g_λ随机样本的统计学习理论奠定了理论基础。 展开更多

关键词 Sugeno测度空间 准范数 复经验风险最小化原则 关键定理 收敛速度的界

在线阅读 下载PDF 职称材料