大数据背景下两阶段Leverage重要性抽样方法研究

1

作者 贺建风 何韩吉 《统计研究》 CSSCI 北大核心 2024年第10期149-160,共12页

大数据背景下,需要对传统的抽样调查技术进行改进,以应对数据结构变化。以杠杆得分为入样概率的Leverage重要性抽样能够增加高杠杆值样本点被抽中的概率,但也增加了异常值选入抽样子集的风险,使得抽样估计偏离真实值。为降低大数据异常... 大数据背景下,需要对传统的抽样调查技术进行改进,以应对数据结构变化。以杠杆得分为入样概率的Leverage重要性抽样能够增加高杠杆值样本点被抽中的概率,但也增加了异常值选入抽样子集的风险,使得抽样估计偏离真实值。为降低大数据异常值影响,提高大数据抽样子集估计的稳健性,本文提出基于阈值自选择的两阶段Leverage重要性抽样方法。该方法第一阶段以样本距离的有序聚类识别稳健子集,使得用于二阶段抽样的样本更具代表性,第二阶段则是在稳健子集的基础上获得稳健抽样估计。模拟分析结果表明,本文所提方法能够提升线性回归系数估计的精度,在漂移型、波动型和混合型离群值中均适用。实证分析中本文所提方法在三个案例数据中拥有较小的预测值均方误差,有效降低了异常值的影响。 展开更多

关键词 大规模数据 线性模型 有序聚类 Leverage重要性抽样

在线阅读 下载PDF 职称材料

大数据下Leverage重要性抽样方法的稳健改进 被引量：8

2

作者 秦磊 熊巍 田茂再 《统计研究》 CSSCI 北大核心 2016年第8期101-105,共5页

大数据以其巨大的样本容量或超高的变量维度使得直接计算变得不再可能,如何有效地抽取一个合适的计算样本是值得思考的问题。本文借鉴Leverage重要性抽样的思想,提出了两种稳健的改进抽样算法,不仅有效地抽取了代表性高的计算样本进行... 大数据以其巨大的样本容量或超高的变量维度使得直接计算变得不再可能,如何有效地抽取一个合适的计算样本是值得思考的问题。本文借鉴Leverage重要性抽样的思想,提出了两种稳健的改进抽样算法,不仅有效地抽取了代表性高的计算样本进行回归估计,还规避了方差大和异质性导致协方差矩阵估计不准的问题。模拟数据的分析显示,相比于Ma(2015)的方法,本文提出的方法具有更为优良的估计结果。 展开更多

关键词 大数据 重要性抽样 异质性问题 协方差矩阵

在线阅读 下载PDF 职称材料

基于Kriging模型的重要性抽样在结构可靠性中的应用 被引量：4

3

作者 王娟 马义中 汪建均 《计算机集成制造系统》 EI CSCD 北大核心 2016年第11期2643-2652,共10页

针对早期基于替代模型的结构可靠性方法无法度量因替代而导致的误差,现存的方差减少技术在面对功能函数复杂的计算模型时依然效率不高,提出基于Kriging模型的重要性抽样方法计算单个构件或系统的失效率。首先建立功能函数的初始替代模型... 针对早期基于替代模型的结构可靠性方法无法度量因替代而导致的误差,现存的方差减少技术在面对功能函数复杂的计算模型时依然效率不高,提出基于Kriging模型的重要性抽样方法计算单个构件或系统的失效率。首先建立功能函数的初始替代模型,然后使用基于主动学习函数的准则对模型更新至精确,计算出一个增大的失效率,并得到一个次最优重要性抽样密度函数,进而由Markov链蒙特卡洛方法产生样本,计算出修正项的估计量,最后将失效率表示成增大的失效率与修正项的乘积。将所提方法应用到各类可靠性问题中,结果表明该方法是高效、稳健和精确的。 展开更多

关键词 失效率 KRIGING模型 重要性抽样 增大失效率 修正项

在线阅读 下载PDF 职称材料

银行信用组合风险多成分重要性抽样算法研究 被引量：4

4

作者 龚朴 邓洋 胡祖辉 《管理科学学报》 CSSCI 北大核心 2012年第11期3-10,22,共9页

银行信用组合违约风险的度量和计算对银行监管有着重要的意义.使蒙特卡洛研究信用组合违约概率时,为提高模拟效率,越来越多的学者采用了重要性抽样技术来实现.它主要通过条件独立性和"均值移动"两个步骤实现.本文基于前人研... 银行信用组合违约风险的度量和计算对银行监管有着重要的意义.使蒙特卡洛研究信用组合违约概率时,为提高模拟效率,越来越多的学者采用了重要性抽样技术来实现.它主要通过条件独立性和"均值移动"两个步骤实现.本文基于前人研究结果的基础之上,提出了一种基于违约相关性矩阵的多因子变方差的重要性抽样算法.该算法通过主成分分析选择违约结构中的占优成分并扩大其方差来实现.数值算例证明了该方法在信用组合遭遇极值事件时,能够提高模拟效率及计算精度,具有一定的计算优势。 展开更多

关键词 信用组合风险 蒙特卡洛模拟 重要性抽样 主成分分析

在线阅读 下载PDF 职称材料

重要性抽样法在管节点疲劳可靠性分析中的应用 被引量：7

5

作者 丁克勤 柳春图 《力学学报》 EI CSCD 北大核心 1996年第3期359-362,共4页

提出了用重要性抽样的ＭｏｎｔｅＣａｒｌｏ模拟法计算管节点的疲劳失效概率，并与直接抽样的ＭｏｎｔｅＣａｒｌｏ法进行了比较。

关键词 重要性抽样法 疲劳失效概率 管节点 采油平台

在线阅读 下载PDF 职称材料

基于重要性抽样的最大似然方位估计方法 被引量：2

6

作者 李雄 黄建国 张群飞 《电子学报》 EI CAS CSCD 北大核心 2005年第8期1529-1532,共4页

最大似然估计是公认的最佳估计器,但是计算量很大.为了解决它的计算量大的问题,本文把蒙特卡罗方法与最大似然方位估计相结合,提出一种基于重要性抽样的最大似然方位估计新方法(MaximumLikelihoodDOAEsti-matorBasedonImportanceSampli... 最大似然估计是公认的最佳估计器,但是计算量很大.为了解决它的计算量大的问题,本文把蒙特卡罗方法与最大似然方位估计相结合,提出一种基于重要性抽样的最大似然方位估计新方法(MaximumLikelihoodDOAEsti-matorBasedonImportanceSampling,简称ISMLE).研究结果表明,ISMLE方法不但保持了原最大似然方位估计方法的优良性能,而且大大减小了计算量,把原方法的计算复杂度从O(LK)减少到O(K×H). 展开更多

关键词 方位估计 最大似然估计 蒙特卡罗 重要性抽样 计算复杂度

在线阅读 下载PDF 职称材料

组合风险的重要性抽样方法 被引量：1

7

作者 徐承龙 吴倩 孙丽华 《同济大学学报（自然科学版）》 EI CAS CSCD 北大核心 2015年第4期633-638,共6页

针对资产组合的市场风险或信用风险的任意边际分布的Gaussian Copula模型,首先将损失转化成高维正态分布的函数,然后对该模型进行重要性采样蒙特卡罗模拟以提高模拟效率,并分别使用牛顿法和基于大偏差理论估计测度变换的系数,并在此基... 针对资产组合的市场风险或信用风险的任意边际分布的Gaussian Copula模型,首先将损失转化成高维正态分布的函数,然后对该模型进行重要性采样蒙特卡罗模拟以提高模拟效率,并分别使用牛顿法和基于大偏差理论估计测度变换的系数,并在此基础上提出了常数凝固估计法.数值实验表明,提出的算法与通常的蒙特卡罗方法相比,大大减小了模拟误差,从而提高了计算效率. 展开更多

关键词 重要性抽样 蒙特卡罗模拟 组合风险 Gausian COPULA模型

在线阅读 下载PDF 职称材料

重要性抽样法模拟的叠代计算 被引量：2

8

作者 周则恭 刘长虹 《机械强度》 CAS CSCD 北大核心 1994年第3期9-14,共6页

在探讨将原分布函数平移适宜距离后作为重要性函数的基础上，提出重要性抽样的ＭｏｎｔｅＣａｒｌｏ模拟的叠代计算方法。依据前次叠代模拟计算中失效点的中值与重要性函数之间距离应保持合适的距离，来确定本次叠代计算中原分布函数应... 在探讨将原分布函数平移适宜距离后作为重要性函数的基础上，提出重要性抽样的ＭｏｎｔｅＣａｒｌｏ模拟的叠代计算方法。依据前次叠代模拟计算中失效点的中值与重要性函数之间距离应保持合适的距离，来确定本次叠代计算中原分布函数应平移的距离。经叠代多次后可获得最佳的平移距离与精度较高的计算结果。 展开更多

关键词 断裂 概率 可靠性 重要性抽样 叠代模拟

在线阅读 下载PDF 职称材料

重要性抽样法研究 被引量：9

9

作者 金光 《系统仿真学报》 CAS CSCD 2002年第9期1121-1125,共5页

重要性抽样法是一种最重要的提高抽样效率的方法,由于其适用范围广,容易实现,在通信网、航空航天、自动控制等系统的可靠性安全性仿真中得到广泛研究和应用。本文从计算复杂性的角度提出了极小概率事件发生概率估计的困难,简单介绍了重... 重要性抽样法是一种最重要的提高抽样效率的方法,由于其适用范围广,容易实现,在通信网、航空航天、自动控制等系统的可靠性安全性仿真中得到广泛研究和应用。本文从计算复杂性的角度提出了极小概率事件发生概率估计的困难,简单介绍了重要性抽样的基本原理,综述了基于随机优化和大偏差原理的技术、加速失效法、分裂法等几种最优抽样分布构造技术的实现及其适用范围,在此基础上提出基于知识的重要性抽样思想,有助于解决目前数字仿真特别是高可靠度系统可靠性仿真中的抽样效率问题。 展开更多

关键词 重要性抽样法 数字仿真 稀有事件 概率估计 可靠性

在线阅读 下载PDF 职称材料

基于重要性抽样的图卷积社团发现方法 被引量：3

10

作者 蔡晓东 王萌 +1 位作者 梁晓曦 陈昀 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2019年第3期541-547,共7页

根据图论将复杂网络转化为图结构数据,使卷积神经网络能够高效方便地处理;通过将图像上的卷积操作延伸到图结构数据上来定义卷积核,并通过卷积层对图的粗粒化和池化操作,提取不规则数据复杂网络的特征.在采用随机梯度下降法训练网络时,... 根据图论将复杂网络转化为图结构数据,使卷积神经网络能够高效方便地处理;通过将图像上的卷积操作延伸到图结构数据上来定义卷积核,并通过卷积层对图的粗粒化和池化操作,提取不规则数据复杂网络的特征.在采用随机梯度下降法训练网络时,设计一种重要性抽样方法改变样本的分布来缩减方差,从而节省梯度计算时间.实验结果表明,与现有的图卷积网络相比,该方法在社会网络、引文网络、知识图谱数据集中,均能够以较低的计算复杂度获得较好的社团发现准确率;而且能够减少计算时的内存占用,可扩展到更大规模的复杂网络中使用. 展开更多

关键词 图卷积 粗粒化 社团发现 重要性抽样 随机梯度下降

在线阅读 下载PDF 职称材料

基于响应曲面和重要性抽样方法的热力系统参数失效概率计算

11

作者 尚彦龙 蔡琦 +1 位作者 陈力生 张杨伟 《原子能科学技术》 EI CAS CSCD 北大核心 2012年第B09期341-346,共6页

本文研究了将响应曲面与重要性抽样相结合的方法用于复杂热力系统参数失效概率的计算。建立了热力系统物理过程参数失效的数学模型,在此基础上研究了将响应曲面与重要性抽样相结合的算法模型,并给出了热力系统组成设备的性能退化模型和... 本文研究了将响应曲面与重要性抽样相结合的方法用于复杂热力系统参数失效概率的计算。建立了热力系统物理过程参数失效的数学模型,在此基础上研究了将响应曲面与重要性抽样相结合的算法模型,并给出了热力系统组成设备的性能退化模型和基于重要性抽样的仿真流程,进而对反应堆净化系统工作过程中参数失效问题进行了分析计算。研究表明,对于高维、非线性特性明显并考虑性能退化的复杂热力系统参数失效概率的计算,重要性抽样法较直接抽样能以较高效率获得满意精度的计算结果,而响应曲面法存在局限;响应曲面和重要性抽样相结合的方法是分析热力系统物理过程参数失效的有效方法。 展开更多

关键词 响应曲面法 重要性抽样法 热力系统 参数失效

在线阅读 下载PDF 职称材料

用重要性抽样方法估计数字光纤通信链路的误码率

12

作者 朱秋萍 刘国华 方志豪 《电子学报》 EI CAS CSCD 北大核心 2000年第4期14-16,19,共4页

本文使用重要性抽样 (IS)方法 ,对数字光纤通信链路的误码率参量进行了估计 .并且 ,在设计IS偏置方案时采用了LDT技术 ,即把最优的LDT的α 扭转 (指数扭转 )密度选取为IS偏置密度 .计算机模拟实验表明 ,这种基于LDT技术的IS方法具有很... 本文使用重要性抽样 (IS)方法 ,对数字光纤通信链路的误码率参量进行了估计 .并且 ,在设计IS偏置方案时采用了LDT技术 ,即把最优的LDT的α 扭转 (指数扭转 )密度选取为IS偏置密度 .计算机模拟实验表明 ,这种基于LDT技术的IS方法具有很高的精确度和计算效率以及充分的可靠性 ,特别适合于极低误码率的估计 .此方法为数字光纤通信链路的计算机辅助建模、分析和设计 (CAMAD)提供了一种有用的研究工具 . 展开更多

关键词 误码率估计 重要性抽样 数字光纤通信链路

在线阅读 下载PDF 职称材料

重要性抽样法在计算球罐断裂失效概率中的应用

13

作者 周则恭 刘长虹 《应用力学学报》 CAS CSCD 北大核心 1993年第1期52-57,共6页

本文结合实例,在探讨了原分布函数平移一定距离后作为重要性函数的基础上,提出采用优化理论中的直接搜索法,以原分布函数与重要性函数相似比的变异系数最小为优化目标求得最佳平移量。同时提出迭代计算程序,即依据前次迭代计算得到的失... 本文结合实例,在探讨了原分布函数平移一定距离后作为重要性函数的基础上,提出采用优化理论中的直接搜索法,以原分布函数与重要性函数相似比的变异系数最小为优化目标求得最佳平移量。同时提出迭代计算程序,即依据前次迭代计算得到的失效点分布确定计算时原分布函数的平移量,经多次迭代也能求出最佳平移量。多次迭代后诸失效点的中值与一阶二次矩法的设计点值接近。在本文算例中,由这二种方法求得的重要性函数减少了模拟计算总次数和提高了计算精度。 展开更多

关键词 重要性抽样 断裂力学 球形油罐

在线阅读 下载PDF 职称材料

大规模数据下基于充分降维的Leverage重要性抽样方法 被引量：6

14

作者 秦磊 王奕丹 苏治 《统计研究》 CSSCI 北大核心 2020年第3期114-128,共15页

随着信息技术的飞速发展,大规模数据在短时间内搜集并储存下来,为分析决策提供了巨大的信息量,也给统计建模带来了一定难度。对于样本容量大、变量个数少的数据,Leverage重要性抽样是一个简便可行的方法。本文发现,该方法中度量样本重... 随着信息技术的飞速发展,大规模数据在短时间内搜集并储存下来,为分析决策提供了巨大的信息量,也给统计建模带来了一定难度。对于样本容量大、变量个数少的数据,Leverage重要性抽样是一个简便可行的方法。本文发现,该方法中度量样本重要性的Leverage分数与因变量无关,而且在维度较大的情形下对样本没有区分程度,使得估计结果较差。为了同时考虑因变量和维度的影响,本文提出了基于充分降维的Leverage重要性抽样方法。该方法以不损失信息为前提,在充分降维的空间内重新计算Leverage分数,使得抽样更具有代表性。模拟数据分析显示,在样本容量较大的复杂数据中,相比于原始的Leverage重要性抽样方法,本文提出的方法可以降低估计的均方误差。三个实际数据也证实了该方法的可行性和有效性。 展开更多

关键词 大规模数据 Leverage分数 重要性抽样 充分降维

在线阅读 下载PDF 职称材料

基于蒙特卡洛重要性抽样方法的美式期权定价研究 被引量：1

15

作者 刘果 顾桂定 《统计与决策》 CSSCI 北大核心 2014年第9期162-164,共3页

文章针对金融实际中虚值美式期权定价存在较大误差的问题提出重要性抽样方法在美式期权定价中的应用。主要在正态框架下考虑仅改变布朗运动的漂移项的重要性抽样方法对美式期权模拟定价的方差减小效果。通过画图观察找到美式期权重要性... 文章针对金融实际中虚值美式期权定价存在较大误差的问题提出重要性抽样方法在美式期权定价中的应用。主要在正态框架下考虑仅改变布朗运动的漂移项的重要性抽样方法对美式期权模拟定价的方差减小效果。通过画图观察找到美式期权重要性抽样的最优漂移项,其操作简单直观,且方差减小效果显著;还考虑了不同参数对重要性抽样方差减小效果的影响。 展开更多

关键词 蒙特卡洛方法 重要性抽样 美式期权定价 最小二乘方法

在线阅读 下载PDF 职称材料

基于叠代计算的重要性抽样法在计算断裂概率中的应用

16

作者 张铱党 《太原工业大学学报》 1997年第3期64-67,共4页

本文结合实例，在探讨原分布函数平移一定距离作为重要性函数的基础上，提出叠代计算法和叠代计算程序。通过前次叠代后失效点的分布来确定这次计算时的平移量，从而求得最佳平移量。多次叠代后失效点的中值与一次二阶矩法的设计点相近... 本文结合实例，在探讨原分布函数平移一定距离作为重要性函数的基础上，提出叠代计算法和叠代计算程序。通过前次叠代后失效点的分布来确定这次计算时的平移量，从而求得最佳平移量。多次叠代后失效点的中值与一次二阶矩法的设计点相近。由这种叠代法求得的重要性函数能保证Ｍｏｎｔｅ－Ｃａｒｌｏ模拟计算总次数减少，提高计算断裂概率的精度。 展开更多

关键词 重要性抽样 断裂 概率 叠代法

在线阅读 下载PDF 职称材料

舍选抽样与采样重要性重抽样算法的比较 被引量：6

17

作者 王丙参 魏艳华 孙永辉 《统计与决策》 CSSCI 北大核心 2014年第21期9-13,共5页

文章比较研究了舍选法和重要性重抽样(SIR)算法生成随机数的理论基础,给出了二者的区别与联系,特别讨论了压挤舍选抽样和自适应舍选抽样,并给出了包络函数和重要性抽样函数的选择标准,探讨二者对随机数生成速度和质量的影响。

关键词 舍选法 重要性重抽样 接受概率 包络函数

在线阅读 下载PDF 职称材料

关于利用重要抽样法控制蒙特卡罗方差的比较 被引量：2

18

作者 王丙参 魏艳华 孙永辉 《统计与决策》 CSSCI 北大核心 2015年第9期78-81,共4页

给出了利用重要性抽样控制M-C方差的方法及其评价标准——有效样本大小,从理论上证明了其合理性,比较研究了重要性抽样函数对方差的影响并给出了改进方法,与采样重要重抽样相比,重要抽样算法抽样相对复杂些,但估计精度远远高于采样重要... 给出了利用重要性抽样控制M-C方差的方法及其评价标准——有效样本大小,从理论上证明了其合理性,比较研究了重要性抽样函数对方差的影响并给出了改进方法,与采样重要重抽样相比,重要抽样算法抽样相对复杂些,但估计精度远远高于采样重要重抽样,最后结合实例验证了前面结论,模拟结果显示,重要性抽样有效、可靠,特别适合模拟小概率事件。 展开更多

关键词 蒙特卡罗方差 重要性抽样 采样重要重抽样 有效样本大小

在线阅读 下载PDF 职称材料

基于抽样的因果图仿真推理算法研究 被引量：2

19

作者 石庆喜 《计算机科学》 CSCD 北大核心 2012年第10期251-253,281,共4页

由于因果图的经典推理的计算复杂度是NP难的,因此其不便于推广和使用。基于因果图理论和MonteCarlo思想,提出了基于抽样的A-R Sampling和重要性抽样的因果图仿真推理算法。在故障诊断中的有效应用验证了方法是可行的。

关键词 因果图 仿真 重要性抽样

在线阅读 下载PDF 职称材料

一个计算积分的替代抽样方法

20

作者 胡果荣 史宁中 张宝学 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2006年第3期362-366,共5页

为提高高维积分的计算速度,提出一种替换MonteCarlo积分方法.将积分区域以网格的形式离散化,再在网格上以相应的密度函数之值为权函数采用离散的Gibbs抽样算法抽样,对抽样得到的样本作均匀扰动后就可获得所需的新抽样序列,从而得到积分... 为提高高维积分的计算速度,提出一种替换MonteCarlo积分方法.将积分区域以网格的形式离散化,再在网格上以相应的密度函数之值为权函数采用离散的Gibbs抽样算法抽样,对抽样得到的样本作均匀扰动后就可获得所需的新抽样序列,从而得到积分的近似估计值.模拟表明新算法计算速度较快. 展开更多

关键词 模拟 重要性抽样 GIBBS抽样 格子点 数值积分

在线阅读 下载PDF 职称材料