随机森林是机器学习领域中一种常用的分类算法,具有适用范围广且不易过拟合等优点.为了提高随机森林处理多分类问题的能力,提出一种基于空间变换的随机森林算法(space transformation based random forest algorithm,ST-RF).首先,给出...随机森林是机器学习领域中一种常用的分类算法,具有适用范围广且不易过拟合等优点.为了提高随机森林处理多分类问题的能力,提出一种基于空间变换的随机森林算法(space transformation based random forest algorithm,ST-RF).首先,给出一种考虑优先类别的线性判别分析方法(priority class based linear discriminant analysis,PCLDA),利用针对优先类别的投影矩阵对样本进行空间变换,以增强优先类别样本与其他类别样本的区分效果.进而,将PCLDA方法引入随机森林构建过程中,在为每棵决策树随机选择一个优先类别保证随机森林多样性的基础上,利用PCLDA方法创建侧重于不同优先类别的决策树,以提高单棵决策树的分类准确性,从而实现集成模型整体分类性能的有效提升.最后,在10个标准数据集上对ST-RF算法与7种典型随机森林算法进行比较分析,验证所提算法的有效性,并将基于PCLDA的空间变换策略应用到对比算法中,对改进前后的算法性能进行比较分析.实验结果表明:ST-RF算法在处理多分类问题方面具有明显优势,所提出的空间变换策略具有较强的普适性,可以显著提升原算法的分类性能.展开更多
提取有效特征对高维数据的模式分类起着关键作用.零空间线性判别分析(null-space linear discriminant analysis,NLDA)在数据降维和特征提取上表现出较好的性能,但是该方法本质上仍是一种线性方法.为有效提取数据的非线性特征,提出了零...提取有效特征对高维数据的模式分类起着关键作用.零空间线性判别分析(null-space linear discriminant analysis,NLDA)在数据降维和特征提取上表现出较好的性能,但是该方法本质上仍是一种线性方法.为有效提取数据的非线性特征,提出了零空间核判别分析算法(null-space kernel discriminant analysis,NKDA)并将其应用于人脸识别.利用核函数将原始样本隐式地映射到高维特征空间后,采用一次瘦QR分解求核类内散布矩阵的零空间鉴别矢量集,最后再进行一次Cholesky分解求得具正交性的核空间鉴别矢量集.与NLDA相比,NKDA具有更好的识别性能且在大样本情况下也能应用.另外,基于NKDA,提出了增量NKDA算法,当增加新的训练样本时能正确地更新NKDA鉴别矢量集.在ORL库、Yale库和PIE子库上的实验结果表明了算法的有效性和效率,在有效降维的同时能进一步提高鉴别能力.展开更多
文摘随机森林是机器学习领域中一种常用的分类算法,具有适用范围广且不易过拟合等优点.为了提高随机森林处理多分类问题的能力,提出一种基于空间变换的随机森林算法(space transformation based random forest algorithm,ST-RF).首先,给出一种考虑优先类别的线性判别分析方法(priority class based linear discriminant analysis,PCLDA),利用针对优先类别的投影矩阵对样本进行空间变换,以增强优先类别样本与其他类别样本的区分效果.进而,将PCLDA方法引入随机森林构建过程中,在为每棵决策树随机选择一个优先类别保证随机森林多样性的基础上,利用PCLDA方法创建侧重于不同优先类别的决策树,以提高单棵决策树的分类准确性,从而实现集成模型整体分类性能的有效提升.最后,在10个标准数据集上对ST-RF算法与7种典型随机森林算法进行比较分析,验证所提算法的有效性,并将基于PCLDA的空间变换策略应用到对比算法中,对改进前后的算法性能进行比较分析.实验结果表明:ST-RF算法在处理多分类问题方面具有明显优势,所提出的空间变换策略具有较强的普适性,可以显著提升原算法的分类性能.
