针对目前小样本学习方法易过拟合、跨域泛化能力不足等问题,受启发于储备池计算不依赖于训练而缓解过拟合的特性,提出了一种基于储备池计算的小样本学习方法(Reservoir Computing based Network for Few-shot Image Classification,RCF...针对目前小样本学习方法易过拟合、跨域泛化能力不足等问题,受启发于储备池计算不依赖于训练而缓解过拟合的特性,提出了一种基于储备池计算的小样本学习方法(Reservoir Computing based Network for Few-shot Image Classification,RCFIC)。整个方法由特征提取模块、特征增强模块和分类器模块构成。特征增强模块由储备池模块和基于储备池的注意力机制构成,分别对特征提取网络的特征进行通道级增强和像素级增强,同时联合余弦分类器促使网络学习具有高类间方差、低类内方差特性的特征分布。实验结果表明,本文算法在Cifar-FS、FC100、Mini-ImageNet等数据集上的分类精度至少比现有方法高1.07%,在从Mini-ImageNet到CUB-200的跨域场景设置下的分类精度优于次优方法1.77%。同时,消融实验验证了RCFIC的有效性。所提方法泛化性强,能够有效缓解小样本图像分类中的过拟合问题并在一定程度上解决跨域问题。展开更多
有效的短期电力负荷预测模型有利于保障电力系统稳定且高效地运行。为此,首先提出了一种具有相邻反馈的混合回声状态网络(hybrid echo state network with adjacent-feedback loop reservoir,HALR)模型,用以避免传统浅层模型使用单一类...有效的短期电力负荷预测模型有利于保障电力系统稳定且高效地运行。为此,首先提出了一种具有相邻反馈的混合回声状态网络(hybrid echo state network with adjacent-feedback loop reservoir,HALR)模型,用以避免传统浅层模型使用单一类型神经元易产生奇异解的问题。然后,基于深度信念网络(deep neural network,DBN)和HALR模型提出了一种深度混合储备池计算(deep hybrid reservoir calculation,DHRC)模型,以提高传统模型的预测精度和效率,该模型实现了DBN优秀特征学习能力和HALR强大逼近性能的结合。将DHRC模型应用于比利时蒙斯大学采集的某地区电力负荷数据集,最终的X_(NRMSE)、X_(RMSE)和X_(MAPE)分别为0.6591、0.0541和4.8523%。最后,在西北某电网供电公司的实际应用中再次证明了DHRC模型的有效性。实验结果表明,与预测效果最佳的浅层模型HALR相比,DHRC的X_(NRMSE)、X_(RMSE)和X_(MAPE)分别降低了65.1685%、65.1079%和60.0954%;与预测效果较好的深度模型LSTM和DBEN相比,DHRC模型的预测效率分别提高了36.5566%和9.4276%。展开更多
近年来兴起的人工神经网络由于具有较强的自学习适应性和并行信息处理能力,从而在信号处理领域显示出巨大潜力。储备池计算是一种由递归神经网络衍生而来的类脑神经形态计算范式,对随时间变化的连续信号具有非常好的分类和时序预测能力...近年来兴起的人工神经网络由于具有较强的自学习适应性和并行信息处理能力,从而在信号处理领域显示出巨大潜力。储备池计算是一种由递归神经网络衍生而来的类脑神经形态计算范式,对随时间变化的连续信号具有非常好的分类和时序预测能力。本论文提出利用MEMS(Micro-Electro-Mechanical System)梁谐振器的非线性响应特征,设计并搭建了两种储备池计算的拓扑架构。此外,面向雷达信号处理中信号预测、图像识别、雷达信号特征分类和提取等应用需求,针对性地选择了NARMA(Nonlinear Auto Regressive Moving Average Equation of Order)预测任务、MNIST(Mixed National Institute of Standards and Technology)-手写数字图像识别、LFM(Linear frequency modulated)脉冲波形识别与特征提取等测试任务对论文所提两种不同储备池计算架构进行试验验证。同时,实验结果也充分展示了基于非线性MEMS谐振器的储备池计算硬件系统在雷达信号预测、分类与特征提取等应用领域中的应用潜力。为复杂电磁环境下,雷达信号处理提供新的有力工具,也为MEMS传感技术与雷达信号处理技术的交叉融合进行积极探索。展开更多
文摘针对目前小样本学习方法易过拟合、跨域泛化能力不足等问题,受启发于储备池计算不依赖于训练而缓解过拟合的特性,提出了一种基于储备池计算的小样本学习方法(Reservoir Computing based Network for Few-shot Image Classification,RCFIC)。整个方法由特征提取模块、特征增强模块和分类器模块构成。特征增强模块由储备池模块和基于储备池的注意力机制构成,分别对特征提取网络的特征进行通道级增强和像素级增强,同时联合余弦分类器促使网络学习具有高类间方差、低类内方差特性的特征分布。实验结果表明,本文算法在Cifar-FS、FC100、Mini-ImageNet等数据集上的分类精度至少比现有方法高1.07%,在从Mini-ImageNet到CUB-200的跨域场景设置下的分类精度优于次优方法1.77%。同时,消融实验验证了RCFIC的有效性。所提方法泛化性强,能够有效缓解小样本图像分类中的过拟合问题并在一定程度上解决跨域问题。
文摘近年来兴起的人工神经网络由于具有较强的自学习适应性和并行信息处理能力,从而在信号处理领域显示出巨大潜力。储备池计算是一种由递归神经网络衍生而来的类脑神经形态计算范式,对随时间变化的连续信号具有非常好的分类和时序预测能力。本论文提出利用MEMS(Micro-Electro-Mechanical System)梁谐振器的非线性响应特征,设计并搭建了两种储备池计算的拓扑架构。此外,面向雷达信号处理中信号预测、图像识别、雷达信号特征分类和提取等应用需求,针对性地选择了NARMA(Nonlinear Auto Regressive Moving Average Equation of Order)预测任务、MNIST(Mixed National Institute of Standards and Technology)-手写数字图像识别、LFM(Linear frequency modulated)脉冲波形识别与特征提取等测试任务对论文所提两种不同储备池计算架构进行试验验证。同时,实验结果也充分展示了基于非线性MEMS谐振器的储备池计算硬件系统在雷达信号预测、分类与特征提取等应用领域中的应用潜力。为复杂电磁环境下,雷达信号处理提供新的有力工具,也为MEMS传感技术与雷达信号处理技术的交叉融合进行积极探索。
