针对数据存储中心硬盘故障数据稀少造成的故障预测效果不佳的问题,面向自我检测分析与报告技术(self-monitoring analysis and reporting technology,SMART)数据信息的时序特征,提出一种通过数据增强解决不平衡问题的硬盘故障预测算法...针对数据存储中心硬盘故障数据稀少造成的故障预测效果不佳的问题,面向自我检测分析与报告技术(self-monitoring analysis and reporting technology,SMART)数据信息的时序特征,提出一种通过数据增强解决不平衡问题的硬盘故障预测算法。该算法利用长短期记忆网络改进传统的生成对抗网络,生成包含故障恶化趋势信息的序列段数据,解决了数据集不平衡问题。同时,为进一步提高预测性能,预测模型融合了时序注意力机制和特征注意力机制,挖掘不同SMART特征和时间步对硬盘故障恶化过程的敏感程度。此外,在特征选择阶段结合了多种典型特征选择算法来选取关键特征。在真实硬盘数据集上进行了实验验证,结果表明,所提算法的准确率、召回率和F 1值均有较大提升。展开更多
随着互联网的发展、存储规模的骤增,大型数据中心硬盘频繁损坏导致的数据丢失给企业带来的损失已成为不可忽视的重大问题.以往基于硬盘SMART(self-monitoring,analysis and reporting technology)属性建立的包括应用统计学和机器学习等...随着互联网的发展、存储规模的骤增,大型数据中心硬盘频繁损坏导致的数据丢失给企业带来的损失已成为不可忽视的重大问题.以往基于硬盘SMART(self-monitoring,analysis and reporting technology)属性建立的包括应用统计学和机器学习等方法在内的各种硬盘故障预测模型,虽然取得了较好的效果,但其数据采集及处理等方面均存在不足之处.基于某真实的互联网大型数据中心环境,提取SMART属性数据,并提出了一种基于神经网络权值矩阵的方法,结合Rank Sum秩和检验、RAT反向安排测试、Z-Score评分3种无参统计学方法,对属性进行选择,应用CART决策树及BP神经网络2种机器学习方法,建立硬盘故障预测模型.实验表明描述的2种硬盘故障预测模型均具有很好的性能,这是机器学习算法在实际应用场景下很好的实践.此外,通过实验以及对实验的分析和解释,得出一些有益的结论,这为下一步的研究工作奠定了基础.展开更多
文摘随着互联网的发展、存储规模的骤增,大型数据中心硬盘频繁损坏导致的数据丢失给企业带来的损失已成为不可忽视的重大问题.以往基于硬盘SMART(self-monitoring,analysis and reporting technology)属性建立的包括应用统计学和机器学习等方法在内的各种硬盘故障预测模型,虽然取得了较好的效果,但其数据采集及处理等方面均存在不足之处.基于某真实的互联网大型数据中心环境,提取SMART属性数据,并提出了一种基于神经网络权值矩阵的方法,结合Rank Sum秩和检验、RAT反向安排测试、Z-Score评分3种无参统计学方法,对属性进行选择,应用CART决策树及BP神经网络2种机器学习方法,建立硬盘故障预测模型.实验表明描述的2种硬盘故障预测模型均具有很好的性能,这是机器学习算法在实际应用场景下很好的实践.此外,通过实验以及对实验的分析和解释,得出一些有益的结论,这为下一步的研究工作奠定了基础.
