[发明专利]一种云计算平台的硬盘故障预测方法

说明书

技术领域

本发明涉及一种云计算平台的硬盘故障预测方法，属于计算机数据挖掘领域，具体说是一种硬盘故障预测算法。

背景技术

硬盘故障预测可以保证数据安全性、提高运维效率、控制存储成本。这项技术涉及云计算、数据挖掘、硬盘SMART技术、故障预测技术、极不平衡数据分类技术等多个领域的技术。硬盘故障预测主要指依靠硬盘SMART数据来进行故障预测。但是，如文献1：PINHEIRO E,WEBERWD,BARROSO L A.Failure trends in a large disk drive population[EB/OL].[2012-10-10].http://research.google.com/archive/disk_failures.pdf.介绍的，利用统计方法，36％的故障原因不能被预估到。

目前，硬盘厂商普遍采用阈值判定方法来预测硬盘故障，即利用硬盘SMART技术，采集硬盘运行时的各项指标信息，并与设定的硬盘故障预警阈值相比较，超过阈值便触发故障报警。为了减少因故障预警而返厂检测维修的硬盘数量，从而降低成本，硬盘厂商在设定阈值时往往选择将误报率降至最低，但同时也牺牲了预测的准确率。采用阈值判定方法的预测准确率约为3％-10％，误报率约为0.1％。

Pinheiro等发现只有4个SMART属性与硬盘故障存在有一定的关联，即扫描错误、重分配计数、离线重分配计数和试用计数。但是当他们在谷歌公司超过十万块的硬盘上统计研究时发现，超过56％的故障硬盘都没有在这4个属性中的任何一个上有计数值。因此，他们认为仅利用SMART不能够建立准确地硬盘故障预测模型，而更适用于预测硬盘集群的趋势，参见文献2：E.Pinheiro,W.D.Weber,and L.A.Barroso,“Failure trends in a large disk drive population,”in Proceedings of the 5th USENIX Symposium on File and Storage Technologies(FAST 07),2007.

Agarwal和Niranjanet等仅利用SMART信息采用MLRules算法建立的硬盘故障预测模型获得66％的检测率和3％的误报率，参见文献3：Vipul Agarwal,Chiranjib Bhattacharyya,ThirumaleNiranjan,et al.Discovering Rules from Disk Events for Predicting Hard Drive Failures[C].IEEE Computer Society,2009.Hamerly和Elkan、Hughes和Murray等、张超主要利用SMART信息和其他的环境信息等建立的故障预测模型最多获得了56％的检测率，参见文献4：Greg Hamerly,Charles Elkan.Bayesian Approaches to Failure Prediction for Disk Drives[C].Morgan Kaufmann,2001.文献5：Gordon F.Hughes,Joseph F.Murray,Kenneth Kreutz-delgado,et al.Improved Disk-Drive Failure Warnings[J].IEEE Transactions on Reliability.2002.文献6：Joseph F.Murray,Gordon F.Hughes,Kenneth Kreutz-Delgado.Machine Learning Methods for Predicting Failures in Hard Drives:A Multiple-Instance Application[J].Journal of Machine Learning research.2005,6:783～816.文献7：张超.高性能磁盘阵列自修复技术研究[D].国防科学技术大学,2008.与Pinheiro等的研究不同，这些研究中的实验数据均来自返厂维修硬盘集合的子集，故障率要明显高于用户实际使用时所观测到的。