[发明专利]一种面向存储系统的突发访问行为的预测方法及装置

说明书

本发明公开了一种面向存储系统的突发访问行为的预测方法及装置，所述方法包括：取存储系统的I/O数据集一部分作为训练集，对训练集进行频繁关联I/O的挖掘；以指定预测时间为时间粒度对存储系统的I/O数据集的测试集进行划分，并获取测试集所对应预测时间点的I/O请求总数；提取每个预测时间点的指定观察时间中的I/O请求数据，对每个观察时间点的I/O请求数据进行过滤，使每个观察时间点的频繁关联I/O被过滤，保留每个观察时间点的非频繁关联I/O；采用每个观察时间点的非频繁关联I/O判断对应的预测时间点是否发生突发访问行为。本发明能够以较灵活的方式调整存储系统的I/O数据集的训练集，将得到的频繁关联I/O用于后续的突发预测实验。

技术领域

本发明涉及一种突发访问行为的预测方法及装置，尤其是一种面向存储系统的突发访问行为的预测方法及装置，属于数据挖掘和数据存储领域。

背景技术

突发访问是一种非常普遍的数据访问模式，它包括了各种计算机相关的工作负载(如磁盘I/O，文件系统访问，网络数据包，网页访问等等)。突发指的是在极短时间内形成大量的工作负载，造成服务器满足不了急剧上升的访问量而无法顺利完成用户提交的相关请求。例如，在2008年的奥林匹克运动会中，由于大规模的访问请求，导致了订票系统的奔溃以至于无法顺利被访问。再如1998年世界杯在实况转播时的数据访问突然激增到一个非常高的水平，而随后又回归正常的访问水平。而传统的计算机系统(例如，集群，数据中心等)往往是基于预期的峰值负载来对资源进行静态的配置。但是，当系统的负载骤降或者从波峰转向波谷时，这种静态的资源分配方式会导致能耗和资源采用率低下等问题。数据显示，许多大型企业的IT基础设施的采用率大约只有35％，在某些企业中可能会低至15％。Google也报告称其服务器的采用率往往在10％到15％之间。如果从能耗的角度考虑，就会发现系统中大量的闲置资源在没有对外提供服务的情况下也消耗了大量的能量。此外，突发访问往往伴随着自然灾害(如地震)或突发事件(如恐怖袭击)而发生，无法准确其预测发生时间。另一方面，突发访问具有突发流量大的特点，发生时，访问请求量往往达到正常情况下的数十倍甚至数百倍。可见对于存储系统的突发访问行为的分析与预测具有极为重大的现实意义和应用价值。

其中，由于突发访问行为发生的随机性，如何有效地预测突发访问行为一直是一个非常具有挑战性的问题。造成这一问题的因素主要是：主导突发访问行为因素的确定。

目前国内外关于突发访问的相关研究工作主要有：2011年肖军和云晓春等人提出了基于时延的flash crowd控制模型，该文章主要是采用平均的请求返回时延作为突发访问出现的检测依据，动态地评估有待保护存储服务器的负载情况，同时建立一套相应的session级别的准入控制机制。2010年Wenan Zhou等人针对视频点播网络提出了基于突发访问缓解算法的动态资源分配，其结果也表明这种基于单播和多播的混合电缆网络，视频对象访问模型以及突发访问模型的方法，是经济有效且健壮的。2007年Brian T.Davis等人提出了一种突发调度访问的重排机制。该机制通过改变内存访问流的顺序来减少访问延迟，它将内存的访问集中到同一个内存块和同一行中以最大化设备总线的采用率从而达到减少访问延迟的目的。该文的实验结果表明，突发调度相比较于按顺序的内存调度，可以减少21％左右的执行时间。2005年Hao Jiang等人提出的“为什么互联网流量的突发是发生在短时间尺度范围的”一文，并解释了相关问题。然而以上提到前人所做的一些关于突发访问的相关工作，基本上是围绕突发访问行为的现象，如何检测突发访问行为，如何解决突发访问行为带来的严重后果，如何采用突发访问行为等方面进行开展的，并没有任何关于预测突发方面的研究。

因此，为了让存储系统能够以一种更合理节能的方式调配资源，人们急需一种更准确、更有效的突发访问行为的预测技术。

发明内容