[发明专利]一种基于大数据的计算设备的缓存与预取加速方法和装置

说明书

一种基于大数据的计算设备的缓存与预取加速方法和装置，与传统的以设备为优化对象的缓存模式不同的是，该方法由大量缓存或预取服务装置对云端提交数据，包含这些服务装置所服务的被服务设备上的各种应用程序或网络操作的部分特征数据，所谓的特征数据主要指缓存与预取操作所关注的特征数据，比如应用读操作写操作比例、I/O请求类型、文件大小、使用频率、缓存优化经验、被服务端缓存设备硬件类型、用户群特征等，云端在收到数据后进行统计与分析，挖掘对于不同应用的优化缓存或预取方案，再以主动反馈或被动应答等方式将优化后的缓存方案与预判方案返回到缓存服务装置进行处理，可直接进行预判性质的工作与针对性优化，而无需重新长期积累缓存数据。

技术领域

该产品属于计算机设备与信息科学技术领域。是一种基于大数据与云技术的跨设备交互的计算机与智能设备加速方法。

背景技术

首先需要说明的是，本发明所指的缓存主要是指的计算机与智能计算设备的磁盘缓存，即用于加速系统运行，突破磁盘性能瓶颈的缓存，而不是视频流媒体缓存或路由web缓存。

磁盘缓存技术是为了解决磁盘速度瓶颈而出现的。磁盘性能的提高远远落后于处理器等电子设备，这使得存储系统仍旧是整个计算机系统的性能瓶颈。缓存(Caching)以及预取(Prefetching)是能够提高存储系统性能的两种非常有效的技术。缓存技术的思想是将经常访问的数据放在快速访问设备中，加快其存取速度，减少等待时间。预取技术是把将来有可能马上要被访问到的数据预先从慢速设备中预取到快速设备中。其中，由于预取实际上也是磁盘缓存调配的一种，故在本文中将两者统称为磁盘缓存技术。

缓存技术(Caching)，顾名思义，就是当上下两层次的设备读写性能差异较大时，介于上一级的高性能设备与下一级的低性能设备之间的一个缓冲层，其容量低于下一级的低性能设备，而性能往往低于上一级的高性能设备，但是其速度大于低性能设备，通过转移原本指向低性能设备的读写来提升性能。Cache一词来源于1967年的一篇电子工程期刊论文。凡是位于速度相差较大的两种硬件之间，用于协调两者数据传输速度差异的结构，均可称之为Cache。正是考虑到了缓存技术在整个存储体系中的重要地位，大量以提高缓存命中率、最小化磁盘I/O数量为目标的缓存管理算法纷纷涌现。比如，LRU是应用最为广泛的缓存管理算法，算法的核心思想就是优先将那些设备在最近一段时期内最少访问的数据替换出缓存，从而最大限度保障缓存的利用效率。另外，还有一些与LRU相反的缓存管理算法，它们是针对应用中特定访问模式而设计的。比如最多使用替换算法(Most Recently Used,MRU)也被称为读取-替换算法。与LRU优先替换出设备最近最少使用的数据不同，MRU总是从设备缓存中替换出最近使用的数据块。之所以如此，是因为MRU最初是为一些类似于顺序扫描、循环扫描的访问模式所设计的。无论是基于空间局部性还是访问频率，缓存管理算法的最终目标就是提高设备端缓存的命中率、最小化设备磁盘I/O的数量。

预取技术(Prefetching)是提高存储系统性能的另一项重要技术。预取是将那些尚未访问但未来可能访问的数据预先从磁盘等低速存储设备成批读取到缓存等高速存储设备中，以提高数据访问的速度，并最终提升整个存储系统的性能。

预取技术的有效性主要取决于两个方面：一个是预取的精确度以及受其影响的缓存命中率，另一个则是预取中顺序性的挖掘。一些研究试图通过保存更多更久的历史访问信息来提升预测的准确性。另外一类算法则通过设备的历史访问信息来挖掘文件之间或者数据块之间的访问关系，并基于这些关系预测未来的访问数据，提高缓存的命中率。

无论缓存还是预取，一直以来，磁盘缓存技术的算法、优化、自我学习都是局域的，针对具体设备的，将优化寄希望于长时间的校正。这是因为，在过去，磁盘缓存系统都是为提升本设备性能设计的，其既无法获得其他设备的缓存信息，也无法影响其他设备的运行，何况设备之间差异巨大即使实现各个设备系统之间的交互似乎也毫无意义。

原因1.无法获得其他设备的缓存信息