[发明专利]一种基于CACHE的数据处理系统及其方法

说明书

技术领域

本发明涉及数据存取技术，尤其涉及分布式环境下的数据缓存技术。

背景技术

随着网络应用系统的功能日益强大，用户向系统发送数据请求的频率与幅度也 越来越高，从而系统的数据规模量也迅速地呈现上升趋势。在这种情况下，传统 的数据库的吞吐量毕竟有限，尤其在大规模的数据请求时，传统数据库的I/O吞 吐水平已无法满足用户的快捷体验感，并且日益成为制约系统继续扩展的瓶颈。

在互联网飞速发展的今天，尤其是门户网络，每天来自用户的数据请求量高达 数亿条，并且在这些数据请求中有很多都是相同的。对于系统来说，频繁读取相 同数据给不同的用户会造成系统性能的大幅度下降；对于用户来说，请求点击率 高的数据会耗费大量的等待时间。为了解决这一技术问题，开发一种在分布式环 境下高效、实时、高性能的数据缓存系统是必然趋势，也是势在必行的。

以下对CACHE予以简要地介绍。CACHE是一种特殊的存储器，它由CACHE存储 部件和CACHE控制部件组成。CACHE存储部件一般采用与CPU同类型的半导体存储 器件，其存取速度也比内存快几倍甚至十几倍。而CACHE控制部件包括主存地址 寄存器、CACHE地址寄存器、主存-CACHE地址变换部件及替换控制部件等。当CPU 一条指令接着一条指令地运行程序时，其指令地址往往是连续的，也就是说，CPU 在访问内存时，在较短的一段时间内往往集中于某个局部，这时候可能会碰到一 些需要反复调用的子程序。为此，计算机在工作时将这些频繁调用的子程序存入 比内存快得多的CACHE中，并由此而引申出CACHE“命中”和“未命中”。CPU在 访问内存时，首先判断所要访问的内容是否在CACHE中，如果存在，就称为“命 中”，在CACHE命中时CPU直接从CACHE中调用所需访问的数据内容；如果不存 在，就称为“未命中”，CPU只好去内存中调用所需的子程序或指令。此外，CPU 不但可以直接从CACHE中读出内容，也可以直接往其中写入内容，由于CACHE的 存取速率相当快，使得CPU的利用率大大提高，进而使得整个系统的性能得以提 升。

图1示出了现有技术中分布式环境下基于CACHE的数据处理系统的一种实施例。 参照图1，在该分布式环境下具有两台服务器：应用服务器1-100和应用服务器 2-106，其中应用服务器1配置有CACHE服务包1-102，应用服务器2配置有CACHE 服务包2-108，并且分别将CACHE数据存储在CACHE中心1-104和CACHE中心2 -110内。本领域的技术人员应当理解，虽然该实施例中只有两台应用服务器，但 是分布式环境下的服务器数目并不仅仅只限于两台的情况。为了提高CACHE数据 的命中率与CACHE数据的一致性，需要一种数据同步装置将每台应用服务器中有 变化的CACHE数据通知给所有其他的应用服务器，即，图1中的数据同步装置。 这里需要说明的是，CACHE性能的关键指标就是CACHE的命中率，鉴于CACHE的容 量远远小于内存，它只可能存放内存的一部分数据。CPU首先访问CACHE，再访问 主存，如果数据在CACHE中即为CACHE命中；如果数据不在CACHE中为CACHE未 命中，从而CACHE命中的数据占整个需要访问的数据的比例就是CACHE的命中率。 换言之，CACHE中找到的所需访问的数据越多，CACHE的命中率越高；CACHE中没 有找到而在内存中找到的所需访问的数据越多，CACHE的命中率就越低。

对于图1所示的数据处理系统，在系统规模比较小、CACHE中存储的数据量不 大的情形下，可以有效地工作。但是如果数据量很大，CACHE数据存储在本地服务 器中会影响到本地服务器的正常工作，如果另外设置专门的服务器则影响工作效 率，并且成本增加了。更需要考虑的是，如果系统规模变大，比如应用服务器超 过五台，则系统耗费在数据同步上面的开销非常巨大，也使得系统的性能急剧下 降。