[发明专利]流式数据的多高速缓存处理

说明书

一种计算机在数据处理系统中的高速缓存存储器上提供第一高速缓存区域和第二高速缓存区域，该数据处理系统包括数据库储存库和用于该数据库储存库的高速缓存存储器。计算机在第一时间窗口中接收流式数据，并将流式数据写入第一高速缓存区域。计算机在第一时间窗口中禁止在第一高速缓存区域与数据库储存库之间执行同步。计算机在第一时间窗口的至少一部分中使能数据库储存库与第二高速缓存区域之间的同步。计算机在第一时间窗口过去时使能第一高速缓存区域与数据库储存库之间的同步。

技术领域

本发明涉及流式计算，并且更具体地，涉及处理流式数据。

背景技术

流式计算是一种计算范例，其读取从潜在的数千个数据源(例如软件或硬件传感器)以流形式连续获得的数据，然后计算流式数据以提供计算的分析结果。

流式数据可以是如下的各种数据：例如，金融交易数据；由任何传感器生成的日志文件数据，所述传感器诸如物联网(IoT)设备、电能表、气表、水表、游戏中玩家活动、移动或web应用、RFID标签、包括通勤通行证或信用卡的IC卡、或从微博获得的文本信息。流式数据可以具有但不限于小的尺寸(例如，千字节的量级)。

通常，流式数据需要在逐个记录的基础上或在滑动时间窗口上被顺序地并且进一步递增地处理，并且可以被用于各种各样的分析，诸如相关、聚合、过滤和采样。

流式数据的处理在连续产生新的动态数据的情况下是有益的。因此，流式数据的处理需要实时摄取流式数据并使用高速缓存存储器来更新数据库储存库。

存在一些已知的用于处理流式数据的技术，每个都具有缺点。一种传统的解决方案使用数据库高速缓存和存储器内数据库作为数据库高速缓存。然而，这种传统的解决方案具有实时性能差的缺点。这种传统的解决方案提供了一种应用，其可以从数据库高速缓存和周期性地与数据库高速缓存同步数据的数据库中读取/写入。在与数据库同步期间锁定数据库高速缓存，因此在同步期间停止从应用的访问(读和/或写)。因此，根据上述传统解决方案不能实现实时性能。该传统解决方案在此将被称为TS1。

另一种已知技术使用基于流的数据库高速缓存。然而，这种解决方案具有新输入数据不一致的缺点。该技术涉及可以写入到数据库的应用，数据库周期性地与数据库高速缓存同步，并且应用可以从数据库高速缓存读取数据。输入数据首先被直接写入数据库，然后在数据库和数据库高速缓存之间进行同步。因此，如果应用试图在同步完成之前读取新输入的数据，则它可能发现没有数据。换句话说，应用仅在同步完成之后才能读取新输入的数据。因此，根据上述解决方案不能实现新输入数据的一致性。

第三种已知技术涉及多层高速缓存系统，这意味着从主数据库检索的数据将首先被高速缓存到全局Redis数据存储(慢全局高速缓存)中，并且还被高速缓存到局部APC高速缓存(快本地高速缓存)中。然而，多层高速缓存系统需要额外的时间来读取新输入的数据。在该技术中，通过将输入数据写入全局高速缓存和数据库来执行写入操作。首先通过从本地高速缓存读取数据来执行读取操作，并且如果在本地高速缓存上没有找到数据，则首先将数据从数据库拷贝到全局高速缓存，然后随后从全局高速缓存拷贝到本地高速缓存以从本地高速缓存读取数据。因此，可以实现新输入数据的一致性，但是由于将新输入数据从数据库拷贝到全局高速缓存然后从全局高速缓存复制到本地高速缓存，或者将新输入数据从全局高速缓存拷贝到本地高速缓存，所以需要额外的时间来读取新输入数据。因此，根据多层高速缓存系统不能实现实时性能。

因此，与所有已知技术相比，可能存在先前未满足的需要来满足新输入数据的一致性和处理流式数据中的实时性能。

因此，在本领域中需要解决上述问题。

发明内容

本发明的各方面涉及用于处理流式数据的方法、数据处理系统和计算机程序产品。