[发明专利]自愈实时数据处理

说明书

本文描述用于实时处理传入数据的方法和系统。输入的数据被实时处理以生成数据记录，这些数据记录可以随着时间而改进(例如，通过自动校正记录中的不准确数据)。在一些实施例中，当接收到数据时，最初在第一时间约束下对接收到的数据执行实时处理，以产生用于数据记录的第一数据。随后在第二时间约束下对接收到的数据执行一个或多个非实时处理，以产生用于数据记录的第二数据。第二数据可用于更新数据记录，例如，以校正由对接收到的数据的实时处理引起的任何误差。优选地，第二时间约束比第一时间约束更长。

技术领域

本说明书总体涉及对数据的实时处理以生成数据记录以供存储，并且更具体地，在各种实施例中涉及提供自动校正数据记录中的误差的处理机制。

背景技术

企业服务器通常需要每天处理与数亿事件(如登录尝试、支付交易等)相关的数据。通常要求实时(例如，具有短延迟要求，例如小于1秒)处理事件数据，以便服务器可以通过依赖准确表示当前条件的数据来进行操作和/或作出反应。由于严格的时间要求、高处理负载和各种其他原因(如数据包丢失、实时处理的数据库性能不稳定、短延迟要求内无法解决的数据写入冲突、数据损坏等)，典型的企业服务器通常无法实时处理一个或多个事件，作为结果，产生的数据记录的质量受到影响。进一步加剧这个问题的是，如果企业服务器的实时处理应用崩溃或者在实时处理事件数据时数据存储耗尽内存，则一部分数据可能会丢失并变得不可恢复。因此，需要改进的实时数据处理系统和方法。

发明内容

本发明描述了用于实时处理传入数据以生成数据记录并随时间自动提高生成的数据记录的质量的方法和系统。在一些实施例中，当接收到数据时，最初在第一时间约束下对接收到的数据执行实时处理以产生用于数据记录的第一数据。随后，可以在第二时间约束下对接收到的数据执行一个或多个非实时处理，以产生用于数据记录的第二数据。第二数据可用于更新数据记录，例如，以校正由对接收到的数据的实时处理引起的任何误差。在各种情况下，第二时间约束比第一时间约束更长(例如更宽松)。

用于实时处理的数据可以是任何类型的数据，包括与一个或多个事件相关联的事件数据。可能需要企业服务器实时处理的事件数据的示例包括登录尝试数据和交易数据，例如支付交易数据。这些类型的数据由于其对时间敏感的性质而可能需要实时处理，因为由企业服务器执行的后续操作可能取决于先前发生的事件。注意，在各种实施例中，“实时”处理通常可指对数据进行快速处理，以满足服务水平协议(SLA)或其他指定的短期时间约束，在各种实施例中，其可为毫秒或秒量级(例如，1ms、5ms、10ms或1s、5s、10s)。

根据本发明的各种实施例，通过处理接收到的事件数据而生成的数据可以存储在数据结构中，该数据结构使得非实时处理能够校正所生成的数据中的任何数据误差。这种数据结构的一个示例是滑动窗口数据结构。滑动窗口数据结构包括一个或多个数据桶(bucket)。每个数据桶包括多个时隙，其中每个时隙对应于不同的时间帧。在这些实施例中的一些中，与一个或多个事件相关联的接收到的事件数据包括时间戳，该时间戳指示一个或多个事件是何时发生的。当接收到事件数据时，根据本公开的各种实施例的实时处理从事件数据导出数据值，并更新与事件数据的时间戳相对应的时隙中的数据。由于实时处理必须在紧张的时间约束下处理事件数据，因此正在更新的时隙通常对应于包括当前时间的时间帧。实时处理必须处理事件数据的紧张的时间约束可能导致不准确的数据被写入(或更新)到时隙中。