[发明专利]数据流处理

说明书

本申请涉及数据流处理。更具体而言，公开了用于将数据流中的数据分区为批并基于每个批的字段值来推断用于各个批的模式的技术。即使不同批的数据记录是从共同的数据流或共同的数据源接收到的，系统也可以推断出与不同批的数据记录对应的不同模式。系统可以通过确定字段包含单个值还是多个值来推断模式。然后，系统确定与值相关联的(一个或多个)字段类型。然后将这些确定存储在为每个批生成的字典中。

技术领域

本公开涉及处理数据流中的数据。特别地，本公开涉及对在数据流中接收的数据记录的逐批分析，以基于逐批生成数据存储模式。

背景技术

数据存储系统一般根据预定义的模式将数据存储在数据结构中。预定义的模式定义了由数据结构实例化的参数、参数类型和值类型。由数据存储系统接收的数据一般必须与数据库模式兼容，以便可以将数据存储在数据库的已建立结构中。

当应用于例如具有数十、数百或数千个参数/值对(有时俗称“大数据”)的数据流时，使用以单一模式配置存储数据的数据库在存储时或查询数据时可能具有挑战性。而且，在使用单个模式的数据库中存储数据也可以在多租户存储环境中带来挑战。例如，各种租户可能不会都以相同的方式收集数据或定义参数类型，也不一定以与数据库模式一致的格式收集数据。通过要求租户调整其数据收集和数据对象定义以匹配数据库模式，这会给系统的租户带来不便。当从租户接收的数据以与数据库模式不一致的方式结构化时，租户数据与数据库模式之间的差异也会造成数据存储的错误。

本节中描述的方法是可以采用的方法，但不一定是先前已经设想或采用的方法。因此，除非另有说明，否则不应仅由于将本节中所述的任何方法包括在本节中而将其视为有资格作为现有技术。

附图说明

在附图的各图中，通过示例而非限制的方式图示了实施例。应当注意的是，在本公开中对“实施例”或“一个实施例”的引用不一定是指同一个实施例，并且它们意味着至少一个。在附图中：

图1是根据一个或多个实施例的将数据流处理成批、基于数据批本身推断字段类型和参数值并根据其自己推断出的模式存储与每个批相关联的经处理数据的示意图；

图2图示了根据一个或多个实施例的用于从数据流生成数据批并推断与每个批对应的模式的系统；

图3图示了根据一个或多个实施例的用于处理数据流的示例操作集合，其可以包括在逐批的基础上识别数据内的字段并推断字段类型；

图4图示了根据一个或多个实施例的用于批建立索引过程的示例操作集合；

图5图示了根据一个实施例的针对从公共源接收的数据推断出的不同模式的一个示例实施例，每个公共源包括不同的参数值对；以及

图6示出了图示根据一个或多个实施例的计算机系统的框图。

具体实施方式

在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供透彻的理解。可以在没有这些具体细节的情况下实践一个或多个实施例。一个实施例中描述的特征可以与另一个实施例中描述的特征组合。在一些示例中，参考框图形式描述了众所周知的结构和设备，以避免不必要地混淆本发明。

1.总体概述

2.系统体系架构

3.数据流处理

4.示例实施例

5.计算机网络和云网络

6.其它事项；扩展

7.硬件概述

1.总体概述