[发明专利]数据处理方法及系统

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

对实时到达的原始数据进行解析；

根据配置信息从解析后的原始数据中提取数据统计所需要的至少一个字段及每个所述字段的值；

根据所述配置信息、至少一个字段、每个所述字段的值以及每个所述字段的值对应的采集时间按照预设的时间窗进行数据统计，得到键、所述键对应的键值以及所述键值对应的当前时间窗口值；

根据所述键、所述键对应的键值以及所述键值对应的当前时间窗口值，在键值存储系统中对所述键对应的所述键值按照时间窗进行增量更新。

2.根据权利要求1所述的方法，其特征在于，所述对实时到达的原始数据进行解析，包括：将所述原始数据转换为字段-值的形式，所述字段的值的类型为字符串、整型、浮点型、布尔型或者复合的对象类型。

3.根据权利要求1所述的方法，其特征在于，根据所述配置信息、至少一个字段、每个所述字段的值以及每个所述字段的值对应的采集时间按照预设的时间窗进行数据统计，得到键、所述键对应的键值以及所述键值对应的当前时间窗口值，包括：

根据所述配置信息将所述至少一个字段统计为所述键；

根据每个所述字段的值对应的采集时间和所述预设的时间窗，确定所述键值对应的当前时间窗口值；

根据所述配置信息和每个所述字段的值对应的采集时间，将采集时间属于同一所述当前时间窗口值对应的时间窗口的所述字段的值进行数据合并，得到所述键对应的所述键值。

4.根据权利要求1所述的方法，其特征在于，所述根据所述键、所述键对应的键值以及所述键值对应的当前时间窗口值，在对键值存储系统中对所述键对应的所述键值按照时间窗进行增量更新，包括：

所述根据所述键从所述键值存储系统中获取所述键对应的键值以及所述键值对应的时间窗口值；

判断所述当前时间窗口值是否包括在从所述键值存储系统中获取的所述时间窗口值中；

若包括在，将所述当前时间窗口值对应的所述键值与所述键值存储系统中同一时间窗口下所述键对应的键值进行合并，并更新保存在所述键值存储系统中；

若未包括在，在所述键值存储系统中以增量的形式存储所述键对应的所述键值和所述键值对应的当前时间窗口值。

5.根据权利要求1-4任一所述的方法，其特征在于，对实时到达的原始数据进行解析之前，所述方法还包括：

从日志收集系统、中间件系统或者实时存储系统获取实时到达的所述原始数据。

6.一种数据处理系统，其特征在于，所述系统包括：

解析组件，用于对实时到达的原始数据进行解析；

提取组件，用于根据配置信息从解析后的原始数据中提取数据统计所需要的至少一个字段及每个所述字段的值；

统计组件，用于根据所述配置信息、至少一个字段、每个所述字段的值以及每个所述字段的值对应的采集时间按照预设的时间窗进行数据统计，得到键、所述键对应的键值以及所述键值对应的当前时间窗口值；

更新组件，用于根据所述键、所述键对应的键值以及所述键值对应的当前时间窗口值，在键值存储系统中对所述键对应的所述键值按照时间窗进行增量更新。

7.根据权利要求6所述的系统，其特征在于，所述解析组件，具体用于将所述原始数据转换为字段-值的形式，所述字段的值的类型为字符串、整型、浮点型、布尔型或者复合的对象类型。

8.根据权利要求6所述的系统，其特征在于，所述统计组件，具体用于根据所述配置信息将所述至少一个字段统计为所述键；根据每个所述字段的值对应的采集时间和所述预设的时间窗，确定所述键值对应的当前时间窗口值；根据所述配置信息和每个所述字段的值对应的采集时间，将采集时间属于同一所述当前时间窗口值对应的时间窗口的所述字段的值进行数据合并，得到所述键对应的所述键值。

9.根据权利要求6所述的系统，其特征在于，所述更新组件，具体用于所述根据所述键从所述键值存储系统中获取所述键对应的键值以及所述键值对应的时间窗口值；判断所述当前时间窗口值是否包括在从所述键值存储系统中获取的所述时间窗口值中；若包括在，将所述当前时间窗口值对应的所述键值与所述键值存储系统中同一时间窗口下所述键对应的键值进行合并，并更新保存在所述键值存储系统中；若未包括在，在所述键值存储系统中以增量的形式存储所述键对应的所述键值和所述键值对应的当前时间窗口值。