[发明专利]一种数据分析处理系统和数据处理方法

权利要求书

1.一种数据处理方法，应用于数据分析处理系统，其特征在于，包括：

获取流任务的第一数据结构的输入数据；

将所述第一数据结构的输入数据转换为第二数据结构的中间数据；

使用所述流任务的算子对所述中间数据进行处理，输出处理结果；

其中，所述第二数据结构包括静态数据区域和动态数据区域；

所述将所述第一数据结构的输入数据转换为第二数据结构的中间数据包括：

获取所述输入数据的数据类型；

根据所述数据类型，将所述第一数据结构的输入数据转换为第二数据结构的中间数据；

所述根据所述数据类型，将所述第一数据结构的输入数据转换为第二数据结构的中间数据包括：

根据所述输入数据的各字段的原数据类型，确定所述各字段在所述第二数据结构中对应的目标数据类型，所述目标数据类型包括静态数据类型和动态数据类型；

对所述第二数据结构中对应的静态数据和动态数据统一进行顺序编号，得到静态区域索引，以及，对所述动态数据单独进行顺序编号，得到动态区域索引；

根据所述静态区域索引、动态区域索引，以及所述各字段在所述第二数据结构中对应的目标数据类型，将所述第一数据结构的输入数据转换为第二数据结构的中间数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述输入数据的各字段的原数据类型，确定所述各字段在所述第二数据结构中对应的目标数据类型的步骤包括：

子步骤a：若所述输入数据的字段的原数据类型为静态，且所述数据类型是标量，将所述字段标记为静态数据；

子步骤b：若所述输入数据的字段的原数据类型为静态，且所述数据类型为非标量，对所述字段的各个子字段递归重复子步骤a，b；

子步骤c：若所述输入数据的字段的原数据类型为动态，所述字段包含的子字段的个数和名称是确定的，则对所述字段的各个子字段递归重复子步骤a，b，c；

子步骤d：若所述输入数据的字段的原数据类型为动态，且所述字段的子字段的个数或名称不确定，则标记为动态数据。

3.根据权利要求1所述的方法，其特征在于，在所述根据所述静态区域索引、动态区域索引，以及所述各字段在所述第二数据结构中对应的数据类型，将所述第一数据结构的输入数据转换为第二数据结构的中间数据的步骤之前，所述方法还包括：

根据所述静态区域索引的个数建立相应长度的静态数据区域；

根据所述动态区域索引的个数建立相应长度的动态数据区域。

4.根据权利要求1或3所述的方法，其特征在于，所述静态数据区域为变长数组，所述动态数据区域为变长数组。

5.根据权利要求4所述的方法，其特征在于，所述根据所述静态区域索引、动态区域索引，以及所述各字段在所述第二数据结构中对应的数据类型，将所述第一数据结构的输入数据转换为第二数据结构的中间数据的步骤包括：

将标记为静态数据的字段的值映射为所述静态数据区域中，与所述静态数据的字段对应的静态区域索引为下标的数组元素；

将标记为动态数据的字段的值映射为所述动态数据区域中，与所述动态数据的字段对应的动态区域索引为下标的数组元素；

将所述静态数据区域中，与所述动态数据的字段对应的静态区域索引为下标的数组元素的值设置为所述动态区域索引。

6.根据权利要求1所述的方法，其特征在于，所述获取所述输入数据的数据类型包括：

基于用户配置输入获取所述输入数据的数据类型；或

基于预先建立的数据类型预测模型确定所述输入数据的数据类型。

7.根据权利要求1所述的方法，其特征在于，所述输入数据包括嵌套数据和/或动态数据。