[发明专利]一种数据分析处理系统和数据处理方法

说明书

本发明提供一种数据分析处理系统和数据处理方法，该方法包括：获取流任务的第一数据结构的输入数据；将所述第一数据结构的输入数据转换为第二数据结构的中间数据；使用所述流任务的算子对所述中间数据进行计算，输出计算结果；其中，所述第二数据结构包括静态数据区域和动态数据区域。本发明实施例中的数据分析处理系统能够处理动态数据或者复杂数据，提高了数据处理效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据分析处理系统和数据处理方法。

背景技术

近年来，大数据处理与分析已经成为全球性问题，随着经济社会信息化和自动化水平不断提高，在政府管理、公共服务、科学研究、商业应用等许多领域面临大数据问题，需要有各种针对性和经济有效的解决方案。大数据平台为行业大数据提供处理能力，集数据接入、数据处理、数据存储、查询检索、分析挖掘、应用接口等功能为一体。

现有的数据分析处理系统仅能处理单层的数据或者静态数据，不能处理动态数据或者复杂数据(嵌套数据)，现有的数据分析处理系统数据处理效率低，处理数据类型单一。

发明内容

本发明实施例提供一种数据分析处理系统和数据处理方法，解决现有的数据分析处理系统数据处理效率低，处理数据类型单一的问题。

为解决上述技术问题，本发明提供一种数据处理方法，应用于数据分析处理系统，所述方法包括：

获取流任务的第一数据结构的输入数据；

将所述第一数据结构的输入数据转换为第二数据结构的中间数据；

使用所述流任务的算子对所述中间数据进行处理，输出处理结果；

其中，所述第二数据结构包括静态数据区域和动态数据区域。

优选的，上述方法中，所述将所述第一数据结构的输入数据转换为第二数据结构的中间数据包括：

获取所述输入数据的数据类型；

根据所述数据类型，将所述第一数据结构的输入数据转换为第二数据结构的中间数据。

优选的，上述方法中，所述根据所述数据类型，将所述第一数据结构的输入数据转换为第二数据结构的中间数据包括：

根据所述输入数据的各字段的原数据类型，确定所述各字段在所述第二数据结构中对应的目标数据类型，所述目标数据类型包括静态数据类型和动态数据类型；

对所述第二数据结构中对应的静态数据和动态数据统一进行顺序编号，得到静态区域索引，以及，对所述动态数据单独进行顺序编号，得到动态区域索引；

根据所述静态区域索引、动态区域索引，以及所述各字段在所述第二数据结构中对应的目标数据类型，将所述第一数据结构的输入数据转换为第二数据结构的中间数据。

优选的，上述方法中，所述根据所述输入数据的各字段的原数据类型，确定所述各字段在所述第二数据结构中对应的目标数据类型的步骤包括：

子步骤a：若所述输入数据的字段的原数据类型为静态，且所述数据类型是标量，将所述字段标记为静态数据；

子步骤b：若所述输入数据的字段的原数据类型为静态，且所述数据类型为非标量，对所述字段的各个子字段递归重复子步骤a，b；

子步骤c：若所述输入数据的字段的原数据类型为动态，所述字段包含的子字段的个数和名称是确定的，则对所述字段的各个子字段递归重复子步骤a，b，c；

子步骤d：若所述输入数据的字段的原数据类型为动态，且所述字段的子字段的个数或名称不确定，则标记为动态数据。