[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本发明公开了一种数据处理方法、装置、设备及存储介质，方法包括：接收源数据，并读取源数据的信息；基于预设方式对源数据的信息进行解析，获得与源数据的信息对应的映射为schema格式的解析信息，以及用于对解析信息进行结构化查询语言处理的配置信息；根据解析信息和配置信息进行计算；输出schema格式的计算结果，本发明中的方法将来源于不同的数据源的不同数据格式的源数据转换为统一的格式，并且只需要根据源数据的信息进行相应的配置，就能够获得最终的计算结果，不需要使用编程语言对每一种数据格式的源数据的信息进行进一步编程和处理，减少了编程人员的重复劳动，节约了人力和物力成本。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

数据处理是指对数据(包括数值的和非数值的)进行采集、转换、存储、检索、分析、加工和传输等处理的过程。随着计算机的推广和普及，采用计算机进行数据处理已经成为数据处理的常用方式。然而，对于不同的数据计算过程，采用计算机进行数据处理时，通常需要针对每一种数据的处理过程编写大量的脚本以完成数据处理的工作。

具体地，比如数据来源于不同的系统，各个系统中的数据格式不同，为了对这些数据进行计算，需要对每一个系统的数据格式均对应编写一个脚本。再比如，获取到的数据需要进行计算、处理的种类不同，为了满足对这些数据进行处理的需求，需要对每一种处理方式编写一个对应的脚本。现有技术中的数据处理方法，编写人员在开发过程中需要进行大量的重复劳动，不仅导致数据处理的脚本开发效率低下，还浪费了大量的人力、物力资源。

发明内容

为了解决上述技术问题，本发明提供了一种数据处理方法、装置、设备及存储介质。

本发明提供了一种数据处理方法，方法包括：

接收源数据，并读取所述源数据的信息；

基于预设方式对所述源数据的信息进行解析，获得与所述源数据的信息对应的映射为schema格式的解析信息，以及用于对所述解析信息进行结构化查询语言处理的配置信息；

基于预存的计算规则，根据所述解析信息和所述配置信息进行计算；

输出schema格式的计算结果；

以与所述源数据的信息对应的映射为schema格式的解析信息中分隔的字段为依据定义所述源数据的信息的类型，将所述源数据的信息的类型与所述schema格式数据中的关键字结合，确定所述配置信息；

其中，所述配置信息包括所述解析信息的unit类型、string类型和/或dict类型。

上述数据处理方法还具有以下特点：所述接收源数据包括：

接收来自至少一个数据源的不同协议类型的源数据和/或不同格式的源数据。

上述数据处理方法还具有以下特点：所述接收来自至少一个数据源的不同协议类型的源数据和/或不同格式的源数据包括：

通过接入提供所述源数据的数据源的api接口，接收所述源数据。

本发明还提供了一种数据处理装置，包括：

接收模块，用于接收源数据，并读取所述源数据的源数据的信息；

解析模块，用于基于预设方式对所述源数据的信息进行解析，获得与所述源数据的信息对应的映射为schema格式的解析信息，以及用于对所述解析信息进行结构化查询语言处理的配置信息；

计算模块，用于基于预存的计算规则，根据所述解析信息和所述配置信息进行计算；

输出模块，用于输出schema格式的计算结果；