[发明专利]分布式数据处理方法、装置、服务器及可读存储介质

说明书

本申请提供一种分布式数据处理方法、装置、服务器及可读存储介质。方法包括：通过执行引擎中的统一数据接口获取异构数据；通过执行引擎中的语言转换模块将异构数据转换为预设格式的操作语句，并得到异构数据的参数变量；通过语言转换模块，基于操作语句与数据源的数据格式的对应关系，将操作语句转换为与目标数据源对应的目标数据格式的待处理数据，目标数据源为任一数据源；通过执行引擎中的解析执行模块对待处理数据进行执行处理，得到待处理数据的操作结果，操作结果包括异构数据的参数变量。在本方案中，参数变量有利于作为索引条件实现异构数据的统一查询处理。

技术领域

本申请涉及计算机数据处理领域，具体而言，涉及一种分布式数据处理方法、装置、服务器及可读存储介质。

背景技术

在软件工程研发过程中，引入一种数据存储介质通常需要引入对应的SDK(Software Development Kit，软件开发工具包)。例如，使用Java调用MySQL数据库，需要使用到MySQL-Connector-Java包。而对于不同语言、每种数据存储介质会都提供不同的SDK，而且在很多情况下会出现版本兼容性的问题。在企业级分布式系统中，存在多语言协作场景，数据处理试用Python，核心业务流程使用Go或者Java等。那么在与存储介质进行交互的时候就需要根据具体的语言、版本、和对应的存储介质类型引入不同SKD包，数据源处理无法统一。比如，MySQL用的SQL数据，MongoDB用的是JSON数据，ElasticSearch使用HTTP数据查询，不便于进行统一查询处理。

发明内容

本申请实施例的目的在于提供一种分布式数据处理方法、装置、服务器及可读存储介质，有利于对异构数据进行统一查询处理。

为了实现上述目的，本申请的实施例通过如下方式实现：

第一方面，本申请实施例提供一种分布式数据处理方法，应用于包括数据执行引擎的分布式服务器，所述方法包括：

通过所述执行引擎中的统一数据接口获取异构数据；

通过所述执行引擎中的语言转换模块将所述异构数据转换为预设格式的操作语句，并得到所述异构数据的参数变量；

通过所述语言转换模块，基于所述操作语句与数据源的数据格式的对应关系，将所述操作语句转换为与目标数据源对应的目标数据格式的待处理数据，所述目标数据源为任一数据源；

通过所述执行引擎中的解析执行模块对所述待处理数据进行执行处理，得到所述待处理数据的操作结果，所述操作结果包括所述异构数据的所述参数变量。

在上述的实施方式中，通过将异构数据转换为同一预设格式的操作语句，有利于提取得到异构数据的参数变量。然后，在将操作语句转换为待处理数据，有利于执行引擎对待处理数据进行数据处理。其中，参数变量有利于作为索引条件实现异构数据的统一查询处理。

结合第一方面，在一些可选的实施方式中，通过所述执行引擎中的解析执行模块对所述待处理数据进行执行处理，得到所述待处理数据的操作结果，包括：

通过所述解析执行模块根据所述待处理数据中的附加信息，确定所述待处理数据的处理策略，所述附加信息包括所述待处理数据与处理策略的对应关系，所述处理策略包括同步处理策略或异步处理策略；

当所述待处理数据的所述处理策略为所述同步处理策略时，基于所述同步处理策略执行处理所述待处理数据，得到所述操作结果；

当所述待处理数据的所述处理策略为所述异步处理策略时，基于所述异步处理策略执行处理所述待处理数据，得到所述操作结果。

结合第一方面，在一些可选的实施方式中，当所述待处理数据的所述处理策略为所述同步处理策略时，基于所述同步处理策略执行处理所述待处理数据，得到所述操作结果，包括：