[发明专利]用于提供算力支持的数据处理方法及装置

说明书

本申请公开了一种用于提供算力支持的数据处理方法及装置，具体而言，提供了一种能给基础逻辑算法提供优化的算力支持的大数据处理方法。该数据处理方法包括：获取基础逻辑算法对应的算法脚本；获取用户设定的所述算法脚本对应的输入数据；基于所述算法脚本以及所述输入数据生成计算实例；判断所述输入数据的数据维度与所述算法脚本输出的数据维度是否相同；若是，则对所述计算实例进行并行计算。本申请解决了现有技术中没有一种为基础逻辑算法提供合理的算力分配的方法的问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种用于提供算力支持的数据处理方法以及一种用于提供算力支持的数据处理装置。

背景技术

在互联网技术飞速发展的今天，计算机的应用已逐渐涉及到各个领域，对计算机的程序开发也要求越来越高。

现有的程序开发方案往往都没有将基础逻辑算法与计算服务完全分离，使得现有的算法开发出现方法繁琐、开发门槛高、效率低下、并且编程成本过高的问题。

此外现有的程序开发方案中没有一种合理的算力分配方法，使现有的程序开发方案无法使基础逻辑算法获得理想的计算服务。

公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

申请内容

本申请的主要目的在于提供一种能给基础逻辑算法提供优化的算力支持的数据处理方法。

为了实现上述目的，根据本申请的一个方面，提供了一种用于提供算力支持的数据处理方法，该方法包括：获取基础逻辑算法对应的算法脚本；获取用户设定的所述算法脚本对应的输入数据；基于所述算法脚本以及所述输入数据生成计算实例；判断所述输入数据的数据维度与所述算法脚本输出的数据维度是否相同；若是，则对所述计算实例进行并行计算。

进一步的，当所述计算实例为多个时，还包括：确定出每个计算实例对应的基础逻辑算法之间的依赖关系；根据所述依赖关系生成基础算法逻辑链；根据所述基础算法逻辑链依次计算所述计算实例。

进一步的，在所述基于所述算法脚本以及所述输入数据生成计算实例之后，还包括：判断所述计算实例是否存在计算缓存；若是，则对所述计算缓存进行合法性检测，判断所述计算缓存是否为合法缓存；若是，则用所述计算缓存的计算实例替换所述计算实例。

进一步的，所述基于所述算法脚本以及所述输入数据生成计算实例，包括：对所述输入数据进行合法性的检测；将所述输入数据赋值到所述输入数据对应的算法脚本；以及根据所述算法脚本创建计算实例。

进一步的，该方法还包括：检测计算实例的算法脚本是否具有并行计算要求；若是，则对所述计算实例进行并行计算。

进一步的，该方法还包括：获取运行计算实例产生的输出数据；将所述输出数据缓存。

为了实现上述目的，根据本申请的另一方面，还提供了一种用于提供算力支持的数据处理装置，该装置包括：算法脚本获取模块，其配置为，获取基础逻辑算法对应的算法脚本；输入数据获取模块，其配置为，获取用户设定的所述算法脚本对应的输入数据；计算实例生成模块，其配置为，基于所述算法脚本以及所述输入数据生成计算实例；判断模块，其配置为，判断所述输入数据的数据维度与所述算法脚本输出的数据维度是否相同；

进一步的，该装置还包括：依赖关系确定模块，其配置为，当计算实例为多个时，确定出每个计算实例对应的基础逻辑算法之间的依赖关系；算法逻辑链生成模块，其配置为，根据所述依赖关系生成基础算法逻辑链；第二计算模块，其配置为，根据所述基础算法逻辑链依次计算所述计算实例。