[发明专利]数据逻辑计算方法、装置、电子设备及存储介质

说明书

本发明涉及数据处理技术领域，揭露了一种数据逻辑计算方法，包括：获取数据集及所述数据集的计算逻辑脚本；将所述计算逻辑脚本加载至预设的分布式存储计算节点中，通过所述分布式存储计算节点中的编译程序运行所述计算逻辑脚本；判断所述计算逻辑脚本是否运行成功；若运行成功，则将所述编译程序作为目标编译程序；若运行失败，则根据运行结果调整所述编译程序的参数，重新运行所述计算逻辑脚本，直至所述计算逻辑脚本运行成功，得到目标编译程序；利用所述目标编译程序对所述数据集进行逻辑计算，得到所述数据集的逻辑计算结果。本发明还提出一种数据逻辑计算装置、电子设备以及一种计算机可读存储介质。本发明可以实现数据逻辑计算的高效性。另外，本发明还涉及区块链技术以及人工智能技术。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据逻辑计算的方法、装置、电子设备及计算机可读存储介质。

背景技术

在分布式系统里，通用数据库或搜索引擎等软件在针对通用的场景，针对个性化的非关系型数据或者非文档数据的逻辑计算时，都是在客户端通过网络传输把数据传输到客户端计算节点中进行逻辑计算，这样做的缺点就是大量的网络传输，降低了速度和性能。

发明内容

本发明提供一种数据逻辑计算的方法、装置、电子设备及计算机可读存储介质，其主要目的在于降低数据逻辑计算时的网络传输消耗，提高数据逻辑计算的效率。

为实现上述目的，本发明提供的一种数据逻辑计算方法，包括：

获取数据集及所述数据集的计算逻辑脚本，所述计算逻辑脚本用于描述所述数据集的逻辑计算方式；

将所述计算逻辑脚本加载至预设的分布式存储计算节点中，通过所述分布式存储计算节点中的编译程序运行所述计算逻辑脚本；

判断所述计算逻辑脚本是否运行成功；

若运行成功，则将所述编译程序作为目标编译程序；

若运行失败，则根据运行结果调整所述编译程序的参数，重新运行所述计算逻辑脚本，直至所述计算逻辑脚本运行成功，得到目标编译程序；

利用所述目标编译程序对所述数据集进行逻辑计算，得到所述数据集的逻辑计算结果。

可选地，所述获取所述数据集的计算逻辑脚本包括：

通过预设的脚本语言在所述数据集存储的客户端中编译数据计算逻辑程序，所述数据计算逻辑程序包括请求参数对象和返回参数对象；

根据所述请求参数对象获取所述数据集，并判断输入的数据集计算逻辑是否合法；

若所述数据集计算逻辑不合法，重新获取所述数据集的计算逻辑；

若所述数据集计算逻辑合法，将所述数据集的计算逻辑转换成请求报文，并将所述请求报文进行解析后生成相应的逻辑对象，通过所述返回参数对象将生成的逻辑对象返回至所述客户端中。

可选地，所述将所述计算逻辑脚本加载至预设的分布式存储计算节点中包括：

获取所述计算逻辑脚本运行时的脚本参数；

调用所述分布式存储计算节点中部署的脚本存储接口获取脚本传输路径；

根据所述脚本传输路径，将所述脚本参数和所述计算逻辑脚本传输至所述分布式存储计算节点中。

可选地，所述利用所述目标编译程序对所述数据集进行逻辑计算，得到所述数据集的逻辑计算结果，包括：

利用hash函数将所述数据集分配到对应目标编译程序节点中，对分配后的所述数据集进行反json格式解析，得到所述数据集的逻辑计算结果。

可选地，所述hash函数包括：