[发明专利]分布式并行运算方法、装置、计算机设备及存储介质

说明书

本申请公开了一种分布式并行运算方法、装置、计算机设备及存储介质。该方法包括：将待计算原始数据保存至Hive数据库；获取Hive数据库中预先存储的计算模型；将待计算原始数据和计算模型输入至Hadoop分布式计算框架进行运算，得到运算结果。该方法通过Hadoop分布式计算框架根据计算模型对海量的待计算原始数据进线分布式并发运算，计算系统的扩展性能得到优化，且提高了运算效率。

技术领域

本申请涉及分布式运算技术领域，尤其涉及一种分布式并行运算方法、装置、计算机设备及存储介质。

背景技术

目前企业的佣金批量计算过程中，佣金批量计算主要基于多线程计算技术。多线程存在以下问题：1)扩展性差，性能依赖于单一硬件性能。2)大幅提升性能困难，无法实现分布式计算。

发明内容

本申请提供了一种分布式并行运算方法、装置、计算机设备及存储介质，旨在解决现有技术中佣金批量计算主要基于多线程计算技术，其存在扩展性差，且运算效率低下的问题。

第一方面，本申请提供了一种分布式并行运算方法，其包括：

将待计算原始数据保存至Hive数据库；

获取Hive数据库中预先存储的计算模型；

将待计算原始数据和计算模型输入至Hadoop分布式计算框架进行运算，得到运算结果。

第二方面，本申请提供了一种分布式并行运算装置，其包括：

数据保存单元，用于将待计算原始数据保存至Hive数据库；

计算模型获取单元，用于获取Hive数据库中预先存储的计算模型；

分布式运算单元，用于将待计算原始数据和计算模型输入至Hadoop分布式计算框架进行运算，得到运算结果。

第三方面，本申请又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请提供的任一项所述的分布式并行运算方法。

第四方面，本申请还提供了一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行本申请提供的任一项所述的分布式并行运算方法。

本申请提供一种分布式并行运算方法、装置、计算机设备及存储介质。该方法通过将待计算原始数据保存至Hive数据库；获取Hive数据库中预先存储的计算模型；将待计算原始数据和计算模型输入至Hadoop分布式计算框架进行运算，得到运算结果。该方法通过Hadoop分布式计算框架根据计算模型对海量的待计算原始数据进线分布式并发运算，计算系统的扩展性能得到优化，且提高了运算效率。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种分布式并行运算方法的示意流程图；

图2是本申请实施例提供的一种分布式并行运算方法的子流程示意图；

图3为本申请实施例提供的一种分布式并行运算方法的另一示意流程图；

图4为本申请实施例提供的一种分布式并行运算方法的另一子流程示意图；

图5为本申请实施例提供的一种分布式并行运算方法的另一子流程示意图；

图6为本申请实施例提供的一种分布式并行运算装置的示意性框图；