[发明专利]利用多线程执行计算图的方法和系统

权利要求书

1.一种利用多线程执行计算图的方法，其特征在于，包括：

获取包括至少一个操作的计算图，其中，在计算图中声明有所述至少一个操作的操作数据在内存空间的相对索引；

创建多个第一线程，并为每个第一线程分配相应的内存空间；

为每个第一线程复制所述计算图；

根据所述多个第一线程各自的内存空间的起始地址以及所述相对索引来执行所述计算图所包括的所述至少一个操作，

其中，根据所述多个第一线程各自的内存空间的起始地址以及所述相对索引来执行所述计算图所包括的所述至少一个操作的步骤包括：

利用每个第一线程根据对应的内存空间的起始地址以及所述相对索引来确定对应的计算图所包括的所述至少一个操作的操作数据的内存地址；

利用所述多个第一线程根据各自确定的内存地址来执行各自的计算图所包括的所述至少一个操作。

2.根据权利要求1所述的方法，其特征在于，还包括：创建多个第二线程，

其中，根据所述多个第一线程各自的内存空间的起始地址以及所述相对索引来执行所述计算图所包括的所述至少一个操作的步骤还包括：

利用每个第一线程根据对应的内存空间的起始地址以及所述相对索引来生成对应的计算图所包括的所述至少一个操作的操作包；以及

利用所述多个第二线程来执行由所述多个第一线程创建的操作包，

其中，所述操作包中具有对应内存空间的起始地址、对应操作的处理过程和对应操作的操作数据在内存空间的相对索引，或者，所述操作包中具有对应操作的处理过程以及基于对应内存空间的起始地址和对应操作的操作数据在内存空间的相对索引生成的对应操作的内存地址。

3.根据权利要求1所述的方法，其特征在于，还包括：创建多个第二线程，

其中，根据所述多个第一线程各自的内存空间的起始地址以及所述相对索引来执行所述计算图所包括的所述至少一个操作的步骤还包括：

利用每个第一线程根据对应的内存空间的起始地址以及所述相对索引来生成对应的计算图所包括的所述至少一个操作之中接下来将被执行的操作的操作包；

利用所述多个第一线程将各自生成的操作包放入缓冲队列；

利用所述多个第二线程从缓冲队列中获取操作包来执行，并在操作包执行完成之后继续从缓冲队列中获取新的操作包；以及

利用所述多个第二线程将操作包的执行完成情况告知对应的第一线程，使得对应的第一线程确定对应的计算图所包括的所述至少一个操作之中接下来将被执行的操作，

其中，所述操作包中具有对应内存空间的起始地址、对应操作的处理过程和对应操作的操作数据在内存空间的相对索引，或者，所述操作包中具有对应操作的处理过程以及基于对应内存空间的起始地址和对应操作的操作数据在内存空间的相对索引生成的对应操作的内存地址。

4.根据权利要求1所述的方法，其特征在于，其中，所述至少一个操作涉及机器学习算法中的至少一个运算操作。

5.根据权利要求2或3所述的方法，其特征在于，其中，第二线程的数量大于第一线程的数量。

6.根据权利要求1所述的方法，其特征在于，其中，为每个第一线程分配相应的内存空间的步骤包括：根据所述至少一个操作的操作数据的总数量来为每个第一线程分配相应的内存空间。

7.一种利用多线程执行计算图的系统，其特征在于，包括：

计算图获取装置，用于获取包括至少一个操作的计算图，其中，在计算图中声明有所述至少一个操作的操作数据在内存空间的相对索引；

创建装置，用于创建多个第一线程，并为每个第一线程分配相应的内存空间；

复制装置，用于为每个第一线程复制所述计算图；

执行装置，用于根据所述多个第一线程各自的内存空间的起始地址以及所述相对索引来执行所述计算图所包括的所述至少一个操作，

其中，所述执行装置用于利用每个第一线程根据对应的内存空间的起始地址以及所述相对索引来确定对应的计算图所包括的所述至少一个操作的操作数据的内存地址；以及利用所述多个第一线程根据各自确定的内存地址来执行各自的计算图所包括的所述至少一个操作。