[发明专利]一种同步方法及装置

说明书

本申请实施例公开了一种同步方法及装置，涉及人工智能领域，改善了现有技术不支持AI服务器间同步等问题。具体方案为：第一处理器为第一同步事件创建第一同步对象；第一同步对象中包括第一同步寄存器的标识，第一同步寄存器的值包括第一数值或第二数值，第一数值用于指示第一同步事件未发生，第二数值用于指示第一同步事件已经发生；第一处理器包括第一中央处理器CPU；第二处理器基于第一同步寄存器的值，确定第一同步事件是否发生；第二处理器包括第一神经网络处理器NPU。

技术领域

本申请实施例涉及人工智能领域，尤其涉及一种同步方法及装置。

背景技术

人工智能(artificial intelligence，AI)场景一般需要海量的计算算力，由于单块AI加速器(例如，神经网络处理器(neural-network process unit，NPU))，或者单个AI服务器(例如，包括多块AI加速器的AI服务器)的计算算力有限，通常不能满足AI场景的算力需求，因此需要多个AI服务器组成集群来提供AI场景所需的算力。当多个AI服务器组成集群进行AI训练时，为了减少一个AI加速器内、一个AI服务器内的不同AI加速器间，以及AI服务器间的同步传输及同步等待时间，提供一种合理的同步机制是非常有必要的。

发明内容

本申请实施例提供一种同步方法及装置，能够实现一个AI加速器内、一个AI服务器内的不同AI加速器间，以及AI服务器间的同步。

为达到上述目的，本申请实施例采用如下技术方案：

本申请实施例的第一方面，提供一种方法同步方法，所述方法包括：第一处理器为第一同步事件创建第一同步对象；该第一同步对象中包括第一同步寄存器的标识，该第一同步寄存器的值包括第一数值或第二数值，第一数值用于指示该第一同步事件未发生，第二数值用于指示该第一同步事件已经发生；第二处理器基于该第一同步寄存器的值，确定第一同步事件是否发生。

可选的，上述第一处理器包括第一中央处理器CPU，第二处理器包括第一神经网络处理器NPU。例如，第一处理器可以为AI服务器内的CPU，第二处理器可以为AI服务器内的AI加速器。该CPU和AI加速器位于同一个AI服务器内。该第二处理器为等待第一同步事件发生的AI加速器。

可选的，第一同步事件可以发生在一个NPU内，也可以发生在一个AI服务器内的不同NPU之间，还可以发生在不同AI服务器间。

基于本方案，通过为同步事件创建同步对象，而且每个同步对象与一个同步寄存器相对应，AI加速器可以基于该同步寄存器的值，确定该同步寄存器对应的同步事件是否发生，从而能够实现一个AI加速器内、一个AI服务器内的不同AI加速器间，以及AI服务器间的同步。

结合第一方面，在一种可能的实现方式中，上述第一处理器为第一同步事件创建第一同步对象，包括：第一处理器通过调用第一应用程序接口API，在上述第二处理器包括的多个同步寄存器中为第一同步事件分配第一同步寄存器，并在第一同步对象中保存第一同步寄存器的标识。

可选的，第一API用于为同步事件创建同步对象。该第一API可以为NotifyCreat(deviceID，notify)，其中，输入deviceID为AI加速器的ID，输出notify为同步对象，该NotifyCreat接口用于创建同步对象。该deviceID为等待同步事件发生的AI加速器的ID。

基于本方案，通过在AI加速器中设置一组同步寄存器，从而在需要进行同步时，CPU可以在等待同步事件发生的AI加速器包括的多个同步寄存器中为第一同步事件分配第一同步寄存器，从而使得第一同步寄存器的值一旦发生变化，该AI加速器可以立刻检查到第一同步寄存器的取值修改，能够较快的确定第一同步事件是否发生，实现一个AI加速器内、一个AI服务器内的不同AI加速器间，以及不同AI服务器间的同步。而且本申请实施例的方案提供的API接口较简单，同步开销较小，因此能够提升AI训练的效率。