[发明专利]一种运行时神经网络推理编程系统及方法

权利要求书

1.一种运行时神经网络推理编程系统，其特征在于：所述编程系统包括神经网络算法管理模块、IO数据管理模块、NPU内核管理模块和NPU推理机管理模块；神经网络算法管理模块、IO数据管理模块和NPU内核管理模块分别和NPU推理机管理模块连接，NPU推理机管理模块与IO数据管理模块连接。

2.根据权利要求1所述的运行时神经网络推理编程系统，其特征在于：所述神经网络算法管理模块能够实现对多个神经网络算法的加载与删除，并能根据推理任务需求，为NPU推理机管理模块中的推理机选择需要的神经网络算法与之绑定。

3.根据权利要求2所述的运行时神经网络推理编程系统，其特征在于：所述IO数据管理模块能够实现对多个输入推理数据的加载与删除，且能根据推理任务需求，将需要推理的数据与NPU推理机管理模块中的推理机进行绑定，并在推理完成后将得到的结果进行输出。

4.根据权利要求3所述的运行时神经网络推理编程系统，其特征在于：所述NPU内核管理模块能够根据当前推理核工作状态以及NPU推理机管理模块中推理机的需求，为推理机绑定其执行推理所需要的NPU推理核。

5.根据权利要求4所述的运行时神经网络推理编程系统，其特征在于：所述NPU推理机管理模块能够实现推理机的创建、管理与删除功能，在推理机创建后绑定从神经网络算法管理模块中选择的神经网络算法，从IO数据管理模块选择的推理数据，以及从NPU内核管理模块选择的推理核，并在推理完成后，将推理结果发送至IO数据管理模块进行输出。

6.一种实现权利要求1所述的运行时神经网络推理编程系统的方法，其特征在于：该方法包括以下步骤：

1)NPU通过神经网络算法管理模块加载神经网路算法，通过IO数据管理模块加载推理数据；

2)NPU通过NPU推理机管理模块创建推理机；

3)NPU通过NPU推理机管理模块为推理机从神经网络算法管理模块绑定算法，从IO数据管理模块绑定推理数据，从NPU内核管理模块绑定推理核；

4)NPU以推理机为基本任务单位执行推理任务；

5)推理完成后，NPU通过IO数据管理模块输出推理结果。