[发明专利]一种运行时神经网络推理编程系统及方法

说明书

本发明涉及一种运行时神经网络推理编程系统及方法，本发明的系统包括神经网络算法管理模块、IO数据管理模块、NPU内核管理模块和NPU推理机管理模块；神经网络算法管理模块、IO数据管理模块和NPU内核管理模块分别和NPU推理机管理模块连接，NPU推理机管理模块与IO数据管理模块连接。本发明可根据任务需求和用户配置，以推理机为任务单元核心，绑定合适的神经网络算法、推理核和输入数据，实现对多核神经网络处理器推理任务的灵活调度与执行，提升了多核神经网络处理器的运行效率。

技术领域

本发明属于人工智能领域，尤其涉及一种运行时神经网络推理编程系统及方法。

背景技术

随着人工智能技术的不断发展，各种复杂的应用场景对神经网络处理器的算力提出了越来越高的要求，单核的神经网络处理器已经难以满足现有的应用需求，因此多核的神经网络处理器应运而生。多核神经网络处理器通过使用多个神经网络核心并行推理，大大提高了整体算力。但是，在现有的技术中，对于存在多个核心的神经网络处理器缺乏有效的运行时推理编程方法，难以充分发挥多核神经网络处理器的性能。

发明内容

为解决背景技术中存在的技术问题，本发明提供了一种运行时神经网络推理编程系统及方法，本发明以推理机为任务单元核心，绑定合适的神经网络算法、推理核和输入数据，通过对推理机的管理实现对多核神经网络处理器推理任务的灵活调度与执行，提升了多核神经网络处理器的运行效率。

本发明的技术解决方案是：本发明为一种运行时神经网络推理编程系统，其特殊之处在于：所述编程系统包括神经网络算法管理模块、IO数据管理模块、NPU内核管理模块和NPU推理机管理模块；神经网络算法管理模块、IO数据管理模块和NPU内核管理模块分别和NPU推理机管理模块连接，NPU推理机管理模块与IO数据管理模块连接。

进一步的，神经网络算法管理模块能够实现对多个神经网络算法的加载与删除，并能根据推理任务需求，为NPU推理机管理模块中的推理机选择需要的神经网络算法与之绑定。

进一步的，IO数据管理模块能够实现对多个输入推理数据的加载与删除，且能根据推理任务需求，将需要推理的数据与NPU推理机管理模块中的推理机进行绑定，并在推理完成后将得到的结果进行输出。

进一步的，NPU内核管理模块能够根据当前推理核工作状态以及NPU推理机管理模块中推理机的需求，为推理机绑定其执行推理所需要的NPU推理核。

进一步的，NPU推理机管理模块能够实现推理机的创建、管理与删除功能，在推理机创建后绑定从神经网络算法管理模块中选择的神经网络算法，从IO数据管理模块选择的推理数据，以及从NPU内核管理模块选择的推理核，并在推理完成后，将推理结果发送至IO数据管理模块进行输出。

一种实现上述的运行时神经网络推理编程系统的方法，其特殊之处在于：该方法包括以下步骤：

1)NPU通过神经网络算法管理模块加载神经网路算法，通过IO数据管理模块加载推理数据；

2)NPU通过NPU推理机管理模块创建推理机；

3)NPU推理机管理模块为推理机从神经网络算法管理模块绑定算法，从IO数据管理模块绑定推理数据，从NPU内核管理模块绑定推理核；

4)NPU以推理机为基本任务单位执行推理任务；

5)推理完成后，NPU通过IO数据管理模块输出推理结果。

本发明的优点是：本发明提供的一种运行时神经网络推理编程系统及方法，以推理机为任务单元核心，绑定合适的神经网络算法、推理核和输入数据，通过对推理机的管理实现对多核神经网络处理器推理任务的灵活调度与执行，提升了多核神经网络处理器的运行效率，具有较强的实用意义。

附图说明

图1为本发明的系统模块图；