[发明专利]一种主CPU与NPU的数据交互方法及计算设备

摘要

本申请实施例公开了一种主CPU与NPU的数据交互方法及计算设备，可应用于人工智能领域中，该方法应用于计算设备，计算设备包括主CPU和NPU，主CPU上运行目标APP，主CPU包括AI Service和NPU驱动，NPU包括NPU控制器、运算逻辑单元和N个寄存器，该方法包括：主CPU将AI模型加载到NPU后，NPU为AI模型分配一个寄存器，主CPU在接收到NPU发送的寄存器的物理地址后，会将物理地址映射为目标APP上虚拟内存的虚拟地址，主CPU通过目标APP实际上可以直接读/写NPU上对应的寄存器，相当于目标APP与NPU之间有了直连通路。当主CPU通过目标APP向NPU下发AI模型的执行命令到获取AI模型的执行结果的整个流程中，计算通路旁路了AI Service和NPU驱动，只有寄存器读/写的开销，提高了AI模型推理的实时性。