[发明专利]任务处理方法及设备

说明书

本申请提供一种任务处理方法及设备。该方法包括：接收AI任务；获取所述AI任务对应的负载队列；根据所述AI任务的优先级，确定所述AI任务和正在处理的其他AI任务的执行顺序；根据所述执行顺序和所述负载队列，获取待处理负载队列，所述待处理负载队列包括不同AI任务对应的负载；处理所述待处理负载队列中的负载。和现有技术中，接收到新任务后，先将之前任务处理完才处理新任务的方式相比，本实施例的方案可将新任务和之前任务并行处理，提升了新任务的响应速度。

技术领域

本申请涉及人工智能领域，尤其涉及一种任务处理方法及设备。

背景技术

人工智能(Artificial Intelligence，简称AI)技术在人们的日常生活中已非常普遍。比如：人脸识别、智能导航、无人机配送、智能机器人等。但在有些场景下，比如无人驾驶场景下，同时存在语音识别、路面识别、人脸识别多种需求。即AI计算框架可能会接收到AI应用层发送的多个 AI任务，比如接收到语音识别应用发送的语音识别任务以及路面识别应用发送的路面识别任务。

现有技术中，AI计算框架接收到多个AI任务后，直接按照接收时间的先后顺序处理该多个AI任务。比如：先接收到语音识别任务后接收到路面识别任务，则先处理语音识别任务，再处理路面识别任务。然而，路面识别对响应时间有着严格要求，而语音识别对响应时间的要求相对较低。通常端侧的计算资源有限，当计算资源被其他AI任务占用，会导致低时延需求的AI任务，比如上述路面识别任务，无法得到及时响应。

发明内容

本申请提供一种任务处理方法及设备，用于解决现有技术中低时延需求的AI任务无法得到及时响应的问题。

第一方面，本申请提供一种任务处理方法，包括：接收AI任务；获取所述AI任务对应的负载队列；根据所述AI任务的优先级，确定所述AI任务和正在处理的其他AI任务的执行顺序；根据所述执行顺序和所述负载队列，获取待处理负载队列，所述待处理负载队列包括不同AI任务对应的负载；处理所述待处理负载队列中的负载。

可选的，获取所述AI任务对应的负载队列，包括：对所述AI任务对应的模型进行编译，得到至少一个负载；根据所述至少一个负载，获取所述负载队列。

可选的，根据所述AI任务的优先级，确定所述AI任务和正在处理的其他AI任务的执行顺序，包括：比较所述AI任务的优先级和所述正在处理的其他AI任务的优先级，确定所述执行顺序。

可选的，所述根据所述执行顺序和所述负载队列，获取待处理负载队列，包括：根据所述执行顺序，将所述负载队列插入原始负载矩阵，得到目标负载矩阵，所述原始负载矩阵包括所述正在处理的其他AI任务对应的负载队列，并且所述正在处理的其他AI任务对应的负载队列按照所述正在处理的其他 AI任务的执行顺序逐行排列；根据所述目标负载矩阵，获取待处理负载队列。

可选的，所述根据所述目标负载矩阵，获取待处理负载队列，包括：从所述目标负载矩阵中逐行按照负载依赖关系提取待处理负载，得到每行负载队列对应的待处理负载；根据每行负载队列对应的待处理负载，获取所述待处理负载队列。

可选的，所述处理所述待处理负载队列中的负载，包括：根据所述待处理负载队列中的负载和计算单元的对应关系，将所述负载发送给对应的计算单元进行处理。

第二方面，本申请提供一种任务处理装置，包括：接收模块，用于接收 AI任务；调度模块，用于获取所述AI任务对应的负载队列；根据所述AI任务的优先级，确定所述AI任务和正在处理的其他AI任务的执行顺序；根据所述执行顺序和所述负载队列，获取待处理负载队列，所述待处理负载队列包括不同AI任务对应的负载；处理所述待处理负载队列中的负载。

第三方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现第一方面提供的方法。