[发明专利]一种众核系统及其数据处理方法和处理装置

说明书

公开了一种众核系统及其数据处理方法和处理装置，通过控制处理任务流水线中的第一处理任务按照预定的数据粒度来读取并处理待处理数据，所述预定的数据粒度小于单位待处理数据的数据量，大于或等于执行所述第一处理任务的处理指令所需的最小数据量，由此，可以提高数据处理的效率，减小数据处理时延，并降低存储需求节省存储空间。

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种众核系统及其数据处理方法和处理装置。

背景技术

随着深度学习技术飞速发展，对数据处理速度的需求日益增加，因此，出现了各种采用硬件(例如众核系统)加速运行深度学习模型的装置。众核系统由一枚或多枚处理器组成,并且一枚处理器中通常集成多个完整的计算引擎(内核)，一个处理器内或多枚处理器间的内核可以相互协同工作。这些内核可以分别独立运行程序指令，利用并行计算的能力，可以加快程序的运行速度，并可以提供多任务能力。但是，现有的众核系统还不能满足人们对存储需求和时延时间的要求。

发明内容

有鉴于此，本发明提供一种众核系统的数据处理方法、处理装置及众核系统，以提高数据处理的效率，减小数据处理时延，并降低存储需求节省存储空间。

第一方面，本发明实施例提供一种众核系统的数据处理方法，所述方法包括：

控制处理任务流水线中的第一处理任务按照预定的数据粒度读取待处理数据，所述预定的数据粒度小于单位待处理数据的数据量，大于或等于执行所述第一处理任务的处理指令所需的最小数据量；

执行所述第一处理任务的处理指令以处理所读取的待处理数据，并输出处理结果至所述处理任务流水线中的下一个处理任务。

由此，本发明实施例的数据处理方法可以提高数据处理的效率，减小数据处理时延，并降低存储需求节省存储空间

进一步地，执行所述第一处理任务的处理指令以处理所读取的待处理数据具体为：控制所述第一处理任务执行卷积运算以处理所读取的待处理数据；

所述最小数据量为执行所述卷积运算所需要的最少数据量。

进一步地，所述处理任务流水线包括多个分支，所述多个分支包括第一分支和第二分支；所述方法还包括：

根据所述第一分支的输出时间和所述第二分支的输出时间配置所述第二分支的最后一个处理任务的缓存队列深度，所述第一分支为所述多个分支中的最大时延分支，所述第二分支为所述多个分支中除最大时延分支之外的分支。

进一步地，所述处理任务的缓存空间根据对应的数据粒度配置。

进一步地，所述待处理数据为图像，所述处理结果为特征图数据。

进一步地，所述待处理数据为视频，所述处理结果为一帧视频的特征图数据。

进一步地，所述处理任务流水线包括多个处理任务，其中，至少一个处理任务被映射到所述众核系统的一个处理核或多个处理核；和/或所述多个处理任务中的至少两个处理任务被映射到所述众核系统的一个处理核。

第二方面，本发明实施例提供一种众核系统的数据处理装置，所述装置包括：

第一处理单元，被配置为控制处理任务流水线中的第一处理任务按照预定的数据粒度读取待处理数据，所述预定的数据粒度小于单位待处理数据的数据量，大于或等于执行所述第一处理任务的处理指令所需的最小数据量；以及

第二处理单元，被配置为执行所述第一处理任务的处理指令以处理所读取的待处理数据，并输出处理结果至所述处理任务流水线中的下一个处理任务。

进一步地，所述第二处理单元包括：

卷积处理子单元，被配置为控制所述第一处理任务执行卷积运算以处理所读取的待处理数据，