[发明专利]一种机器学习推理协处理器

权利要求书

1.一种机器学习推理协处理器，其特征在于，包括：

推理单元，用于读取任务指令、数据和参数并进行计算，以实现与所述任务指令相应的推理运算；

控制单元，包括主控制单元和若干通道控制单元；

其中，所述主控制单元用于实现对所述机器学习推理协处理器的全局控制；所述若干通道控制单元中各通道控制单元用于根据所述任务指令分别控制所述推理单元中与其对应的通道实现对单一任务或用户的响应；

所述推理单元包括若干数据管控逻辑单元和若干数据处理逻辑单元；其中，各通道的数据管控逻辑单元具有与之对应的通道控制单元；所述数据处理逻辑单元用于根据所述通道控制单元向主控制单元的申请，与数据管控逻辑单元配合，在所述通道控制单元的控制下实现推理运算。

2.如权利要求1所述的机器学习推理协处理器，其特征在于，所述若干数据管控逻辑单元共享所述若干数据处理逻辑单元。

3.如权利要求1所述的机器学习推理协处理器，其特征在于，所述各数据处理逻辑单元包括线性计算单元和非线性计算单元。

4.如权利要求3所述的机器学习推理协处理器，其特征在于，所述各数据管控逻辑单元包括：用于读取任务指令、数据和参数的读取单元、用于缓存所述数据和参数的主缓存、用于将所述主缓存中的数据和参数分发到线性计算单元的任务分发单元、用于将所述线性计算单元的计算结果分发到非线性计算单元的任务重映射单元、用于收集所述非线性计算单元的计算结果的任务收集单元和用于将来自任务收集单元的计算结果对外输出的写回单元。

5.如权利要求4所述的机器学习推理协处理器，其特征在于，所述主缓存包括固定缓存和管道缓存，用于实现参数和数据的分别独立缓存。

6.如权利要求5所述的机器学习推理协处理器，其特征在于，所述主缓存还包括路由单元和用于实现所述主缓存内部控制的主缓存内部控制单元；所述路由单元耦接所述读取单元、任务分发单元、任务收集单元和固定缓存、管道缓存。

7.如权利要求4所述的机器学习推理协处理器，其特征在于，所述读取单元包括：第一通用总线接口、耦接所述第一通用总线接口和所述通道控制单元的指令读取单元、耦接所述第一通用总线接口和所述主缓存的参数/数据读取单元、用于实现所述读取单元内部控制的读取内部控制单元。

8.如权利要求4所述的机器学习推理协处理器，其特征在于，所述任务分发单元包括：任务分发内部控制单元、用于在所述任务分发内部控制单元控制下在所属从所述主缓存读取数据和参数并组成数据包的数据处理单元、用于将所述数据包传送至所述任务分发内部控制单元选择的线性计算单元的第一输出互联单元。

9.如权利要求4所述的机器学习推理协处理器，其特征在于，所述任务重映射单元包括：第一输入互联单元、第二输出互联单元、任务重映射内部控制单元、用于在所述任务重映射内部控制单元控制下通过所述输入互联单元收集所述线性计算单元所发送数据并对所述数据进行运算的第一数据收集单元、用于将所述第一数据收集单元处理完的数据组成数据包并通过所述输出互联单元发送至所述任务重映射内部控制单元选择的非线性计算单元的数据分发单元。

10.如权利要求4所述的机器学习推理协处理器，其特征在于，所述任务收集单元包括：耦接所述非线性计算单元的第二输入互联单元、耦接所述第二输入互联单元、所述主缓存和所述写回单元的第二收据收集单元、用于实现所述任务收集单元内部控制的任务收集内部控制单元。

11.如权利要求4所述的机器学习推理协处理器，其特征在于，所述写回单元包括：第二通用总线接口、耦接所述第二通用总线接口的数据写回单元、用于实现所述写回单元内部控制的写回内部控制单元。