[发明专利]包括委托器的图形处理单元及其操作方法

说明书

提供了一种配置为处理神经网络的图形处理单元(GPU)。该GPU包括：图形核心，被配置为运行多个内核；以及委托器，基于多个内核之间的依赖性来连接多个内核的输入和输出，并且被配置为输出指示神经网络处理的结果的事件。

对相关申请的交叉引用

本申请基于在2020年8月28日向韩国知识产权局提交的韩国专利申请第10-2020-0109473号并且要求其优先权，该韩国专利申请的公开内容通过引用整体并入于此。

技术领域

一个或多个实施例涉及一种图形处理单元，并且更具体地，涉及一种包括图形处理单元的电子设备和该图形处理单元的操作方法，该图形处理单元配置有用于委托(delegate)多个内核的委托器(delegator)。

背景技术

随着半导体技术变得高度集成以及机器学习性能继续提高，正在使用包括移动设备的电子设备来设计对生物大脑进行建模的神经网络。

因为在每个内核中在请求神经网络处理的中央处理单元(CPU)与驱动神经网络的图形处理单元(GPU)之间发生数据传输，所以需要一种用于减少在数据处理期间引起的延迟的技术。

发明内容

提供了一种委托器，该委托器被配置为减少在中央处理单元与图形处理单元之间发生的交互。

根据实施例，提供了一种配置为处理神经网络的图形处理单元(GPU)。该GPU包括：图形核心，被配置为运行多个内核；以及委托器，基于多个内核之间的依赖性来连接多个内核的输入和输出，并且被配置为输出指示神经网络处理的结果的事件。

委托器接收并且参考(refer to)指示神经网络的层信息的神经网络数据。

委托器生成存储多个内核当中的第一内核的运行结果数据的地址的间接管道，以及多个内核当中的第二内核访问(access)并且参考存储第一内核的运行结果数据的地址的间接管道。

GPU进一步包括配置为处理命令的命令处理器。

命令处理器包括委托器。

委托器由命令处理器运行。

委托器被集成在命令处理器中，或被提供为与命令处理器分离的独立单元。

命令处理器包括：命令解释器，被配置为基于命令来确定是否需要神经网络处理；以及分派器(dispatcher)，被配置为根据命令调度任务的处理。

委托器包括：神经网络数据读取器(reader)，被配置为接收指示神经网络的层信息的神经网络数据；事件监听器，被配置为接收指示多个内核中的每个内核的运行完成的内核事件；间接管道管理器，被配置为基于神经网络数据来管理间接管道；内核启动器(launcher)，被配置为运行多个内核；以及事件通知器，被配置为生成指示神经网络处理的完成的事件。

间接管道管理器包括：生命周期(lifecycle)管理器，被配置为创建、更新和移除间接管道；以及管道调度器，被配置为调整间接管道的处理顺序。

根据实施例，提供了一种图形处理单元(GPU)的操作方法，该图形处理单元(GPU)被配置为通过运行包括第一内核和第二内核的多个内核来处理神经网络。该操作方法包括：参考来自存储器的指示神经网络的层信息的神经网络数据；基于神经网络数据生成数据结构；运行第一内核；监视指示第一内核运行的完成的内核事件；响应于内核事件来更新数据结构；基于神经网络数据来委托第一内核和第二内核；以及输出指示神经网络处理的结果的事件。

该操作方法进一步包括请求第二内核的运行。

生成数据结构包括：创建存储存储器中的区域的地址的间接管道，在该存储器中的区域中存储多个内核中的每个的运行结果；以及创建分别地存储多个内核中的每个的输入数据和输出数据的地址的多个内核中的每个的输入存储器对象和输出存储器对象。