[发明专利]压缩神经网络的半导体装置及压缩神经网络的方法

说明书

本公开涉及一种半导体装置。该半导体装置包括：压缩电路，被配置成通过根据多个压缩率的每个压缩率压缩神经网络来生成压缩后的神经网络；性能测量电路，被配置成根据由推断装置对压缩后的神经网络执行的推断操作来测量压缩后的神经网络的性能；以及关系计算电路，被配置成计算多个压缩率和与多个压缩率相对应的性能之间的关系函数，当目标性能被确定时，参考关系函数来确定目标压缩率，并且向压缩电路提供目标压缩率，其中，压缩电路根据目标压缩率来压缩神经网络。

相关申请的交叉引用

本申请要求于2020年1月16日向韩国知识产权局提交的申请号为10-2020-0006136的韩国专利申请的优先权，其通过引用整体并入本文。

技术领域

各个实施例总体涉及一种压缩神经网络的半导体装置以及压缩神经网络的方法。

背景技术

基于神经网络的识别技术显示出相对较高的识别性能。

然而，由于过多的存储器使用和处理器计算，它不适合在没有足够资源的移动装置中使用。

例如，当装置中的资源不足时，执行用于神经网络处理的并行处理操作受到限制，因此，装置的计算时间显著增加。

在压缩包括多个层的神经网络的情况下，在相关技术中针对多个层的每个层执行压缩。因此，存在压缩时间过度增加的问题。

通常，因为基于诸如每秒浮点运算次数(FLOPS)的理论指标执行压缩，所以难以知道在神经网络压缩之后是否可以实现目标性能。

发明内容

根据本公开的实施例，一种半导体装置包括：压缩电路，被配置为通过根据多个压缩率(compression ratios)的每个压缩率压缩神经网络来生成压缩后的神经网络；性能测量电路，被配置为根据由推断装置对压缩后的神经网络执行的推断操作来测量压缩后的神经网络的性能；关系计算电路，被配置为计算多个压缩率和与多个压缩率相对应的性能之间的关系函数，当目标性能被确定时，参考关系函数来确定目标压缩率，并且向压缩电路提供目标压缩率，其中，压缩电路根据目标压缩率来压缩神经网络。

根据本公开的实施例，一种压缩神经网络的方法可以包括：根据多个压缩率的每个压缩率来压缩神经网络以输出压缩后的神经网络；基于对压缩后的神经网络执行的推断操作，测量与多个压缩率的每个压缩率相对应的延迟(latency)；计算多个压缩率和分别与多个压缩率相对应的多个延迟之间的关系函数；使用关系函数来确定与目标延迟相对应的的目标压缩率；并且根据目标压缩率来压缩神经网络。

附图说明

附图以及下面的详细描述并入说明书中并形成说明书的一部分，并且用于进一步示出各个实施例，并且对这些实施例的各种原理和优点进行说明，其中相同的附图标记在分开的视图中指代相同或功能相似的元件。

图1示出根据本公开的实施例的半导体装置。

图2是示出根据本公开的实施例的压缩电路的操作的流程图。

图3示出根据本公开的实施例的关系表。

图4是示出根据本公开的实施例的关系计算电路的操作的示图。

图5是示出根据本公开的实施例的半导体装置的操作的流程图。

具体实施方式

以下详细描述在描述与本公开一致的说明性实施例时参照了附图。提供实施例是为了说明的目的，并且不是穷举的。没有明确示出或描述的另外的实施例是可能的。进一步地，可以在本教导的范围内对所呈现的实施例进行修改。详细描述并不意为限制本公开。相反，本公开的范围根据权利要求及其等同方案来限定。而且，在整个说明书中，对“实施例”等的引用不一定仅针对一个实施例，并且对任何这种短语的不同引用不一定针对相同的实施例。

图1示出根据本公开的实施例的半导体装置1。