[发明专利]图像处理装置

说明书

实施方式提供等待时间较小并且能够以低成本实现的图像处理装置。实施方式的图像处理装置具有：图像处理处理器(11)，被输入图像数据；状态缓存(21)，设在图像处理处理器(11)内；以及循环型神经网络处理器(22)，使用图像数据的多个像素数据和保存在状态缓存(21)中的循环型神经网络运算的运算结果中的至少一方进行循环型神经网络运算。

本申请基于日本专利申请2020－46914号(申请日：2020年3月17日)主张优先权，这里引用其全部内容。

技术领域

本发明的实施方式涉及图像处理装置。

背景技术

有通过神经网络实现对于图像数据的识别处理等的技术。例如，卷积神经网络(Convolutional Neural Network：CNN。以下称作CNN)中的核(kernel)运算，在将图像的图像数据整体保持在DRAM等的片外存储器中的帧缓存中之后，一边使规定尺寸的窗口相对于该被保持的图像数据整体滑动，一边执行。

因此，由于将图像数据整体保存到片外存储器中、以及在用于每次核运算时进行的特征图的写入及读出的向片外存储器的访问花费时间，所以CNN运算的等待时间(latency)较大。在图像处理处理器(Image Signal Processor)那样的装置中，优选的是等待时间较小。

为了减小CNN运算的等待时间，也可以使用比帧缓存的尺寸小的线缓存，但由于较多地发生用于核运算的向线缓存的访问，所以在线缓存中需要使用能够高速访问的存储器，图像处理装置的成本变高。

发明内容

本发明的目的是提供一种等待时间较小并且能够以低成本实现的图像处理装置。

技术方案的图像处理装置具有：第1处理器，被输入图像数据；缓存，设在上述第1处理器内；以及第2处理器，使用上述图像数据的多个像素数据和保存在上述缓存中的循环型神经网络运算的运算结果中的至少一方，进行上述循环型神经网络运算。

附图说明

图1是有关实施方式的图像处理装置的框图。

图2是用来说明有关实施方式的图像处理处理器的处理内容的图。

图3是表示有关实施方式的图像处理处理器的结构的框图。

图4是有关实施方式的循环型神经网络单元处理器的结构图。

图5是用来说明有关实施方式的从输入图像数据向流数据的变换的图。

图6是用来说明有关实施方式的对于输入图像数据中包含的多个像素值的循环型神经网络单元的处理顺序的图。

图7是用来说明有关变形例1的对于各行的最终列的输出值的线端单元的处理顺序的图。

图8是用来说明有关变形例2的对于输入图像数据中包含的多个像素值的循环型神经网络单元的处理顺序的图。

图9是用来说明卷积神经网络的感受野(Receptive Field)的图。

图10是用来说明实施方式的感受野的图。

图11是用来说明卷积神经网络和循环型神经网络的感受野的范围的差异的图。

图12是用来说明有关变形例2的循环型神经网络单元的输入步长的图。

图13是用来说明有关变形例2的感受野的设定范围的图。

具体实施方式

以下，参照附图说明实施方式。

(结构)

图1是有关本实施方式的图像处理装置的框图。使用本实施方式的图像处理装置的图像处理系统1对来自照相机装置的图像数据进行处理，进行图像识别等的处理，将其处理结果的信息输出。