[发明专利]使用神经网络进行图像感测和处理以跟踪感兴趣区域

权利要求书

1.一种装置，包括：

包括多个像素单元的图像传感器，所述图像传感器能够通过编程数据来配置以选择所述像素单元的子集以生成激活像素；

帧缓冲器；和

传感器计算电路，所述传感器计算电路被配置为：

从所述帧缓冲器接收包括第一激活像素和第一非激活像素的第一图像帧，所述第一激活像素由基于所述第一编程数据选择的像素单元的第一子集生成，所述第一非激活像素对应于未被选择用于生成所述第一激活像素的像素单元的第二子集；

对所述第一图像帧的第一像素子集执行图像处理操作，由此将所述第一图像帧的第二像素子集从所述图像处理操作中排除，以生成处理输出；

基于所述处理输出，生成第二编程数据；和

将所述第二编程数据传输到所述图像传感器以选择所述像素单元的第二子集以生成用于第二图像帧的第二激活像素。

2.根据权利要求1所述的装置，其中，所述图像处理操作包括由神经网络模型进行的处理操作，以检测所述第一图像帧中的感兴趣对象；和

其中所述第一像素子集对应于所述感兴趣对象。

3.根据权利要求2所述的装置，其中，所述传感器计算电路与主机设备相耦合，所述主机设备被配置为执行使用所述感兴趣对象的检测结果的应用；和

其中，所述传感器计算电路被配置为从所述主机设备接收关于所述感兴趣对象的信息。

4.根据权利要求2所述的装置，其中，所述传感器计算电路包括：

计算存储器，所述计算存储器被配置为存储：到所述神经网络的神经网络层的输入数据、所述神经网络层的权重数据和所述神经网络层的中间输出数据；

数据处理电路，所述数据处理电路被配置为对所述输入数据和所述权重数据执行所述神经网络层的算术运算，以生成所述中间输出数据；和

计算控制器，所述计算控制器配置为：

从所述计算存储器中提取所述输入数据的第一子集和与所述输入数据的第一子集相对应的所述权重数据的第一子集，所述输入数据的第一子集与所述第一激活像素中的至少一些相对应；

控制所述数据处理电路对所述输入数据的第一子集和所述权重数据的第一子集执行算术运算，以生成用于所述第一图像帧的所述中间输出数据的第一子集，所述中间输出数据的第一子集对应于所述输入数据的第一子集；

将用于所述第一图像帧的所述中间输出数据的第一子集存储在所述计算存储器中；和

在所述计算存储器中存储用于所述第一图像帧的所述中间输出数据的第二子集的预定值，所述中间输出数据的第二子集对应于非激活像素。

5.根据权利要求4所述的装置，其中，基于在所述图像处理操作之前重置所述计算存储器来存储所述预定值。

6.根据权利要求4所述的装置，其中，所述计算控制器被配置为：

从所述计算存储器中提取所述输入数据；

从所提取的输入数据中识别所述输入数据的第一子集；和

将所识别的所述输入数据的第一子集提供给所述计算控制器。

7.根据权利要求4所述的装置，其中，所述计算控制器被配置为：

确定所述计算存储器的存储所述输入数据的第一子集的地址区域；和

从所述计算存储器中提取所述输入数据的第一子集。

8.根据权利要求7所述的装置，其中，所述地址区域是基于所述第一编程数据或关于所述神经网络模型的神经网络层之间的连接性的信息中的至少一个来确定的。