[发明专利]使用神经网络进行图像感测和处理以跟踪感兴趣区域

说明书

在一个示例中，一种装置包括：图像传感器，其包括多个像素单元；帧缓冲器；以及传感器计算电路，该传感器计算电路被配置为：从该帧缓冲器接收包括第一激活像素和第一非激活像素的第一图像帧，该第一激活像素由基于第一编程数据选择的像素单元的第一子集生成；对该第一图像帧的第一像素子集执行图像处理操作，由此将该第一图像帧的第二像素子集从图像处理操作中排除，以生成处理输出；基于该处理输出，生成第二编程数据；并且将第二编程数据传输到图像传感器以选择像素单元的第二子集以生成第二图像帧的第二激活像素。

相关申请

本专利申请要求标题为“EFFICIENT HARDWARE ACCELERATOR FOR SPARSESENSOR”并且于2019年11月7日提交的美国临时专利申请序列号为62/932,067的优先权，其被转让给本申请的受让人，并为所有目的通过引用以其整体并入本文。

背景

典型的图像传感器包括像素单元阵列。每个像素单元可以包括光电二极管，以通过将光子转换成电荷(例如，电子或空穴)来感测光。在每个像素单元处转换的电荷可以被量化成数字像素值，并且可以从数字像素值的阵列生成图像。

可以处理由图像传感器生成的图像以支持不同的应用，诸如，例如虚拟现实(VR)应用、增强现实(AR)或混合现实(MR)应用。然后可以对图像执行图像处理操作以检测特定感兴趣对象及其在图像中的定位(location)。基于对象及其在图像中的定位的检测，VR/AR/MR应用可以生成和更新例如用于通过显示器向用户显示的虚拟图像数据、用于通过扬声器向用户输出的音频数据等，以向用户提供交互体验。

为了提高图像操作的空间和时间分辨率，图像传感器通常包括大量像素单元并以高帧速率生成图像。以高帧速率生成高分辨率图像帧，以及传输和处理这些高分辨率图像帧会导致图像传感器和图像处理操作的巨大功耗。此外，假定通常仅像素单元的一小部分接收来自感兴趣对象的光，在生成、传输和处理对于对象检测/跟踪操作无用的像素数据中浪费了大量的功率，这降低了图像感测和处理操作的总体效率。

概述

本公开涉及图像传感器。更具体地说，但不限于，本公开涉及执行稀疏图像感测和处理操作的技术。

在一个示例中，提供了一种装置。该装置包括图像传感器、帧缓冲器和传感器计算电路。图像传感器包括多个像素单元，图像传感器可通过编程数据来配置以选择像素单元的子集来生成激活像素(active pixel)。传感器计算电路被配置为：从帧缓冲器接收包括第一激活像素和第一非激活像素的第一图像帧，第一激活像素由基于第一编程数据选择的像素单元的第一子集生成，第一非激活像素对应于未被选择用于生成第一激活像素的像素单元的第二子集；对第一图像帧的第一像素子集执行图像处理操作，由此将第一图像帧的第二像素子集从图像处理操作中排除，以生成处理输出；基于处理输出，生成第二编程数据；以及将第二编程数据传输到图像传感器以选择像素单元的第二子集以生成第二图像帧的第二激活像素。

在一些方面，图像处理操作包括由神经网络模型进行的处理操作，以检测第一图像帧中的感兴趣对象。第一像素子集对应于感兴趣对象。

在一些方面，传感器计算电路与主机设备耦合，主机设备被配置为执行使用感兴趣对象的检测结果的应用。主机设备被配置为向传感器计算电路提供关于感兴趣对象的信息。