[发明专利]基于单像素探测器的免成像分类方法和系统

说明书

本发明公开了一种基于单像素探测器的免成像分类方法和系统，其中，方法包括以下步骤：根据深度神经网络设计特定的编码网络和解码网络，并建立物体类别数据集，对编码网络和解码网络进行训练；将编码网络和解码网络作为整体同时训练，且所有参数均进行更新；固定编码网络的调制掩膜参数，单独训练解码网络，得到最优网络模型；利用单像素探测器采集由编码网络调制后的当前耦合测量值，将当前耦合测量值输入解码网络中，确定物体类别的预测结果。该方法利用深度神经网络直接从单像素探测器采集的一维耦合测量值中预测物体的类别，无需成像过程，大大降低了计算复杂度，且有益于弱光应用，简单易实现。

技术领域

本发明涉及计算摄像学技术领域，特别涉及一种基于单像素探测器的免成像分类方法和系统。

背景技术

随着计算机视觉和计算机图形学的发展，出现了许多高级的智能感知任务，通过学习教会机器感知物理世界，例如图像分类，语义分割和目标检测。这些应用往往需要高保真图像作为输入来提取精确的目标特征，这些高保真的图像获取主要依赖于复杂的成像硬件(例如高灵敏度传感器和消色差透镜)以及高复杂度的重建算法(例如去噪和去模糊算法)。这些要求使得现有的感知系统成本和运算复杂度较高，同时感知速率较低且通信负载较重。这些缺点阻碍了高级智能感知系统在实际中的推广和普及。

但是，在大多数感知应用中，感兴趣的区域仅是场景的一部分，而不是整个场景。换句话说，在自然图像和视频中存在一定数量的像素，这些像素几乎不包含用于感知任务的有用信息。这些无信息的像素浪费了硬件和软件成本。从这个意义上说，传统的图像传感框架在一定程度上并不是人工智能的最佳选择。因此，绕过复杂的成像过程直接获得目标特征而不是通过图像/视频来获得特征是提高信息获取和感知效率的可行解决方案。

压缩学习(CL)技术是一门新兴技术，它结合了信号处理和机器学习的基本理论。压缩分类的概念最早在2007年被提出，该方法利用随机二进制调制掩膜来调制光，并从压缩测量值中推导出最大似然优化算法对目标场景进行分类。后来，该压缩分类的概念扩展到了压缩学习，进而可以使用常规的统计优化方法或流行的深度学习方法来处理各种高级视觉任务，例如人脸识别和动作识别。但是，上述方法中采用的调制掩膜是随机产生的。尽管随机调制能够保持不同测量之间的不相关性，但对于特定的分类任务或特定类别的目标场景，它可能不是拥有最高效率的最佳选择。为了优化光调制，后来有算法将调制掩膜作为神经网络的一部分，并与后续的分类网络进行了联合优化。但是，调制掩膜的训练过程是在没有特定正则化的情况下实施的。这导致了最终的调制掩膜是灰度的并且包含负值，这对于空间光调制器来说，生成此类调制掩膜难度较高或需要大量的时间才能实现。因此，硬件的复杂度和获取时间都大大增加了。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于单像素探测器的免成像分类方法，该方法利用深度神经网络直接从单像素探测器采集的一维耦合测量值中预测物体的类别，无需成像过程，大大降低了计算复杂度，且有益于弱光应用，简单易实现。

本发明的另一个目的在于提出一种基于单像素探测器的免成像分类系统。

为达到上述目的，本发明一方面实施例提出了一种基于单像素探测器的免成像分类方法，包括以下步骤：根据深度神经网络设计特定的编码网络和解码网络，并建立物体类别数据集，对所述编码网络和所述解码网络进行训练；将所述编码网络和所述解码网络作为整体同时训练，且所有参数均进行更新；固定所述编码网络的调制掩膜参数，单独训练所述解码网络，得到最优网络模型；利用单像素探测器采集由所述编码网络调制后的当前耦合测量值，将所述当前耦合测量值输入所述解码网络中，确定物体类别的预测结果。