[发明专利]基于视觉大模型的相似背景图像归类方法

摘要

本发明涉及基于视觉大模型的相似背景图像归类方法，包括以下步骤：1)图像编码：对于一张输入图像I∈Rh×w×3，首先进行归一化预处理，然后使用上述预训练好的大模型，仅使用其视觉模块，将预处理的图像编码为一个向量V∈Rd，将其规范化，使|V|＝1。该基于视觉大模型的相似背景图像归类方法，计算效率高，在海量数据集上使用预训练好的模型提取特征，构造相似度矩阵，直接对矩阵进行操作，在内存有限条件下，可将相似度矩阵进行切片，并行计算，图像特征表达能力强，预训练大模型已经在上亿级图像数据上进行了训练，采用(图像，文本)多模态，能够更好的泛化，提出的方法不用事先设定类别数量，可在千万级甚至上亿级别的图像数据库中挑选相同背景的图像。