[发明专利]一种基于背景相似度的照片实时在线聚类方法及系统

权利要求书

1.一种基于背景相似度的照片实时在线聚类方法，其特征在于，包括以下步骤：

获取用户照片；

对照片中的人像部分进行处理，以得到只包含背景的背景图片；

筛选出具备场景特征的背景图片；

从筛选出的背景图片中提取出背景特征，并转换成矩阵向量；

以所述矩阵向量作为查询条件，从索引库中查询出与所述矩阵向量相似度大于指定阈值的已知向量；

依据所述已知向量对应的已知照片的类别设置当前用户照片的类别，并将当前用户照片放入对应的类别集合中。

2.根据权利要求1所述的一种基于背景相似度的照片实时在线聚类方法，其特征在于，所述获取用户照片之后还包括：

计算照片中人像部分的区域占比是否超过预设值；

若是，则删除当前图片，结束操作；

若否，则执行所述对照片中的人像部分进行处理，以得到只包含背景的背景图片的步骤。

3.根据权利要求2所述的一种基于背景相似度的照片实时在线聚类方法，其特征在于，所述计算照片中人像的区域占比是否超过预设值包括：

利用DeepLabv3语义分隔网络技术，在自建人像分隔数据集上训练一个人像语义分隔AI模型；

利用训练好的人像语义分隔AI模型，对用照片进行检测，获得人像部分在照片中的坐标位置；

通过获得的所述人像部分在照片中的坐标位置，计算人像部分在整个照片中所占的比例。

4.根据权利要求3所述的一种基于背景相似度的照片实时在线聚类方法，其特征在于，所述对照片中的人像部分进行处理，以得到只包含背景的背景图片包括：

在所述人像部分在照片中的坐标位置处添加一个黑色遮罩层，只保留图片中的背景部分。

5.根据权利要求1所述的一种基于背景相似度的照片实时在线聚类方法，其特征在于，所述筛选出具备场景特征的背景图片包括：

以MobileNetV3作为骨干网络结构，在自建人像背景数据集上训练一个背景图片特征分类模型，用于将目标背景图片按照背景内容分为有场景特征或无场景特征两种类型；

将待分类背景图片送入训练好的背景图片特征分类模型中执行分类判断，得到背景图片的场景类型。

6.根据权利要求5所述的一种基于背景相似度的照片实时在线聚类方法，其特征在于，所述无场景特征包括白色空白场景和黑色空白场景。

7.根据权利要求1所述的一种基于背景相似度的照片实时在线聚类方法，其特征在于，所述从筛选出的背景图片中提取出背景特征，并转换成矩阵向量包括：

以ResNet50作为骨干网络结构，利用卷积神经网络技术提取背景图片的背景特征，经转化得到一个2048维的36位精度浮点数矩阵向量。

8.根据权利要求7所述的一种基于背景相似度的照片实时在线聚类方法，其特征在于，所述以所述矩阵向量作为查询条件，从索引库中查询出与所述矩阵向量相似度大于指定阈值的已知向量包括：

使用所述矩阵向量作为查询条件，从向量搜索引擎faiss中查询与当前向量相似度大于指定阈值的已知向量，再从大于指定阈值的已知向量中选取的固定比例或数量的已知向量。

9.根据权利要求8所述的一种基于背景相似度的照片实时在线聚类方法，其特征在于，所述依据所述已知向量对应的已知照片的类别设置当前用户照片的类别包括：

遍历查询到的已知向量所对应的照片的类别，以出现次数最多的类别作为当前矩阵向量所对应的照片的类别。

10.一种基于背景相似度的照片实时在线聚类系统，其特征在于，包括:

获取模块：用于获取用户照片；

处理模块：用于对照片中的人像部分进行处理，以得到只包含背景的背景图片；

筛选模块：用于筛选出具备场景特征的背景图片；

提取模块：用于从筛选出的背景图片中提取出矩阵向量；

查询模块：用于从索引库中查询出与所述矩阵向量相似度大于指定阈值的固定比例或数量的已知背景特征；

分类模块：依据所述已知背景特征对应的已知照片的类别设置当前用户照片的类别，并将当前用户照片放入对应的类别集合中。