[发明专利]重复数据的确定方法、装置、电子设备及计算机存储介质

权利要求书

1.一种重复数据的确定方法，其特征在于，包括：

获取基准数据，所述基准数据为图像或视频中的帧图像；

获取倒排索引，所述倒排索引为基于各待比对数据的第一数据类型的第二特征向量建立的；基于所述基准数据的第一数据类型的第一特征向量以及所述倒排索引，将与所述第一特征向量具有至少一个维度的相同取值的第二特征向量所对应的数据，确定为重复的候选数据，其中，所述待比对数据包括图像和视频中的帧图像中的至少一种，所述第一数据类型为整型；

根据所述基准数据的第二数据类型的第三特征向量，以及所述候选数据中各数据的第二数据类型的第四特征向量，从所述候选数据中确定出与所述基准数据重复的数据，其中，所述第一数据类型和所述第二数据类型对应于图像或视频的单一特征，所述第二数据类型的数据的精度高于所述第一数据类型的数据的精度，所述第二数据类型为浮点型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述基准数据的第二数据类型的第三特征向量，以及所述候选数据中各数据的第二数据类型的第四特征向量，从所述候选数据中确定出与所述基准数据重复的数据，包括：

确定所述第三特征向量与所述第四特征向量之间的特征相似度；

将大于相似度阈值的所述特征相似度所对应的候选数据，确定为与所述基准数据重复的数据。

3.根据权利要求1所述的方法，其特征在于，

所述基准数据为第一数据库中的数据，所述待比对数据为所述第一数据库中除所述数据之外的数据；

或者，

所述获取基准数据，包括：

获取搜索关键词；

根据所述搜索关键词，从第二数据库中获取搜索结果，所述基准数据为所述搜索结果中的数据，所述待比对数据为所述搜索结果中除所述数据之外的数据，或者为所述第二数据库中的数据。

4.根据权利要求3所述的方法，其特征在于，

若所述基准数据为所述第一数据库中的数据，在确定出与所述基准数据重复的数据之后，所述方法还包括：

基于所述与所述基准数据重复的数据，对所述第一数据库进行去重；

若所述待比对数据为所述搜索结果中除所述基准数据之外的数据，在确定出与所述基准数据重复的数据之后，所述方法还包括：

基于所述与所述基准数据重复的数据，对所述搜索结果进行去重；将去重后的搜索结果作为最终的搜索结果；或者，对所述基准数据和所述与所述基准数据重复的数据进行删除；

若所述待比对数据为第二数据库中的数据，在确定出与所述基准数据重复的数据之后，所述方法还包括：

基于所述与所述基准数据重复的数据，对所述第二数据库进行去重。

5.根据权利要求1所述的方法，其特征在于，若所述基准数据为视频，所述基准数据的第一特征向量和第三特征向量是通过以下方式确定的：

提取所述视频中的帧图像的图像特征；

基于所提取的帧图像的图像特征，确定所述视频的第一特征向量和第三特征向量。

6.根据权利要求5所述的方法，其特征在于，所述基于所提取的帧图像的图像特征，确定所述视频的第一特征向量和第三特征向量，包括：

基于所提取的帧图像的图像特征，确定所述帧图像中各帧图像的图像特征的平均值，得到平均图像特征；基于所述平均图像特征，确定所述视频的第一特征向量和所述第三特征向量；

或者，

基于所提取的帧图像的图像特征，确定所述帧图像中各帧图像的第一特征向量和第三特征向量；将所述各帧图像的第一特征向量的平均值确定为所述视频的第一特征向量，将所述各帧图像的第三特征向量的平均值确定为所述视频的第三特征向量。