[发明专利]构建检索数据库的方法、装置、设备以及存储介质

说明书

本公开提供了一种构建检索数据库的方法、装置、设备以及存储介质，涉及人工智能技术领域，具体为智能推荐和深度学习技术领域。该方法包括：获取数据集，将数据集分为第一数据集和第二数据集；对第一数据集中的数据进行聚类，得到至少一个一级聚类中心；基于一级聚类中心对第一数据集中的数据进行聚类，得到对应的至少一个二级聚类中心；基于第一数据集中的数据与一级聚类中心以及二级聚类中心的残差，得到第一数据集对应的码本；基于第一数据集对应的码本对第二数据集进行训练，得到数据集对应的码本。本公开的构建检索数据库的方法，减少了检索数据库的占用内存，提高了检索召回率，提高了建库的速度。

技术领域

本公开涉及人工智能技术领域，具体为智能推荐和深度学习技术领域，尤其涉及构建检索数据库的方法、装置、设备以及存储介质。

背景技术

随着CNN(Convolutional Neural Network，卷积神经网络)的广泛应用，使得应用在CNN特征上的基础检索技术ANN(Approximate Nearest Neighbor，近似最近邻检索)也得到了较快发展。针对大规模数据集，当前业内主流的检索算法有HNSW(HierarchicalNavigable Small World)、IVF(Inverted File System)等。但是HNSW算法的计算量大，内存需求大；IVF算法中的聚类中心数目多，迭代次数多，整体计算量接近指数级增长。

发明内容

本公开提供了一种构建检索数据库的方法、装置、设备以及存储介质。

根据本公开的第一方面，提供了一种构建检索数据库的方法，包括：获取数据集，将数据集分为第一数据集和第二数据集，其中，第一数据集中的数据量小于第二数据集中的数据量；对第一数据集中的数据进行聚类，得到至少一个一级聚类中心；基于一级聚类中心对第一数据集中的数据进行聚类，得到对应的至少一个二级聚类中心；基于第一数据集中的数据与一级聚类中心以及二级聚类中心的残差，得到第一数据集对应的码本；基于第一数据集对应的码本对第二数据集进行训练，得到数据集对应的码本。

根据本公开的第二方面，提供了一种检索方法，包括：获取待检索数据；计算待检索数据与检索数据库中的一级聚类中心的距离，得到满足预设条件的第三预设数目个一级聚类中心，其中，检索数据库通过如第一方面中任一实现方式描述的方法得到；计算待检索数据与第三预设数目个一级聚类中心中的每个一级聚类中心下的二级聚类中心的距离，得到满足预设条件的第四预设数目个二级聚类中心；基于检索数据库中的数据集对应的码本，依次获取第四预设数目个二级聚类中心中的每个二级聚类中心对应的样本数据；计算待检索数据与样本数据的距离，基于计算结果返回第五预设数目个样本数据。

根据本公开的第三方面，提供了一种构建检索数据库的装置，包括：第一获取模块，被配置成获取数据集，将数据集分为第一数据集和第二数据集，其中，第一数据集中的数据量小于第二数据集中的数据量；第一聚类模块，被配置成对第一数据集中的数据进行聚类，得到至少一个一级聚类中心；第二聚类模块，被配置成基于一级聚类中心对第一数据集中的数据进行聚类，得到对应的至少一个二级聚类中心；得到模块，被配置成基于第一数据集中的数据与一级聚类中心以及二级聚类中心的残差，得到第一数据集对应的码本；训练模块，被配置成基于第一数据集对应的码本对第二数据集进行训练，得到数据集对应的码本。

根据本公开的第四方面，提供了一种检索装置，包括：第二获取模块，被配置成获取待检索数据；第一计算模块，被配置成计算待检索数据与检索数据库中的一级聚类中心的距离，得到满足预设条件的第三预设数目个一级聚类中心，其中，检索数据库通过如第一方面中任一实现方式描述的方法得到；第二计算模块，被配置成计算待检索数据与第三预设数目个一级聚类中心中的每个一级聚类中心下的二级聚类中心的距离，得到满足预设条件的第四预设数目个二级聚类中心；第三获取模块，被配置成基于检索数据库中的数据集对应的码本，依次获取第四预设数目个二级聚类中心中的每个二级聚类中心对应的样本数据；第三计算模块，被配置成计算待检索数据与样本数据的距离，基于计算结果返回第五预设数目个样本数据。