[发明专利]数据处理方法、装置、电子设备和计算机存储介质

说明书

本发明实施例提供了一种数据处理方法、装置、电子设备和计算机存储介质。所述数据处理方法用于对预测模型进行训练，所述预测模型对邻近图进行检索路径区段质量预测，所述方法包括：基于至少一个邻近图样本进行特征向量检索，得到对应的邻近图样本的路径区段访问统计信息；基于所述至少一个邻近图样本和其对应的路径区段访问统计信息，对图神经网络进行训练，得到所述预测模型。本发明实施例的方案由于基于邻近图样本的路径区段访问统计信息来训练预测模型，因此能够有效地利用预测模型对邻近图进行检索路径区段质量预测，从而提高了检索效率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备和计算机存储介质。

背景技术

在机器学习领域，语义检索、图像识别、推荐系统等方向常涉及到从海量的向量库中找到最相似的前K个向量。通常这些向量的维度很高，对于在线服务，用传统的方法查找是非常耗时的，容易使得时延上成为瓶颈，因此业界通用的方式就是将最相似的查找转换成近似最近邻(ANN,Approximate Nearest Neighbor)问题。

通常，在执行ANN检索时，在基于内容的图像、视频、文本、语音的检索和推荐系统中通常从图像、视频、文本、语音中提取出描述内容的特征向量,然后在数据库中查找与检索特征向量相似的向量,并返回结果。但是，上述的检索效率还存进一步改进的空间。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法、装置、电子设备和计算机存储介质，以解决或缓解上述问题。

根据本发明实施例的第一方面，提供了一种数据处理方法，用于对预测模型进行训练，所述预测模型对邻近图进行检索路径区段质量预测，所述方法包括：基于至少一个邻近图样本进行特征向量检索，得到对应的邻近图样本的路径区段访问统计信息；基于所述至少一个邻近图样本和其对应的路径区段访问统计信息，对图神经网络进行训练，得到所述预测模型。

根据本发明实施例的第二方面，提供了一种数据处理方法，包括：获取目标邻近图；基于预测模型，得到所述目标近邻图的路径区段质量信息，所述预测模型通过第一方面所述的方法训练得到；基于所述路径区段质量信息，对所述目标近邻图进行剪裁。

根据本发明实施例的第三方面，提供了一种数据处理方法，包括：获取对目标特征向量的近似最邻近检索请求；向所述近似最邻近检索请求，对存储的邻近图进行检索，得到近似最邻近检索结果，所述存储的邻近图为第二方面所述的经剪裁邻近图；返回所述近似最邻近检索结构。

根据本发明实施例的第四方面，提供了一种数据处理装置，用于对预测模型进行训练，所述预测模型对邻近图进行检索路径区段质量预测，所述装置包括：检索模块，基于至少一个邻近图样本进行特征向量检索，得到对应的邻近图样本的路径区段访问统计信息；训练模块，基于所述至少一个邻近图样本和其对应的路径区段访问统计信息，对图神经网络进行训练，得到所述预测模型。

根据本发明实施例的第五方面，提供了一种数据处理装置，包括：获取模块，获取目标邻近图；预测模块，基于预测模型，得到所述目标近邻图的路径区段质量信息，所述预测模型通过第一方面所述的方法训练得到；剪裁模块，基于所述路径区段质量信息，对所述目标近邻图进行剪裁。

根据本发明实施例的第六方面，提供了一种数据处理装置，包括：获取模块，获取对目标特征向量的近似最邻近检索请求；检索模块，向所述近似最邻近检索请求，对存储的邻近图进行检索，得到近似最邻近检索结果，所述存储的邻近图为第二方面所述的经剪裁邻近图；返回模块，返回所述近似最邻近检索结构。

根据本发明实施例的第七方面，提供了一种电子设备，所述设备包括：一个或多个处理器；计算机可读介质，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面至第三方面中的任一方面所述的方法。