[发明专利]数据检索方法、平台、服务器、系统、设备及介质

说明书

本申请公开了一种数据检索方法、平台、服务器、系统、设备及介质，方法包括：创建操作对象，并创建各操作对象对应的装饰器；其中，操作对象包括生成索引操作对象、保存索引操作对象、检索数据操作对象；将各装饰器发送至模型训练设备，以使模型训练设备基于各装饰器训练得到数据检索模型；将各操作对象编译链接至数据检索业务服务器，以使数据检索业务服务器加载数据检索模型执行数据检索操作。本申请可以同时支持离线状态下的模型训练和在线状态下的数据检索，无需单独开发在线检索业务，且离线训练部分可集成多种模型逻辑。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据检索方法、平台、服务器、系统、设备及介质。

背景技术

目前，越来越多的推荐类业务使用HNSW(Hierarchical Navigable Small World，近似最近邻算法)做数据召回，其实现过程主要包括两个部分，一部分是离线创建索引，另一部分是在线进行近似最近邻搜索。然而，在现有的支持HNSW的方法中，离线部分使用HNSW库创建并保存索引，但无法集成其他模型逻辑，存在可支持逻辑模型单一的问题；在线部分目前则没有完整可用的解决方案，需要开发业务自行实现。

发明内容

鉴于此，为解决上述技术问题，本申请提供了一种数据检索方法、平台、服务器、系统、设备及介质，可以同时支持离线状态下的模型训练和在线状态下的数据检索，无需单独开发在线检索业务，且离线训练部分可集成多种模型逻辑。

第一方面，本申请提供了一种数据检索方法，应用于开源机器学习平台，包括：

创建操作对象，并创建各所述操作对象对应的装饰器；其中，所述操作对象包括生成索引操作对象、保存索引操作对象、检索数据操作对象；

将各所述装饰器发送至模型训练设备，以使所述模型训练设备基于各所述装饰器训练得到数据检索模型；

将各所述操作对象编译链接至数据检索业务服务器，以使所述数据检索业务服务器加载所述数据检索模型执行数据检索操作。

可选地，所述创建操作对象，包括：

获取各所述操作对象对应的注册信息；

创建各所述操作对象对应的内核；

将对应于同一操作对象的注册信息和内核进行绑定，生成所述操作对象。

可选地，所述创建各所述操作对象对应的装饰器，包括：

针对每一所述操作对象，加载所述操作对象对应的操作对象动态库；

将所述操作对象与所述操作对象动态库进行绑定，生成所述操作对象对应的装饰器。

可选地，所述将各所述操作对象编译链接至数据检索业务服务器，包括：

针对每一所述操作对象，对所述操作对象进行编译，生成对应的操作对象静态库；

将各所述操作对象静态库链接至所述数据检索业务服务器。

第二方面，本申请提供了一种数据检索方法，应用于模型训练设备，包括：

接收开源机器学习平台发送的各操作对象对应的装饰器；其中，各所述操作对象以及各所述操作对象对应的装饰器由所述开源机器学习平台创建，所述操作对象包括生成索引操作对象、保存索引操作对象、检索数据操作对象；

利用各所述装饰器训练得到数据检索模型，以便数据检索业务服务器加载所述数据检索模型执行数据检索操作。

可选地，所述利用各所述装饰器训练得到数据检索模型，包括：

获取检索元素的第一特征样本和召回元素的第二特征样本；