[发明专利]一种数据处理方法、系统及相关设备

说明书

一种数据处理方法、系统及相关设备，应用于包括内存节点和计算节点的推荐系统，计算节点需要从内存节点读取数据进行模型训练或者进行推理时，计算节点根据业务需求向内存节点发送不同的获取请求，该获取请求中包括命令标识、多个目标向量的索引信息等；内存节点根据索引信息从存储器的嵌入表中获取目标向量，并根据命令标识对应的操作过程，通过近内存加速器对目标向量进行处理得到目标数据返回给计算节点。通过在内存节点中对数据进行处理，减少从内存节点传送到计算节点的数据量，降低计算节点获取数据的时延，同时减少计算节点需要处理的数据量，降低对计算节点的资源占用，提高计算节点处理数据的效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、系统及相关设备。

背景技术

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

而应用推荐与搜索方法的系统称为推荐系统，推荐系统是采用深度学习技术为用户解决信息过载问题的重要方案，例如电子商务平台能够根据用户的历史购买记录、历史浏览记录等信息，为用户推荐可能感兴趣的商品。推荐系统在进行推荐时，主要包括召回和排序两个阶段。其中，召回阶段主要是根据用户特征，从物料库的海量物品(商品、新闻、视频)中，快速找出一部分用户潜在感兴趣的物品，作为候选物品集；然后将候选物品集输入排序阶段，排序阶段融入更多特征，并使用复杂模型进行精准化的推荐。

上述召回阶段和排序阶段均需要将大量数据从内存节点传输到计算节点，即内存节点与计算节点之间通信数据量巨大，成为影响推荐系统性能的一大因素。

发明内容

本申请公开了一种数据处理方法、系统及相关设备，能够减少推荐系统内存节点和计算节点之间传输的数据量，提高推荐系统的数据处理效率。

第一方面，本申请提供了一种数据处理方法，应用于包括一个或多个计算节点以及一个或多个内存节点的推荐系统，其中内存节点包括近内存加速器和存储器，存储器存储有嵌入表，该方法包括：内存加速器接收计算节点发送的获取请求，该获取请求包括命令标识与多个目标向量在嵌入表中的索引信息，命令标识指示内存节点对多个目标向量进行处理的处理流程；近内存加速器根据索引信息从所述存储器的嵌入表中获取多个目标向量；根据所述命令标识指示的处理流程对多个目标向量进行处理得到目标数据，并将目标数据发送给计算节点。

由于推荐系统的计算节点在召回过程需要从内存节点获取大量物料数据，在排序阶段需要从用户数据库中获取用户大量的历史数据，然后在计算节点中对获取的大量数据进行处理，而计算节点与内存节点之间的带宽有限，数据从内存节点传输到计算节点时延较长。本申请中计算节点通过指令指示内存节点中的近内存加速器对计算节点需要的数据先进行处理，从而对数据进行过滤。例如通过近内存加速器实现上述召回过程，对从物料库中获取的大量商品的向量进行过滤，向计算节点返回过滤后的数据，从而减少从内存节点向计算节点发送的数据量，降低从内存节点传输数据到计算节点的时延，同时能够减少计算节点需要处理的数据量，减少对计算节点的资源占用，提高计算节点处理数据的效率。

应理解，上述索引信息可以是表信息，包括一个或多个嵌入表的表标识，用于指示目标向量所在的嵌入表；也可以是表信息与特征信息，特征信息包括需要处理的多个目标向量的序号。当索引信息是表信息时，目标向量是表信息中一个或多个表标识指示的嵌入表中的向量；当索引信息是表信息与特征信息时，目标向量是表信息中表标识指示的嵌入表中特征信息指示的向量。