[发明专利]数据处理方法、装置、电子设备及可读存储介质

说明书

本发明实施例提供了一种数据处理方法、装置、电子设备及可读存储介质，其中，所述方法包括：通过将所述第一图结构模型中的目标处理节点替换为查询节点得到第二图结构模型。在所述第二图结构模型运行时，在保证Embedding操作正常执行的情况下，第二图结构模型本地无需存储Embedding操作所需的参数矩阵，基于所述查询节点可以通过网络在目标设备查询所述参数矩阵，所述参数矩阵的存储、训练优化均在目标设备中进行，使得所述第二图结构模型更容易部署，存储的数据量更小，应用服务器的内存利用率更高，从而提高了所述第二图结构模型的计算效率。

技术领域

本发明涉及深度学习技术领域，特别是涉及一种数据处理方法、装置、电子设备及可读存储介质。

背景技术

在大数据推荐领域，例如广告推荐领域中，用户数据存在大量的稀疏特征，通常需要将上述稀疏特征经过Embedding操作转换为稠密特征，以更为准确的描述用户特征和广告特征，进而筛选用户可能感兴趣的广告。

上述Embedding操作实际上是一个查表操作，通过输入数据的索引，在Embedding操作的参数矩阵中查找对应的Embedding向量，上述参数矩阵是按照一定的随机方式进行初始化，并可训练进行优化的。随着用户设备采集的数据的不断增加，所述参数矩阵在不断优化过程中也不断增大，使得推荐模型存储的数据量也逐渐增大而愈加难以部署，计算效率较低。

发明内容

本发明实施例的目的在于提供一种数据处理方法、装置、电子设备及可读存储介质，以提高图结构模型的内存利用率，以及提高推荐算法模型的计算效率。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种数据处理方法，应用于应用服务器，包括：

在第一图结构模型的各处理节点中确定目标处理节点，所述处理节点用于对输入数据进行处理，以得到所述输入数据对应的目标特征向量；

将所述目标处理节点替换为查询节点，得到第二图结构模型，所述查询节点用于请求目标设备查询并返回所述输入数据对应的目标特征向量；其中，所述目标设备存储有至少一个参数矩阵，所述参数矩阵用于存储数据索引与特征向量的对应关系。

在本发明实施的第二方面，还提供了一种数据处理方法，应用于第二图结构模型的任意一个查询节点，所述第二图结构模型包括至少一个所述查询节点；所述方法包括：

接收所述查询节点的输入数据，所述输入数据包括用户数据或对象数据中的至少一项；

基于所述输入数据，向目标设备发送请求消息，所述请求消息用于请求所述目标设备查询并返回所述输入数据对应的目标特征向量，所述目标设备存储有至少一个参数矩阵，所述参数矩阵用于存储数据索引与特征向量之间的对应关系；

接收并输出来自于所述目标设备的所述目标特征向量。

在本发明实施的第三方面，还提供了一种数据处理方法，应用于目标设备，所述目标设备存储有至少一个参数矩阵，所述参数矩阵用于存储数据索引与特征向量之间的对应关系，所述方法包括：

接收来自于应用服务器的请求消息，所述请求消息用于请求所述目标设备查询并返回输入数据对应的目标特征向量；

在所述至少一个参数矩阵中，查询所述输入数据对应的目标特征向量；

向所述应用服务器发送所述目标特征向量。

在本发明实施的第四方面，还提供了一种数据处理系统，包括应用服务器和目标设备，其中：

所述应用服务器，用于执行本发明实施第一方面提供的数据处理方法；当所述应用服务器运行第二图结构模型，所述第二图结构模型中的任意一个查询节点用于执行本发明实施第二方面提供的数据处理方法；

所述目标设备，用于执行本发明实施第三方面提供的数据处理方法。