[发明专利]一种图深度学习中高维稀疏特征的处理方法和系统

说明书

本说明书实施例公开了一种图深度学习中高维稀疏特征的处理方法及系统。所述方法包括：获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图；遍历所述子图，从所述子图的节点获取非零特征；从参数机器中获取与所述非零特征对应的映射参数；其中，所述参数机器为模型训练过程中存放模型参数的机器，所述映射参数为将所述非零特征对应的高维向量映射到低维向量时所使用的参数；训练神经网络模型，对所述非零特征对应的映射参数进行优化，得到训练好的神经网络模型。

技术领域

本说明书涉及信息技术领域，特别涉及一种图深度学习中高维稀疏特征的处理方法和系统。

背景技术

图数据广泛存在于公司的各个业务中，图深度学习是处理图数据的有效工具。图深度学习的一个关键步骤是将图数据中的节点特征映射到低维向量，每一维特征需要用到一组映射参数。映射参数和其他模型参数一同存储在参数机器中。在每一步模型训练中，训练机器从参数机器端读取参数，进入模型，得到参数的梯度值，并将梯度值返回参数机器端用于参数的更新。由于业务的特性，图数据中的节点特征可能有几千万维甚至上亿维，相对应的就有几千万维甚至上亿组映射参数，每一步模型训练都需要将这些参数从参数机器读回训练机器，需要大量的网络通信，导致绝大部分时间都花在参数的网络传输上，影响模型训练效果。

因此，期望一种图深度学习中高维稀疏特征的处理方法和系统。

发明内容

本说明书实施例之一提供一种图深度学习中高维稀疏特征的处理方法。所述方法包括：获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图；遍历所述子图，从所述子图的节点获取非零特征；从参数机器中获取与所述非零特征对应的映射参数；其中，所述参数机器为模型训练过程中存放模型参数的机器，所述映射参数为将所述非零特征对应的高维向量映射到低维向量时所使用的参数；训练神经网络模型，对所述非零特征对应的映射参数进行优化，得到训练好的神经网络模型。

本说明书实施例之一提供一种图深度学习中高维稀疏特征的处理系统，所述系统包括：第一获取模块用于获取至少一个样本，并确定图数据中与所述至少一个样本对应的子图；第二获取模块用于遍历所述子图，从所述子图的节点获取非零特征；传输模块用于从参数机器中获取与所述非零特征对应的映射参数；其中，所述参数机器为模型训练过程中存放模型参数的机器，所述映射参数为将所述非零特征对应的高维向量映射到低维向量时所使用的参数；以及训练模块用于训练神经网络模型，对所述非零特征对应的映射参数进行优化，得到训练好的神经网络模型。

本说明书实施例之一提供一种图深度学习中高维稀疏特征的处理装置，其中，所述装置包括至少一个处理器和至少一个存储设备；所述至少一个存储设备用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1~5中任一项所述的方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的图深度学习中高维稀疏特征的处理系统的模块图；

图2是根据本说明书一些实施例所示的图深度学习中高维稀疏特征的处理方法的示例性流程图；

图3A是根据本说明书一些实施例所示的子图的示例性示意图；

图3B是根据本说明书一些实施例所示的子图的示例性示意图；以及

图4是根据本说明书一些实施例所示的查询映射表的示例性示意图。

具体实施方式