[发明专利]基于集群的词向量处理方法、装置以及设备

摘要

本说明书实施例公开了基于集群的词向量处理方法、装置以及设备，方案包括：集群包括服务器集群和工作机集群；工作机集群中的各工作机分别读取部分语料，并从读取的语料中提取词及其上下文词，从服务器集群中的服务器获取对应的词向量并计算梯度，将梯度异步更新至服务器；服务器根据梯度，对词及其上下文词的词向量进行更新。 1

主权项

1.一种基于集群的词向量处理方法，所述集群包括多个工作机和服务器，所述方法包括：

各所述工作机分别执行：

获取从部分语料中提取的词及其上下文词；

获取所述词及其上下文词的词向量；

根据所述词及其上下文词，以及对应的词向量，计算梯度；

将所述梯度异步更新至所述服务器；

所述服务器根据所述梯度，对所述词及其上下文词的词向量进行更新。

2.如权利要求1所述的方法，所述获取从部分语料中提取的词及其上下文词前，所述方法还包括：

各所述工作机分布式地读取得到部分语料；

所述获取从部分语料中提取的词及其上下文词，具体包括：

根据自己所读取得到的语料，建立相应的词对，所述词对包含当前词及其上下词。

3.如权利要求2所述的方法，所述获取所述词及其上下文词的词向量，具体包括：

根据自己建立的各所述词对，提取得到当前词集合和上下文词集合；

从所述服务器获取所述当前词集合和上下文词集合包含的词的词向量。

4.如权利要求2所述的方法，所述根据所述词及其上下文词，以及对应的词向量，计算梯度，具体包括：

根据指定的损失函数、负样例词、自己建立的各所述词对，以及所述词及其上下文词的词向量，计算各词分别对应的梯度。

5.如权利要求1所述的方法，所述计算梯度，具体包括：

所述工作机上的一个或者多个线程以异步计算且不加锁更新的方式，计算梯度。

6.如权利要求1所述的方法，所述工作机将所述梯度异步更新至所述服务器，具体包括：

所述工作机计算得到所述梯度后，将所述梯度发送给所述服务器，其中，所述发送动作的执行无需等待其他工作机向所述服务器发送梯度。

7.如权利要求4所述的方法，所述服务器根据所述梯度，对所述词及其上下文词的词向量进行更新，具体包括：

按照以下公式，对所述词及其上下文词，以及所述负样例词的词向量进行迭代更新：

其中，w表示当前词，c表示w的上下文词，c'表示负样例词，表示w的词向量，表示c的词向量，和表示在所述服务器上的第t次更新，B_k表示所述工作机上第k组语料，Γ(w)表示w的上下文词和负样例词的集合，α表示学习率，σ为Sigmoid函数。

8.一种基于集群的词向量处理装置，所述集群包括多个工作机和服务器，所述装置位于所述集群，包括位于所述工作机的第一获取模块、第二获取模块、梯度计算模块、异步更新模块、位于所述服务器的词向量更新模块；

各工作机通过相应的模块分别执行：

所述第一获取模块获取从部分语料中提取的词及其上下文词；

所述第二获取模块获取所述词及其上下文词的词向量；

所述梯度计算模块根据所述词及其上下文词，以及对应的词向量，计算梯度；

所述异步更新模块将所述梯度异步更新至所述服务器；

所述服务器的所述词向量更新模块根据所述梯度，对所述词及其上下文词的词向量进行更新。

9.如权利要求8所述的装置，所述第一获取模块获取从部分语料中提取的词及其上下文词前，分布式地读取得到部分语料；

所述第一获取模块获取从部分语料中提取的词及其上下文词，具体包括：

所述第一获取模块根据自己所读取得到的语料，建立相应的词对，所述词对包含当前词及其上下词。

10.如权利要求9所述的装置，所述第二获取模块获取所述词及其上下文词的词向量，具体包括：

所述第二获取模块根据所述第一获取模块建立的各所述词对，提取得到当前词集合和上下文词集合；

从所述服务器获取所述当前词集合和上下文词集合包含的词的词向量。

11.如权利要求9所述的装置，所述梯度计算模块根据所述词及其上下文词，以及对应的词向量，计算梯度，具体包括：

所述梯度计算模块根据指定的损失函数、负样例词、自己建立的各所述词对，以及所述词及其上下文词的词向量，计算各词分别对应的梯度。

12.如权利要求8所述的装置，所述梯度计算模块计算梯度，具体包括：

所述梯度计算模块的一个或者多个线程以异步计算且不加锁更新的方式，计算梯度。

13.如权利要求8所述的装置，所述异步更新模块将所述梯度异步更新至所述服务器，具体包括：

所述异步更新模块在所述梯度计算模块计算得到所述梯度后，将所述梯度发送给所述服务器，其中，所述发送动作的执行无需等待其他工作机的异步更新模块向所述服务器发<