[发明专利]词嵌入模型的增量生成

权利要求书

1.一种计算机化方法，包括：

接收第一向量模型，其中，所述第一向量模型由在第一语料库上训练的第一神经网络产生，并且其中，所述第一神经网络包括多个隐藏节点，并且其中，所述第一向量模型跨越由多个第一基向量定义的向量空间；

在第二语料库上训练第二神经网络以产生第二向量模型，其中，所述第二神经网络具有与所述第一神经网络中包括的相同数量的多个隐藏节点，并且其中，所述第二向量模型跨越由多个第二基向量定义的向量空间；

确定将所述多个第二基向量变换为所述多个第一基向量的变换矩阵；

使用所述变换矩阵将所述第一向量模型和所述第二向量模型变换为组合的向量模型。

2.根据权利要求1所述的方法，其中，所述第一向量模型中的第一多个向量由嵌入也被所述第二向量模型嵌入的多个词产生，并且其中，所述第二向量模型中的第二多个向量对应于所述第一多个向量，并且其中，对于所述第一多个向量中的每个向量，变换所述第一向量模型和所述第二向量模型包括：

将该向量乘以系数以形成加权向量；

将所述第二多个向量中的相应向量乘以所述变换矩阵以形成变换后的向量；以及

将所述加权向量和所述变换后的向量相加以形成第一变换后的向量。

3.根据权利要求2所述的方法，其中，所述第二向量模型还包括第三多个向量，所述第三多个向量由未被所述第一向量模型嵌入的词产生，并且其中，变换所述第一向量模型和所述第二向量模型还包括：

将所述第三多个向量中的每个向量乘以所述变换矩阵以形成第二变换后的向量。

4.根据权利要求1所述的方法，其中，所述第一向量模型是Word2Vec向量模型。

5.根据权利要求1所述的方法，其中，所述第一向量模型是公共域向量模型。

6.根据权利要求1所述的方法，其中，所述多个第一基向量中的每个第一基向量与所述多个第二基向量中的每个第二基向量正交。

7.根据权利要求1所述的方法，其中，确定所述变换矩阵包括使用最小二乘法求解一组等式。

8.根据权利要求2所述的方法，其中，对于所述第一多个向量中的每个向量：将该向量乘以系数以形成加权向量包括将该向量乘以因子(r/(r+1))，其中，r是所述第一语料库的第一语料库大小与所述第二语料库的第二语料库大小的比率。

9.根据权利要求8所述的方法，其中，r等于500。

10.根据权利要求8所述的方法，其中，对于所述第一多个向量中的每个向量：将所述第二多个向量中的相应向量乘以所述变换矩阵以形成变换后的向量包括将所述第二多个向量中的相应向量乘以所述变换矩阵和因子(1/(r+1))以形成变换后的向量。

11.一种计算机化系统，包括：

存储器，其被配置为存储第一向量模型，其中，所述第一向量模型由在第一语料库上训练的第一神经网络产生，并且其中，所述第一神经网络包括多个隐藏节点，并且其中，所述第一向量模型跨越由多个第一基向量定义的向量空间；

向量训练模块，其被配置为在第二语料库上训练第二神经网络以产生新的向量模型，其中，所述第二神经网络具有与所述第一神经网络中包括的相同数量的多个隐藏节点，并且其中，所述第二向量模型跨越由多个第二基向量定义的向量空间；以及

变换模块，其被配置为确定用于将所述多个第二基向量变换为所述多个第一基向量的变换矩阵，并且被配置为使用所述变换矩阵将所述第一向量模型和所述第二向量模型变换为组合的向量模型。