[发明专利]一种基于不对等语料的跨语言词嵌入方法

权利要求书

1.一种基于不对等语料的跨语言词嵌入方法，其特征在于：所述方法的具体步骤如下：

Step1、收集源语言语料和跨语言词对，将跨语言词对分成训练集和测试集；其中，跨语言词对指代的由源语言、目标语言组成的词对；

Step2、采用词向量转换工具分别对源语言语料、训练集的跨语言词对、测试集的跨语言词对进行处理分别得到源语言语料词向量S、训练集跨语言词对的词向量D、测试集跨语言词对的词向量DT；

Step3、分别归一化源语言语料词向量S、训练集跨语言词对的词向量D，得到归一化源语言语料词向量SN、归一化训练集跨语言词对的词向量DN；

Step4、用跨语言词嵌入方法和正交方法求归一化训练集跨语言词对的词向量DN的转换矩阵W；根据W得到梯度下降的初始值W₁＝W；

Step5、采用K-means对归一化源语言语料词向量SN进行聚类，得到S₁,S₂,S₃,...,S_i,...,S_n个聚类簇；其中S_i为第i个簇，n为聚类的簇数；

Step6、建立SN→X→Y之间的关系；SN为归一化源语言语料词向量，X为归一化训练集跨语言词对的词向量DN中的源语言词向量集合，Y为归一化训练集跨语言词对的词向量DN中与X互译的目标语言词向量集合，A是X在归一化源语言语料词向量SN中能查找到的集合，为{a₁,a₂,…,a_j,...,a_k}，其中a_j是A中第j个词向量，与SN聚类后的某个簇S_i存在对应关系，即a_j∈S_i，对簇S_i求平均为S_i'，查找到Y中与a_j互译的目标语言词向量b_m，将S_i'与b_m这对扩展后的对应关系一同追加到归一化训练集跨语言词对的词向量DN后面；

Step7、重复Step6，直到{a₁,a₂,…,a_j,...,a_k}都找到互译的目标语言词向量，并将词向量都追加到归一化训练集跨语言词对的词向量DN中，得到新的训练集跨语言词对的词向量D₁，转到Step8；

Step8、以W₁为初始值，对D₁进行梯度下降求解，得到转换矩阵W的最优值W_b。

2.根据权利要求1所述的基于不对等语料的跨语言词嵌入方法，其特征在于：还包括如下步骤：

Step9、根据得到的转换矩阵W的最优值W_b，进行如下验证：

如果u_lW_b＝v_l，则测试正确个数P＝P+1；否则不统计；其中，l＝1,2,...,r；初始的P＝0；

根据P的取值，

其中，r表示测试集中词对的对数；U为测试集跨语言词对的词向量DT中的源语言词向量集合，u_l∈U、u_l表示U中第l个源语言词向量；V为测试集跨语言词对的词向量DT中与U互译的目标语言词向量集合，v_l∈V、v_l表示V中与U互译的第l个目标语言词向量。

3.根据权利要求1所述的基于不对等语料的跨语言词嵌入方法，其特征在于：所述词向量转换工具采用：Word2vec、Glove。