[发明专利]一种基于不对等语料的跨语言词嵌入方法

摘要

本发明涉及一种基于不对等语料的跨语言词嵌入方法，属于自然语言处理技术领域。本发明首先对单语词向量进行归一化，对小字典词对(训练集跨语言词对)正交最优线性变换求得梯度下降初始值，然后通过对大型源语言(英语)语料进行聚类，借助小字典找到与每一聚类簇相对应的源语言词，取聚类得到的每一簇词向量均值和源语言与目标语言对应的词向量均值，建立新的双语词向量对应关系，将新建立的双语词向量扩展到小字典中，使得小字典得以泛化和扩展。最后，利用泛化扩展后的字典对跨语言词嵌入映射模型进行梯度下降求得最优值。

主权项

1.一种基于不对等语料的跨语言词嵌入方法，其特征在于：所述方法的具体步骤如下：Step1、收集源语言语料和跨语言词对，将跨语言词对分成训练集和测试集；其中，跨语言词对指代的由源语言、目标语言组成的词对；Step2、采用词向量转换工具分别对源语言语料、训练集的跨语言词对、测试集的跨语言词对进行处理分别得到源语言语料词向量S、训练集跨语言词对的词向量D、测试集跨语言词对的词向量DT；Step3、分别归一化源语言语料词向量S、训练集跨语言词对的词向量D，得到归一化源语言语料词向量SN、归一化训练集跨语言词对的词向量DN；Step4、用跨语言词嵌入方法和正交方法求归一化训练集跨语言词对的词向量DN的转换矩阵W；根据W得到梯度下降的初始值W₁＝W；Step5、采用K‑means对归一化源语言语料词向量SN进行聚类，得到S₁,S₂,S₃,...,S_i,...,S_n个聚类簇；其中S_i为第i个簇，n为聚类的簇数；Step6、建立SN→X→Y之间的关系；SN为归一化源语言语料词向量，X为归一化训练集跨语言词对的词向量DN中的源语言词向量集合，Y为归一化训练集跨语言词对的词向量DN中与X互译的目标语言词向量集合，A是X在归一化源语言语料词向量SN中能查找到的集合，为{a₁,a₂,…,a_j,...,a_k}，其中a_j是A中第j个词向量，与SN聚类后的某个簇S_i存在对应关系，即a_j∈S_i，对簇S_i求平均为S_i'，查找到Y中与a_j互译的目标语言词向量b_m，将S_i'与b_m这对扩展后的对应关系一同追加到归一化训练集跨语言词对的词向量DN后面；Step7、重复Step6，直到{a₁,a₂,…,a_j,...,a_k}都找到互译的目标语言词向量，并将词向量都追加到归一化训练集跨语言词对的词向量DN中，得到新的训练集跨语言词对的词向量D₁，转到Step8；Step8、以W₁为初始值，对D₁进行梯度下降求解，得到转换矩阵W的最优值W_b。