[发明专利]词向量矩阵压缩方法和装置、及获取词向量的方法和装置

权利要求书

1.一种词向量矩阵压缩方法，其特征在于，包括：

基于词向量模型生成用于表征待处理词汇的词向量矩阵，并将所生成的词向量矩阵作为待压缩词向量矩阵；所述待压缩词向量矩阵的一行或一列是一个词向量，所述待压缩词向量矩阵中的一个词向量用于表征所述待处理词汇中的一个词；

根据所述待处理词汇的语义信息，对所述待压缩词向量矩阵所包括的词向量进行分类，得到至少两个类别；

对所述至少两个类别中至少一个类别进行压缩，并根据所述至少一个类别压缩后得到的词向量，构建经压缩的词向量矩阵，并存储所述经压缩的词向量矩阵；

其中，所述根据所述待处理词汇的语义信息，对所述待压缩词向量矩阵所包括的词向量进行分类，得到至少两个类别，包括：

对所述待压缩词向量矩阵包括的词向量进行聚类，得到A个类别；2≤A＜N，所述N是所述待压缩词向量矩阵包含的词向量的个数；所述A和所述N均是整数；所述A为根据第一压缩率确定的取值，所述第一压缩率用于标识对所述待压缩词向量矩阵包含的词向量的数量进行压缩的压缩率；

其中，所述对所述至少两个类别中至少一个类别进行压缩，并根据所述至少一个类别压缩后得到的词向量，构建经压缩的词向量矩阵，包括：

将用于表示第一矩阵的B个特征向量构成的矩阵，作为所述经压缩的词向量矩阵；所述第一矩阵是所述A个类别中的各类别的类别中心构成的矩阵；B＜F，所述F是所述待压缩词向量矩阵中的一个词向量的维度，所述B和所述F均是整数。

2.根据权利要求1所述的方法，其特征在于，所述A个类别的类别中心包括：所述待压缩词向量矩阵中的、且用于表征所述待处理词汇中的常用词的词向量。

3.根据权利要求1或2所述的方法，其特征在于，所述N个类别包括第一类别，所述方法还包括：

将所述第一类别的类别中心所表征的词，作为所述第一类别包含的各词向量所表征的词对应的代表词；

向客户端设备发送所述代表词与所述第一类别包含的各词向量所表征的词之间的对应关系。

4.一种词向量矩阵压缩方法，其特征在于，包括：

基于词向量模型生成用于表征待处理词汇的词向量矩阵，并将所生成的词向量矩阵作为待压缩词向量矩阵；所述待压缩词向量矩阵的一行或一列是一个词向量，所述待压缩词向量矩阵中的一个词向量用于表征所述待处理词汇中的一个词；

确定用于表示所述待压缩词向量矩阵的F个特征向量；所述F是所述待压缩词向量矩阵中的一个词向量的维度；所述F是整数；

将所述待压缩词向量矩阵投影到B个特征向量构成的矩阵上，得到投影后的矩阵；所述F个特征向量包括所述B个特征向量；B＜F，所述B是整数；

将所述投影后的矩阵作为所述经压缩的词向量矩阵；

或者，根据所述待处理词汇的语义信息，对所述投影后的矩阵中的词向量进行分类，得到至少两个类别，并对所述至少两个类别中至少一个类别进行压缩，根据所述至少一个类别压缩后得到的词向量，构建所述经压缩的词向量矩阵；存储所述经压缩的词向量矩阵。

5.根据权利要求4所述的方法，其特征在于，所述确定用于表示所述待压缩词向量矩阵的F个特征向量，包括：

对所述待压缩词向量矩阵进行主成分分析PCA或奇异值分解SVD，以获取所述F个特征向量。

6.根据权利要求1或4所述的方法，其特征在于，所述方法还包括：

获取用于表征待处理词汇的经压缩的词向量矩阵、所述待处理词汇中的多个词与所述待处理词汇的多个代表词之间的对应关系以及所述多个代表词与所述经压缩的词向量矩阵中的多个词向量之间的对应关系；一个代表词与所述经压缩的词向量矩阵中的一个词向量对应；

根据所述多个词与所述多个代表词之间的对应关系，在所述多个词中查找待处理词，以确定所述待处理词对应的代表词，并将所述待处理词对应的代表词作为目标代表词；

根据所述多个代表词与所述多个词向量之间的对应关系，在所述多个代表词中查找所述目标代表词，以确定所述目标代表词对应的词向量，并将所述目标代表词对应的词向量作为用于表征所述待处理词的词向量。