[发明专利]词向量压缩的方法和装置、获取词向量的方法和装置

权利要求书

1.一种词向量压缩的方法，其特征在于，包括：

获取第一词向量，所述第一词向量包括N个元素，N≥2；

将所述N个元素进行混合比特存储，其中所述N个元素中的第一元素与所述N个元素中的第二元素所占用的比特数不同。

2.根据权利要求1所述的方法，其特征在于，所述将所述N个元素进行混合比特存储，包括：

将所述N个元素按顺序进行拼接，得到第一序列，其中所述第一元素在所述第一序列中占用P个比特，所述第二元素在所述第一序列中占用Q个比特，P＜Q，所述第一元素的值属于P个比特能够表示的数值范围，所述第二元素的值属于Q个比特能够表示的数值范围但不属于P个比特能够表示的数值范围；

将所述第一序列按照Q个比特一组进行切分，其中不足Q个比特时添0补齐，得到与所述第一词向量对应的第一数组。

3.根据权利要求2所述的方法，其特征在于，还包括：

获取第二数组，所述第二数组包括N个标志位，所述N个标志位与所述N个元素一一对应，其中所述N个标志位中的一个标志位用于指示所述N个元素中一个元素在所述第一数组中的起始比特位和长度，所述N个标志位中的每个标志位在所述第二数组中占用1比特；

将所述第一数组和所述第二数组作为压缩后的词向量进行存储。

4.根据权利要求2或3所述的方法，其特征在于，所述获取第一词向量包括：

当满足预设条件时，获取所述第一词向量；

其中，所述预设条件包括：P*y+Q(N-y)+N*1＜Q*N，和/或y/N＞1/(Q-P)；

其中，y为所述第一词向量中包括的第一元素的数量，N-y为所述第一词向量中包括的第二元素的数量。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述获取第一词向量包括：

获取第一原始词向量，所述第一原始词向量包括N’个元素，所述N’个元素中的每个元素需要K比特的存储空间；

将所述第一原始词向量进行低比特量化，得到所述第一词向量，其中所述第一词向量中的N个元素与所述第一原始词向量中的N’个元素一一对应，所述N个元素中的每个元素需要Q比特的存储空间，Q＜K。

6.根据权利要求5所述的方法，其特征在于，所述将所述第一原始词向量进行低比特量化，得到所述第一词向量，包括：

根据公式3对所述第一原始词向量中的N’个元素分别进行计算，得到所述第一词向量中的N个元素；

其中公式3为：

X2＝round(X1/S_放缩因子+Z_零点)；

其中，X1为所述第一原始词向量中任意一个元素的值，X2为所述第一词向量中与X1对应的元素的值，S_放缩因子为放缩因子，Z_零点为零点，round()为取整函数；

所述S_放缩因子根据公式1得到，公式1为：

S_放缩因子＝(X1_max-X1_min)/(X_max-X_min)；

所述Z_零点根据公式2得到，公式2为：

Z_零点＝X_max-X1_max/S_放缩因子；

其中，X1_max为所述第一原始词向量所属的原始词向量库中所有元素的最大值，X1_min为所述第一原始词向量所属的原始词向量库中所有元素的最小值，X_max为Q比特能够表示的最大值，X_min为Q比特能够表示的最小值。

7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：

获取第二原始词向量，所述第二原始词向量中的每个元素需要K比特的存储空间；

将所述第二原始词向量进行低比特量化，得到第二词向量，所述第二词向量中的每个元素需要Q比特的存储空间，Q＜K；

其中，所述第二词向量中，数值属于P个比特能够表示的数值范围的元素个数占所述第二词向量中全部元素个数的比例不超过1/(Q-P)，P＜Q。