[发明专利]GloVe词向量模型增量训练方法、装置、介质及电子设备

权利要求书

1.一种GloVe词向量模型增量训练方法，包括：

获取历史语料文本中出现的词的词频以及增量语料文本中出现的词的词频，以得到所述增量语料文本与所述历史语料文本中出现的词的词频；

获取历史语料文本中词与词的共现次数以及所述增量语料文本中词与词的共现次数，以得到所述增量语料文本与所述历史语料文本中词与词的共现次数；

根据所述增量语料文本与所述历史语料文本中出现的词的词频以及词与词的共现次数构建共现矩阵；以及

基于所述共现矩阵以及所述增量语料文本与所述历史语料文本中出现的词的词频训练GloVe词向量模型。

2.根据权利要求1所述的方法，其特征在于，获取历史语料文本中出现的词的词频以及增量语料文本中出现的词的词频，以得到所述增量语料文本与所述历史语料文本合并后出现的词的词频包括：

获取历史语料文本中出现的词及对应的词频；

对所述增量语料文本进行遍历，统计所述增量语料文本中出现的词及对应的词频；

将所述增量语料文本中出现的词及对应的词频与所述历史语料文本中出现的词及对应的词频进行合并，得到所述增量语料文本与所述历史语料文本中出现的词的词频。

3.根据权利要求2所述的方法，其特征在于，将所述增量语料文本中出现的词及对应的词频与所述历史语料文本中出现的词及对应的词频进行合并包括：

对于在所述历史语料文本中出现而在所述增量语料文本中未出现的词或者对于在所述增量语料文本中出现而在所述历史语料文本中未出现的词，计算该词出现的次数，根据该词出现的次数以及所述增量语料文本与所述历史语料文本中所有词的个数，得到该词在所述增量语料文本与所述历史语料文本中的词频；

对于既在所述增量语料文本中出现又在所述历史语料文本中出现的词，计算该词分别在两种语料文本中出现的次数之和，根据所述次数之和以及所述增量语料文本与所述历史语料文本中所有词的个数，得到该词在所述增量语料文本与所述历史语料文本中的词频。

4.根据权利要求1-3中任一项所述的方法，其特征在于，获取历史语料文本中词与词的共现次数以及所述增量语料文本中词与词的共现次数，以得到所述增量语料文本与所述历史语料文本中词与词的共现次数包括：

获取历史语料文本中词与词的共现次数；

对所述增量语料文本进行遍历，统计所述增量语料文本中词与词的共现次数；

将所述增量语料文本中的词与词的共现次数与所述历史语料文本中的词与词的共现次数进行合并，得到所述增量语料文本和所述历史语料文本中的词与词的共现次数。

5.根据权利要求4所述的方法，其特征在于，将所述增量语料文本中的词与词的共现次数与所述历史语料文本中的词与词的共现次数进行合并包括：

对于既在所述增量语料文本中出现又在所述历史语料文本中出现的共现词对，将所述共现词对分别在两种语料文本中的共现次数相加，作为所述共现词对在所述增量语料文本和所述历史语料文本中的共现次数。

6.根据权利要求1-3中任一项所述的方法，其特征在于，基于所述共现矩阵以及所述增量语料文本与所述历史语料文本中出现的词的词频训练GloVe词向量模型包括：

重新整理所述共现矩阵；

根据重新整理后的共现矩阵以及所述增量语料文本与所述历史语料文本中出现的词的词频训练所述GloVe词向量模型。

7.根据权利要求1-3中任一项所述的方法，其特征在于，利用多线程训练所述GloVe词向量模型。