[发明专利]GloVe词向量模型增量训练方法、装置、介质及电子设备

说明书

本发明实施例提供了一种GloVe词向量模型增量训练方法、装置、介质及电子设备，所述方法包括：获取历史语料文本中出现的词的词频以及增量语料文本中出现的词的词频，以得到所述增量语料文本与所述历史语料文本中出现的词的词频；获取历史语料文本中词与词的共现次数以及所述增量语料文本中词与词的共现次数，以得到所述增量语料文本与所述历史语料文本中词与词的共现次数；根据所述增量语料文本与所述历史语料文本中出现的词的词频以及词与词的共现次数构建共现矩阵；以及基于所述共现矩阵以及所述增量语料文本与所述历史语料文本中出现的词的词频训练GloVe词向量模型。面对新增语料，本发明提高了GloVe词向量模型的训练效率。

技术领域

本发明涉及自然语言建模领域，具体涉及一种GloVe词向量模型增量训练方法、装置、介质及电子设备。

背景技术

目前，越来越多的公司、企业利用自然语言处理手段深度挖掘隐藏在研报、公告、新闻等海量数据中的有效信息，从而为投研人员提供数据支持。在自然语言处理领域，如何高效地表达一个词是核心问题，对此，斯坦福大学自然语言处理组提出了一种GloVe算法，其利用词与相邻词之间的共现次数来学习词向量，最终得到带有语义信息的词向量表达。

随着数据的不断更新，面对每天新增的语料，如何以增量的方式在已训练好的GloVe词向量模型上进行更新是当前亟待解决的一个问题。现有的解决方案是将每天新增的语料文本和已训练过的历史语料文本放在一起，重新进行全量训练，具体涉及到重新全量统计词频以及词与词的共现次数。然而，在海量数据中统计词频以及词与词的共现次数是一项非常耗时的工作，这导致训练非常低效，并且每次增量更新都要花费比之前更长的时间。

发明内容

为解决上述现有技术中存在的问题，根据本发明的一个实施例，提供一种GloVe词向量模型增量训练方法，包括：

获取历史语料文本中出现的词的词频以及增量语料文本中出现的词的词频，以得到所述增量语料文本与所述历史语料文本中出现的词的词频；

获取历史语料文本中词与词的共现次数以及所述增量语料文本中词与词的共现次数，以得到所述增量语料文本与所述历史语料文本中词与词的共现次数；

根据所述增量语料文本与所述历史语料文本中出现的词的词频以及词与词的共现次数构建共现矩阵；以及

基于所述共现矩阵以及所述增量语料文本与所述历史语料文本中出现的词的词频训练GloVe词向量模型。

上述方法中，获取历史语料文本中出现的词的词频以及增量语料文本中出现的词的词频，以得到所述增量语料文本与所述历史语料文本合并后出现的词的词频包括：

获取历史语料文本中出现的词及对应的词频；

对所述增量语料文本进行遍历，统计所述增量语料文本中出现的词及对应的词频；

将所述增量语料文本中出现的词及对应的词频与所述历史语料文本中出现的词及对应的词频进行合并，得到所述增量语料文本与所述历史语料文本中出现的词的词频。

上述方法中，将所述增量语料文本中出现的词及对应的词频与所述历史语料文本中出现的词及对应的词频进行合并包括：

对于在所述历史语料文本中出现而在所述增量语料文本中未出现的词或者对于在所述增量语料文本中出现而在所述历史语料文本中未出现的词，计算该词出现的次数，根据该词出现的次数以及所述增量语料文本与所述历史语料文本中所有词的个数，得到该词在所述增量语料文本与所述历史语料文本中的词频；

对于既在所述增量语料文本中出现又在所述历史语料文本中出现的词，计算该词分别在两种语料文本中出现的次数之和，根据所述次数之和以及所述增量语料文本与所述历史语料文本中所有词的个数，得到该词在所述增量语料文本与所述历史语料文本中的词频。