[发明专利]词向量更新方法和装置

说明书

本发明揭示了一种词向量更新方法，包括：获取训练原词向量时所生成的第一模型和第二模型，所述第一模型用于根据输入词预测上下文，所述第二模型用于根据上下文预测目标词；将来自目标语料的语料单元输入所述第一模型，并将所述第一模型的输出输入所述第二模型，获取使所述第二模型输出所述语料单元时由所述第一模型和所述第二模型产生的损耗；以及根据所述损耗来更新所述第一模型和所述第二模型。基于上述实施例提供的词向量更新方法，能够仅在目标语料的基础上同时实现对第一模型和第二模型的更新训练。

技术领域

本发明涉及计算机应用技术领域，特别涉及一种词向量更新方法、装置、计算机可读存储介质和电子设备。

背景技术

随着计算机应用技术的不断发展，自然语言处理得到了越来越广泛的应用。机器翻译、语音识别及信息检索等应用需求对计算机的自然语言处理能力提出了越来越高的要求。

目前，在处理自然语言任务时，分布式表达(distributed representation)是一种普遍使用的文本表示方法。这种方法通过训练将自然语言中的每一个词映射成一个固定长度的向量，将所有这些向量放在一起形成一个词向量空间，每一向量则为该空间中的一个点，进而直接用词向量取代词本身来表示文本，从而将自然语言的理解转化为机器学习的数学化问题。

为了基于自然语言训练得到能够用于后续机器处理的词向量，相关技术提出了多种侧重于不同处理场景的训练模型，例如更适用于文本分类处理的上下文到词(Continuous Bag-of-words，CB)模型以及更适用于序列标注处理的词到上下文(Skip-Gram，SG)模型等等。然而，这些模型均不支持增量式的训练，一旦需要对训练得到的词向量进行调整，往往需要重新构建大规模语料并从零开始训练词向量，从而带来额外的计算负担。

除了词向量的训练，词向量的更新(retrofitting)也是有效提升词向量性能的关键技术。常见的词向量更新流程一般是针对预先训练好的给定词向量，通过人工标注或自动抽取的词与词的关系作为指导，对词向量进行调整，进而将原本低质量的词向量提升为高质量的词向量。然而，这样的更新方法仅适用于少量词语，对于标注数据之外的词语往往无能为力。

由此可见，目前的词向量训练模型及更新方法都不能直接使用任意外部信息来提高词向量的质量，也无法解决将旧的词向量调整用于新的使用环境的领域迁移问题。

发明内容

为了解决相关技术中无法通过增量训练来实现词向量质量提高和跨领域使用等技术问题，本发明提供了一种词向量更新方法、装置、计算机可读存储介质和电子设备。

根据本发明的实施例，提供一种词向量更新方法，包括：获取训练原词向量时所生成的第一模型和第二模型，所述第一模型用于根据输入词预测上下文，所述第二模型用于根据上下文预测目标词；将来自目标语料的语料单元输入所述第一模型，并将所述第一模型的输出输入所述第二模型，获取使所述第二模型输出所述语料单元时由所述第一模型和所述第二模型产生的损耗；以及根据所述损耗来更新所述第一模型和所述第二模型。

根据本发明的实施例，提供一种词向量更新方法，包括：获取训练方向相反的第一模型和第二模型；将待训练的目标语料输入所述第一模型，并将所述第一模型的输出输入所述第二模型，获取使所述第二模型输出目标语料时分别由所述第一模型和所述第二模型产生的损耗；以及根据所述损耗来更新所述第一模型和所述第二模型。

根据本发明的实施例，提供一种词向量更新装置，包括：初始化模块，设置为获取训练原词向量时所生成的第一模型和第二模型，所述第一模型用于根据输入词预测上下文，所述第二模型用于根据上下文预测目标词；损耗获取模块，设置为将来自目标语料的语料单元输入所述第一模型，并将所述第一模型的输出输入所述第二模型，获取使所述第二模型输出所述语料单元时由所述第一模型和所述第二模型产生的损耗；以及模型更新模块，设置为根据所述损耗来更新所述第一模型和所述第二模型。