[发明专利]模型训练和词向量确定方法、装置、设备、介质和产品

说明书

本公开提供了一种模型训练和词向量确定方法、装置、设备、介质和产品，可以用于自然语言处理领域和信息处理领域等领域中。该方法包括：获取与第一词集合对应的第一词向量集合；以及针对第一词向量集合中的每个词向量，基于词嵌入模型生成降低维度的词向量，基于降低维度的词向量生成第一词向量集合中的其他词向量在第一词向量集合中的第一概率分布，以及调整词嵌入模型的参数，使得第一概率分布与通过第一词向量集合中的词向量的数量确定的其他词向量的第二概率分布的差别尽可能小。利用上述方法，可以基于相关联的、包括在语言学上不具有顺序关系的词的多个语料进行词嵌入，因此能够增进词嵌入的效率和提高词嵌入的效果，从而能够提升用户体验。

技术领域

本公开涉及计算机技术，并且更具体地，涉及模型训练方法、词向量确定方法、装置、电子设备、计算机可读存储介质和计算机程序产品，可以用于自然语言处理领域和信息处理领域等领域中。

背景技术

词嵌入是自然语言处理中对诸如技能词的词进行表征的技术。从概念上而言，它是指把一个维数为所有词的数量的词的高维空间嵌入到一个维数低得多的词的连续向量空间中，每个词被映射为实数域上的向量。很多下游任务都可以使用词嵌入向量作为输入，因此词嵌入的质量很大程度上影响了下游任务的效果。下游任务例如可以包括机器学习任务简历分类任务、简历评估任务、人岗匹配任务、招投标任务等任务。

然而，传统的用于词嵌入的技术无论是在模型训练的效率还是模型训练的效果方面都存在不足。

发明内容

根据本公开的实施例，提供了一种模型训练方法、词向量确定方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

在本公开的第一方面中，提供了一种模型训练方法，包括：获取与第一词集合对应的第一词向量集合，第一词集合来自第一语料，并且第一词集合中的词在语言学上不具有顺序关系；以及针对第一词向量集合中的每个词向量，基于词嵌入模型生成降低维度的词向量，基于降低维度的词向量生成第一词向量集合中的其他词向量在第一词向量集合中的第一概率分布，以及调整词嵌入模型的参数，使得使用经调整的词嵌入模型生成的第一概率分布与通过第一词向量集合中的词向量的数量确定的其他词向量的第二概率分布的差别尽可能小。

在本公开的第二方面中，提供了一种词向量确定方法，包括使用根据本公开的第一方面而被训练的词嵌入模型，针对词向量确定降低维度的词向量。

在本公开的第三方面中，提供了一种模型训练装置，包括：第一词向量集合获取模块，被配置为获取与第一词集合对应的第一词向量集合，第一词集合来自第一语料，并且第一词集合中的词在语言学上不具有顺序关系；以及第一参数调整模块，被配置为针对第一词向量集合中的每个词向量，基于词嵌入模型生成降低维度的词向量，基于降低维度的词向量生成第一词向量集合中的其他词向量在第一词向量集合中的第一概率分布，以及调整词嵌入模型的参数，使得使用经调整的词嵌入模型生成的第一概率分布与通过第一词向量集合中的词向量的数量确定的其他词向量的第二概率分布的差别尽可能小。

在本公开的第四方面中，提供了一种词向量确定装置，被配置为使用由根据本公开的第三方面的模型训练装置训练的词嵌入模型，针对词向量确定降低维度的词向量。

在本公开的第五方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第一方面的方法。

在本公开的第六方面中，提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够实现根据本公开的第二方面的方法。

在本公开的第七方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机实现根据本公开的第一方面的方法。