[发明专利]确定词表示向量的方法、装置及电子设备

说明书

本申请实施例提供了一种确定词表示向量的方法、装置、电子设备及计算机可读存储介质，属于自然语言处理领域，该方法包括：获取文本的字形单元集合；基于字形单元集合获取文本的上下文向量，基于上下文向量预测文本的下一词语。本申请的确定词表示向量的方法即便对于容易出现超纲字的象形文字或由象形文字演化得到的语言，也可以有效获取到对应的字形单元集合，从而提高确定词表示向量的准确率。

技术领域

本申请涉及自然语言处理技术领域，具体而言，本申请涉及一种确定词表示向量的方法、装置及电子设备。

背景技术

在自然语言处理领域中，确定词表示向量从而获取词语的语义的近年来受到了广泛关注。确定词表示向量可以用于实现自然语言处理中的各种任务，例如文本总结、机器翻译、图像标注等，例如给定前面的文本，预测得到下一个词语等。

在确定词表示向量的过程中，通常是基于给定的文本中的字的字表示向量来确定词表示向量，需要对现有的确定词表示向量的方法进行优化。

发明内容

本申请的目的旨在提供一种确定词表示向量的方法、装置、电子设备及计算机可读存储介质。

第一方面，本申请实施例提供了一种确定词表示向量的方法，该方法包括：

获取至少一个词语的字形单元集合；

基于所述字形单元集合，获取所述至少一个词语的词表示向量。

第二方面，本申请实施例提供了一种确定词表示向量的装置，该装置包括：

第一获取模块，用于获取至少一个词语的字形单元集合；

第二获取模块，用于基于所述字形单元集合，获取所述至少一个词语的词表示向量。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器：

存储器，用于存储机器可读指令；

处理器，用于在执行上述机器可读指令时，执行上述第一方面所示的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机指令，计算机指令被处理器执行时实现上述第一方面所示的方法。

本申请提供的技术方案带来的有益效果是：

上述的确定词表示向量的方法，通过文本的字形单元集合来获取词表示向量，即便对于容易出现超纲字的象形文字或由象形文字演化得到的语言，也可以有效获取到对应的字形单元集合，从而提高确定词表示向量的准确率。

进一步的，引入字形单元集合，通过依次提取和融合字形单元、字、词三种级别上的特征，使得最终得到的词表示向量包括更丰富的语义特征，提高词表示向量的准确性。

进一步的，对于难以查询得到的超纲字或超纲词，将其拆分为字形单元，得到的字形单元中仍可以包括有效的语义信息，从而进一步提高确定词表示向量的准确率。

进一步的，在对第一字特征向量和第二字特征向量进行融合，或对第一词特征向量和第二词特征向量进行融合时，先通过线性映射获取门控权重，或者采用余弦相似度获取各个字特征权重，再根据门控权重或字特征权重获取第一字特征向量和第二字特征向量的加权和，或者第一词特征向量和第二词特征向量的加权和，可以有效获取与字义或词义最相关的语义信息，从而更进一步提高确定词表示向量的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1示出了现有技术中的神经网络语言模型结构示意图；

图2示出了现有技术中的基于charCNN的神经网络语言模型的确定词表示向量的示意图；