[发明专利]一种词向量处理方法及装置

说明书

本申请实施例公开了一种词向量处理方法及装置。所述方法包括：对语料分词得到各词；确定所述各词对应的各n元笔画，所述n元笔画表征其对应的词的连续n个笔画；建立并初始化所述各词的词向量，以及所述各词对应的各n元笔画的笔画向量；根据分词后的所述语料、所述词向量，以及所述笔画向量，对所述词向量和所述笔画向量进行训练。利用本申请实施例，可以实现通过词对应的n元笔画更精细地表现该词的特征，进而有利于提高中文词的词向量的准确度，实用效果较好。

技术领域

本申请涉及计算机软件技术领域，尤其涉及一种词向量处理方法及装置。

背景技术

如今的自然语言处理的解决方案，大都采用基于神经网络的架构，而在这种架构下一个重要的基础技术就是词向量。词向量是将词映射到一个固定维度的向量，该向量表征了该词的语义信息。

在现有技术中，常见的用于生成词向量的算法是专门针对英文设计的。比如，谷歌公司的单词向量算法、脸书公司的n元字符算法、微软公司的深度神经网络算法等。

但是，现有技术的这些算法或者无法用于中文，或者虽能用于中文，但是，所生成中文词的词向量的实用效果较差。

发明内容

本申请实施例提供一种词向量处理方法及装置，用以解决现有技术中用于生成词向量的算法或者无法用于中文，或者虽能用于中文，但是，所生成中文词的词向量的实用效果较差的问题。

为解决上述技术问题，本申请实施例是这样实现的：

本申请实施例提供的一种词向量处理方法，包括：

对语料分词得到各词；

确定所述各词对应的各n元笔画，所述n元笔画表征其对应的词的连续n个笔画；

建立并初始化所述各词的词向量，以及所述各词对应的各n元笔画的笔画向量；

根据分词后的所述语料、所述词向量，以及所述笔画向量，对所述词向量和所述笔画向量进行训练。

本申请实施例提供的一种词向量处理装置，包括：

分词模块，对语料分词得到各词；

确定模块，确定所述各词对应的各n元笔画，所述n元笔画表征其对应的词的连续n个笔画；

初始化模块，建立并初始化所述各词的词向量，以及所述各词对应的各n元笔画的笔画向量；

训练模块，根据分词后的所述语料、所述词向量，以及所述笔画向量，对所述词向量和所述笔画向量进行训练。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：可以实现通过词对应的n元笔画更精细地表现该词的特征，进而有利于提高中文词的词向量的准确度，实用效果较好，因此，可以部分或全部地解决现有技术中的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种词向量处理方法的流程示意图；

图2为本申请实施例提供的实际应用场景下，所述词向量处理方法的一种具体实施方案的流程示意图；

图3为本申请实施例提供的图2中流程所使用的部分语料的相关处理动作示意图；

图4为本申请实施例提供的对应于图1的一种词向量处理装置的结构示意图。

具体实施方式