[发明专利]词向量的配置方法、装置、存储介质、电子装置

说明书

本发明提供了一种词向量的配置方法、装置、存储介质、电子装置，其中，本发明提供的词向量的配置方法包括：确定待配置初始词向量的第一词汇；判断第一词汇是否在词向量词典中，其中，词向量词典用于存储多个词汇与多个词向量的一一对应关系；如果判断出第一词汇不在词向量词典中，对第一词汇执行笔画拆解，得到笔画序列；计算词向量词典中的每个词汇的笔画序列与第一词汇的笔画序列的相似度；确定与第一词汇的笔画序列相似度最高的词汇对应的词向量，并配置为第一词汇的初始词向量。通过本发明，解决了相关技术中利用随机分配的方式配置未登录词的词向量时导致后续训练任务精度下降的技术问题。

技术领域

本发明涉及神经网络领域，具体而言，涉及一种词向量的配置方法、装置、存储介质、电子装置。

背景技术

在处理文本类数据时，通常最基本的步骤就是分词并训练词向量(例如，采用word2vec方法进行训练)，然后基于词向量进行后续的文本比对、分类等任务。在实际处理过程中，经常会发生待处理的文本中包含不在词向量词典范围内的新词(未登录词)，通常的处理方法是随机对未登录词随机的分配词向量，但是，随机分配的词向量并没有利用到新词的语义信息，造成后续任务精度下降。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种词向量的配置方法、装置、存储介质、电子装置，以至少解决现有技术中利用随机分配的方式配置未登录词的词向量时导致后续训练任务精度下降的技术问题。

根据本发明的一个实施例，提供了一种词向量的配置方法，包括：确定待配置初始词向量的第一词汇；判断第一词汇是否在词向量词典中，其中，词向量词典用于存储多个词汇与多个词向量的一一对应关系；如果判断出第一词汇不在词向量词典中，对第一词汇执行笔画拆解，得到笔画序列；计算词向量词典中的每个词汇的笔画序列与第一词汇的笔画序列的相似度；确定与第一词汇的笔画序列相似度最高的词汇对应的词向量，并配置为第一词汇的初始词向量。

进一步地，词向量词典中包括第二词汇，计算词向量词典中的每个词汇的笔画序列与第一词汇的笔画序列的相似度，包括：确定第二词汇的笔画序列与第一词汇的笔画序列的重合序列段的总长度，其中，重合序列段为两个词汇的笔画序列中笔画排列相同的序列段；基于第一词汇与第二词汇的重合序列段的总长度，确定第一词汇的笔画序列与第二词汇的笔画序列的相似度。

进一步地，基于第一词汇与第二词汇的重合序列段的总长度，确定第一词汇的笔画序列与第二词汇的笔画序列的相似度，采用如下公式：S＝2*p/(n+m)其中，S为第一词汇的笔画序列与第二词汇的笔画序列的相似度，p为第一词汇与第二词汇的重合序列段的总长度，n为第一词汇的笔画序列的长度，m为第二词汇的笔画序列的长度。

进一步地，确定待配置初始词向量的第一词汇，包括：获取待分词的语料；对语料进行分词，得到顺序的多个分词；在多个分词中确定未配置初始词向量的首位分词，得到第一词汇。

通过本发明提供的词向量的配置方法，通过对未登录在词向量词典中的词汇进行拆解，在词向量词典中查找与其笔画最接近的已登录词，进而将笔画相近词的词向量配置为未登录词的初始词向量，解决了相关技术中利用随机分配的方式配置未登录词的词向量时导致后续训练任务精度下降的技术问题，利用中文的笔画中所携带的语义信息来为未登录词赋予初始词向量，能够减少后续训练任务的耗时、提高训练任务的精度。

根据本发明的另一个实施例，提供了一种词向量的配置装置，包括：第一确定模块，用于确定待配置初始词向量的第一词汇；判断模块，用于判断第一词汇是否在词向量词典中，其中，词向量词典用于存储多个词汇与多个词向量的一一对应关系；拆解模块，用于如果判断出第一词汇不在词向量词典中，对第一词汇执行笔画拆解，得到笔画序列；计算模块，用于计算词向量词典中的每个词汇的笔画序列与第一词汇的笔画序列的相似度；第二确定模块，用于确定与第一词汇的笔画序列相似度最高的词汇对应的词向量，并配置为第一词汇的初始词向量。