[发明专利]文字词向量模型的训练方法、装置、终端及存储介质

权利要求书

1.一种文字词向量模型的训练方法，其特征在于，包括：

获取文字样本的文本信息；

基于五笔输入法将所述文本信息的文字拆分成字根，将五笔字根转化为数值序列的形式，并建立五笔字根中各字根与数值的关系词典，根据所述关系词典将所有字根转化为相应的数值，对所述字根的数值进行独热编码，得到字根编码；

将所述字根编码输入循环神经网络生成字形编码；

对所述文本信息的各个词语进行词汇独热编码，获取相应的词汇编码；

将所述字形编码和词汇编码输入双向循环神经网络进行模型训练，得到文字词向量模型。

2.根据权利要求1所述的文字词向量模型的训练方法，其特征在于，基于五笔输入法将所述文本信息的文字拆分成字根的步骤，包括：

基于五笔输入法及文字拆分顺序对所述文本信息的文字进行拆分，得到文字的字根。

3.根据权利要求1所述的文字词向量模型的训练方法，其特征在于，将所述字根编码输入循环神经网络生成字形编码的步骤，包括：

将各字根对应的字根编码分别输入循环神经网络相应的神经元中，输出得到字形编码。

4.根据权利要求1所述的文字词向量模型的训练方法，其特征在于，将所述字形编码和词汇编码输入双向循环神经网络进行模型训练的步骤，包括：

将所述字形编码和词汇编码进行拼接，得到输入编码；

将所述输入编码输入双向循环神经网络进行模型训练。

5.根据权利要求1所述的文字词向量模型的训练方法，其特征在于，得到文字词向量模型之前，还包括：

将双向循环神经网络各神经网络层的训练结果进行加权平均，得到目标训练结果；

当目标训练结果满足预设要求时，将由所述双向循环神经网络构成的神经网络模型作为文字词向量模型。

6.根据权利要求1所述的文字词向量模型的训练方法，其特征在于，得到文字词向量模型之前，还包括：

将双向循环神经网络最高级神经网络层的前后向输出的训练结果进行拼接，得到目标训练结果；

当目标训练结果满足预设要求时，将由所述双向循环神经网络构成的神经网络模型作为文字词向量模型。

7.根据权利要求5或6所述的文字词向量模型的训练方法，其特征在于，

将所述字形编码和词汇编码输入双向循环神经网络进行模型训练的步骤，包括：

将训练文字对应的字形编码和词汇编码输入双向循环神经网络进行模型训练；其中，所述训练文字为从所述文本信息中选择的连续文字；

当目标训练结果满足预设要求时，将由所述双向循环神经网络构成的神经网络模型作为文字词向量模型的步骤，包括：

当目标训练结果包括与参考文字相一致的预测文字时，则判定目标训练结果满足预设要求，并将由所述双向循环神经网络构成的神经网络模型作为文字词向量模型；其中，所述参考文字为所述文本信息中与所述训练文字相邻且位于训练文字之后的文字。

8.根据权利要求1所述的文字词向量模型的训练方法，其特征在于，获取文字样本的文本信息之前，还包括：

获取中文文本，对所述中文文本进行数据清洗及分词处理，得到所述文字样本。

9.一种文字词向量模型的训练装置，其特征在于，包括：

获取模块，用于获取文字样本的文本信息；

拆分模块，用于基于五笔输入法将所述文本信息的文字拆分成字根，将五笔字根转化为数值序列的形式，并建立五笔字根中各字根与数值的关系词典，根据所述关系词典将所有字根转化为相应的数值，对所述字根的数值进行独热编码，得到字根编码；

生成模块，用于将所述字根编码输入循环神经网络生成字形编码；

编码模块，用于对所述文本信息的各个词语进行词汇独热编码，获取相应的词汇编码；

训练模块，用于将所述字形编码和词汇编码输入双向循环神经网络进行模型训练，得到文字词向量模型。