[发明专利]文字词向量模型的训练方法、装置、终端及存储介质

说明书

本申请提供了一种文字词向量模型的训练方法、装置、终端及存储介质。所述文字词向量模型的训练方法包括：获取文字样本的文本信息；基于五笔输入法将文本信息的文字拆分成字根，将五笔字根转化为数值序列的形式，并建立五笔字根中各字根与数值的关系词典；根据关系词典将所有字根转化为相应的数值，对字根的数值进行独热编码，得到字根编码；将字根编码输入循环神经网络生成字形编码；对文本信息的各个词语进行词汇独热编码，获取相应的词汇编码；将字形编码和词汇编码输入双向循环神经网络进行模型训练，得到文字词向量模型。本申请利用字形编码和词汇编码训练双向循环神经网络，使文字词向量模型输出的词向量兼具字形信息及语境信息。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种文字词向量模型的训练方法、装置、终端及存储介质。

背景技术

在自然语言处理的发展进程中，分布式表示方法是一大里程碑式的词语表征技术，其以多维向量的形式表示某一词语，能够从多个维度出发表示词语间的相似性，更贴近词语在语言中的内涵。

虽然分布式表示方法相较于早期的文本表征方法有了突破性进步，但对未登录词或者多义词无法有效识别和区分，使训练得到的文字词向量模型难以兼具语义及语法的复杂特点。

发明内容

本申请提供一种文字词向量模型的训练方法、装置、终端及存储介质，以解决当前文字词向量模型难以兼具语义及语法的复杂特点的问题。

为解决上述问题，本申请采用如下技术方案：

本申请提供一种文字词向量模型的训练方法，包括如下步骤：

获取文字样本的文本信息；

基于五笔输入法将文本信息的文字拆分成字根，将五笔字根转化为数值序列的形式，并建立五笔字根中各字根与数值的关系词典，根据关系词典将所有字根转化为相应的数值，对字根的数值进行独热编码，得到字根编码；

将字根编码输入循环神经网络生成字形编码；

对文本信息的各个词语进行词汇独热编码，获取相应的词汇编码；

将字形编码和词汇编码输入双向循环神经网络进行模型训练，得到文字词向量模型。

在一实施例中，基于五笔输入法将文本信息的文字拆分成字根的步骤，包括：

基于五笔输入法及文字拆分顺序对文本信息的文字进行拆分，得到文字的字根。

在一实施例中，将字根编码输入循环神经网络生成字形编码的步骤，包括：

将各字根对应的字根编码分别输入循环神经网络相应的神经元中，输出得到字形编码。

在一实施例中，将字形编码和词汇编码输入双向循环神经网络进行模型训练的步骤，包括：

将字形编码和词汇编码进行拼接，得到输入编码；

将输入编码输入双向循环神经网络进行模型训练。

在一实施例中，得到文字词向量模型之前，还包括：

将双向循环神经网络各神经网络层的训练结果进行加权平均，得到目标训练结果；

当目标训练结果满足预设要求时，将由双向循环神经网络构成的神经网络模型作为文字词向量模型。

在一实施例中，得到文字词向量模型之前，还包括：

将双向循环神经网络最高级神经网络层的前后向输出的训练结果进行拼接，得到目标训练结果；

当目标训练结果满足预设要求时，将由双向循环神经网络构成的神经网络模型作为文字词向量模型。