[发明专利]义原预测方法及系统

权利要求书

1.一种用于义原预测的预训练模型的训练方法，包括：

将汉字树转换的至少包含字形成分的序列输入至预训练模型内的向量层，通过所述向量层确定的至少包含掩码字形成分单元的掩码后的向量；

将所述掩码后的向量输入至所述预训练模型内的神经网络；

基于预设的训练目标对所述神经网络进行训练。

2.根据权利要求1所述的方法，其中，所述汉字树包括：字形成分的叶子节点和字形结构类型的内部节点；

所述方法还包括：将所述汉字树转换的包含字形成分和字形结构的序列输入至预训练模型内的向量层，通过所述向量层确定的至少包含掩码字形结构类型单元、掩码字形成分单元的输入单元向量、区分字形结构类型的单元类型向量的掩码后的向量。

3.根据权利要求1所述的方法，其中，所述神经网络包括：掩码多头自注意力网络；

所述掩码后的向量还包括：字信息、位置向量以及分隔向量。

4.根据权利要求3所述的方法，其中，所述基于预设的训练目标对所述神经网络进行训练包括：

在所述训练中，各汉字树对应的字信息在所述掩码多头自注意力网络的训练中参数共享，直至所述掩码多头自注意力网络输出的预测结果趋近于掩码前的向量。

5.根据权利要求2所述的方法，其中，所述预设的训练目标包括预设的掩码语言模型；

所述汉字树转换的包含字形成分和字形结构的序列包括：

通过深度优先算法确定汉字树转换的包含字形成分和字形结构的序列。

6.一种义原预测方法，包括：

将预测词语输入至基于权利要求1训练的预训练模型，通过掩码多头自注意力网络得到字形增强的中文字向量表示；

基于多标签分类器预测所述中文字向量表示对应的义原。

7.一种用于义原预测的预训练模型的训练系统，包括：

向量确定程序模块，用于将汉字树转换的至少包含字形成分的序列输入至预训练模型内的向量层，通过所述向量层确定的至少包含掩码字形成分单元的掩码后的向量；

向量输入程序模块，用于将所述掩码后的向量输入至所述义原预测模型内的神经网络；

训练程序模块，用于基于预设的训练目标对所述神经网络进行训练。

8.一种义原预测系统，包括：

中文字向量表示确定程序模块，用于将预测词语输入至基于权利要求7训练的预训练模型，通过掩码多头自注意力网络得到字形增强的中文字向量表示；

义原预测程序模块，用于基于多标签分类器预测所述中文字向量表示对应的义原。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。