[发明专利]特征融合模型的训练、文本处理方法及装置

权利要求书

1.一种特征融合模型的训练方法，其特征在于，包括：

获取第一样本文本中的第一样本字符在N个维度的特征信息，得到N个特征信息，所述N个特征信息与所述N个维度一一对应，所述N为大于1的整数；

分别对所述N个特征信息进行嵌入处理，得到N个嵌入向量，每个嵌入向量用于表示所述第一样本字符在对应维度的嵌入向量；

基于所述N个嵌入向量的输入顺序，依次将所述N个嵌入向量输入特征融合模型中对应的融合网络，输出所述第一样本字符的M个表示向量，所述M为大于1的正整数；其中，所述特征融合模型包括M级融合网络，所述M级融合网络与所述M个表示向量一一对应，所述M级融合网络与所述N个嵌入向量之间具有对应关系，所述对应关系为基于所述N个维度对应的预设融合顺序确定的，所述预设融合顺序为对所述第一样本字符表征的实体的认知顺序，所述N个嵌入向量的输入顺序为基于所述对应关系和所述M级融合网络之间的连接顺序确定的，若融合网络为第一级融合网络，则对所述融合网络对应的嵌入向量进行拼接处理，以及将拼接处理得到的拼接向量输入至所述融合网络，所述融合网络用于根据输入的拼接向量，对自身对应的嵌入向量进行融合处理得到对应的表示向量；若融合网络不为第一级融合网络，对所述融合网络对应的嵌入向量和上一级融合网络对应的表示向量进行拼接处理，以及将拼接处理得到的拼接向量输入至所述融合网络，所述融合网络用于根据输入的拼接向量，对自身对应的嵌入向量和上一级融合网络对应的表示向量进行融合处理得到对应的表示向量；

基于各级融合网络对应的表示向量和输入至各级融合网络的嵌入向量，更新各级融合网络的网络参数。

2.根据权利要求1所述的方法，其特征在于，所述基于各级融合网络对应的表示向量和输入至各级融合网络的嵌入向量，更新各级融合网络的网络参数，包括：

基于所述M级融合网络中最后一级融合网络对应的表示向量，确定各级融合网络的融合处理损失值；

基于各级融合网络的融合处理损失值、输入至各级融合网络的嵌入向量以及各级融合网络的上一级融合网络对应的表示向量，更新各级融合网络的网络参数。

3.根据权利要求2所述的方法，其特征在于，所述基于所述M级融合网络中最后一级融合网络对应的表示向量，确定各级融合网络的融合处理损失值，包括：

基于所述M级融合网络中最后一级融合网络对应的表示向量，对所述第一样本文本进行文本处理，得到处理结果；

基于所述处理结果和所述第一样本文本对应的期望处理结果，确定处理损失值；

基于所述处理损失值确定各级融合网络的融合处理损失值。

4.根据权利要求3所述的方法，其特征在于，对于每级融合网络，确定融合网络的融合处理损失值的具体实现方式有：

若所述融合网络为最后一级融合网络，则基于所述处理损失值确定所述融合网络的融合处理损失值；

若所述融合网络不为最后一级融合网络，则基于后一级融合网络的融合处理损失值及所述后一级融合网络的网络参数，确定所述融合网络的融合处理损失值。

5.根据权利要求1所述的方法，其特征在于，所述分别对所述N个特征信息进行嵌入处理，得到所述N个嵌入向量，包括：

分别将所述N个特征信息输入N个嵌入模型，得到所述N个嵌入向量，所述N个嵌入模型与所述N个维度一一对应，所述嵌入模型是以对应维度的样本特征信息作为训练样本进行训练得到的，每个维度的样本特征信息为第二样本文本中的第二样本字符在对应维度的特征信息。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述N个特征信息包括以下至少两项：字符表征的实体的图像特征、字符的发音特征、字符的字形特征、字符的语义特征。

7.根据权利要求6所述的方法，其特征在于，所述N个维度对应的预设融合顺序依次为：字符表征的实体的图像特征对应的维度、字符的发音特征对应的维度、字符的字形特征对应的维度、字符的语义特征对应的维度。