[发明专利]文本处理方法、装置、设备及计算机可读存储介质

权利要求书

1.一种文本处理方法，其特征在于，包括：

获取待处理文本和所述待处理文本的至少两种结构信息；

将所述待处理文本和所述待处理文本的至少两种结构信息输入文本处理模型中，得到所述待处理文本的表征向量；其中，所述文本处理模型是以文本样本和所述文本样本的至少两种结构信息为输入、以所述文本样本的表征向量为输出，基于文本损失函数训练得到的模型，所述文本损失函数由所述文本样本的第一损失函数和所述至少两种结构信息分别对应的第二损失函数组成；

所述获取待处理文本和所述待处理文本的至少两种结构信息之前，所述方法还包括：

获取所述文本样本；

对所述文本样本进行分词处理，根据分词结果获取所述文本样本的至少两种结构信息；

基于所述文本损失函数，根据所述文本样本和所述文本样本的至少两种结构信息对初始文本处理模型进行训练，得到所述文本处理模型；

所述基于所述文本损失函数，根据所述文本样本和所述文本样本的至少两种结构信息对初始文本处理模型进行训练，得到所述文本处理模型，包括：

通过所述初始文本处理模型，根据所述文本样本生成字嵌入向量，并根据所述字嵌入向量通过自注意力机制得到字信息表征向量；

根据所述文本样本的至少两种结构信息分别生成每种结构信息对应的结构嵌入向量，并根据至少两个所述结构嵌入向量分别通过自注意力机制得到对应的结构信息表征向量；

根据所述字信息表征向量和至少两个结构信息表征向量得到所述文本样本的表征向量；

根据所述字信息表征向量、所述至少两个结构信息表征向量、所述第一损失函数和所述第二损失函数确定训练损失；

根据所述训练损失对所述初始文本处理模型的参数进行调节，得到所述文本处理模型。

2.根据权利要求1所述的方法，其特征在于，所述至少两种结构信息包括下列中的至少两种：词性结构信息、语法结构信息、命名实体结构信息或语义结构信息。

3.根据权利要求1所述的方法，其特征在于，其中，Loss表示所述文本损失函数，Loss_Font表示所述第一损失函数，表示第i种结构信息S_i对应的第二损失函数，λ_i表示第i种结构信息S_i对应的超参数，n表示结构信息的个数。

4.根据权利要求1所述的方法，其特征在于，所述根据所述字信息表征向量、所述至少两个结构信息表征向量、所述第一损失函数和所述第二损失函数确定训练损失，包括：

根据所述字信息表征向量和所述第一损失函数确定字训练损失；

根据所述至少两个结构信息表征向量和分别对应的第二损失函数确定对应的结构训练损失；

根据所述字训练损失和至少两个结构训练损失确定所述训练损失。

5.根据权利要求1所述的方法，其特征在于，所述根据所述字信息表征向量和至少两个结构信息表征向量得到所述文本样本的表征向量，包括：

将所述至少两个结构信息表征向量进行拼接得到第一向量；

对所述第一向量进行维度转换得到第二向量，所述第二向量的维度与所述字信息表征向量的维度相同；

将所述字信息表征向量与所述第二向量进行拼接得到第三向量；

对所述第三向量进行维度转换得到所述文本样本的表征向量，所述文本样本的表征向量的维度与所述字信息表征向量的维度相同。

6.一种文本处理装置，其特征在于，用于实现如权利要求1至5任一项所述的文本处理方法，所述文本处理装置包括：

信息获取模块，用于获取待处理文本和所述待处理文本的至少两种结构信息；

文本处理模块，用于将所述待处理文本和所述待处理文本的至少两种结构信息输入文本处理模型中，得到所述待处理文本的表征向量；其中，所述文本处理模型是以文本样本和所述文本样本的至少两种结构信息为输入、以所述文本样本的表征向量为输出，基于文本损失函数训练得到的模型，所述文本损失函数由所述文本样本的第一损失函数和所述至少两种结构信息分别对应的第二损失函数组成。