[发明专利]文本表征方法、装置及计算机设备

权利要求书

1.一种文本表征方法，其特征在于，所述方法包括：

接收输入的句子文本；

对所述句子文本进行分词操作，获得第一词向量矩阵和第一字向量矩阵；

将所述第一词向量矩阵和所述第一字向量矩阵通过注意力机制动态结合，获得词信息背景矩阵和字信息背景矩阵；

将所述第一词向量矩阵与所述词信息背景矩阵进行矩阵拼接，获得第二词向量矩阵，将所述第一字向量矩阵与所述字信息背景矩阵进行矩阵拼接，获得第二字向量矩阵；

将所述第二词向量矩阵和所述第二字向量矩阵进行深层编码，获得词矩阵层和字矩阵层；

将所述词矩阵层和所述字矩阵层进行矩阵拼接，获得所述句子文本的完整编码层，作为所述句子文本对应的表征结果。

2.根据权利要求1所述的文本表征方法，其特征在于，所述对所述句子文本进行分词操作，获得第一词向量矩阵和第一字向量矩阵的步骤，包括：

将所述句子文本通过分词器以词为单位进行分词，获得所述句子文本的词集合，利用中文预训练所述词集合，获得所述第一词向量矩阵；

将所述句子文本通过分词器以字为单位进行分词，获得所述句子文本的字集合，随机初始化所述字集合，获得所述第一字向量矩阵。

3.根据权利要求1所述的文本表征方法，其特征在于，所述将所述第一词向量矩阵和所述第一字向量矩阵通过注意力机制动态结合，获得词信息背景矩阵和字信息背景矩阵的步骤，包括：

以所述第一字向量矩阵为key向量和value向量，所述第一词向量矩阵为query向量，利用注意力机制通过预设公式进行计算，获得所述词信息背景矩阵，所述词信息背景矩阵以字信息为背景元素；

以所述第一词向量矩阵为key向量和value向量，所述第一字向量矩阵为query向量，利用注意力机制通过预设公式进行计算，获得所述字信息背景矩阵，所述字信息背景矩阵以词信息为背景元素；

其中，所述预设公式为：

Q表示query向量，K表示key向量，V表示value向量，d_k表示所述key向量的维度。

4.根据权利要求1所述的文本表征方法，其特征在于，所述将所述第二词向量矩阵和所述第二字向量矩阵进行深层编码，获得词矩阵层和字矩阵层的步骤，包括：

将所述第二词向量矩阵和所述第二字向量矩阵通向双向长短记忆神经网络层进行深层编码，得到所述词矩阵层和所述字矩阵层。

5.根据权利要求1所述的文本表征方法，其特征在于，所述将所述词矩阵层和所述字矩阵层进行矩阵拼接，获得所述句子文本的完整编码层，作为所述句子文本对应的表征结果的步骤之后，包括：

通过Softmax对所述完整编码层进行归一化处理，获得所述句子文本的离散概率向量和模型预测类别；

根据所述句子文本的离散概率向量构建文本分类任务。

6.根据权利要求5所述的文本表征方法，其特征在于，所述通过Softmax对所述完整编码层进行归一化处理，获得所述句子文本的离散概率向量和模型预测类别的步骤之后，所述方法还包括：

将所述模型预测类别与真实类别进行对比，计算交叉熵损失函数以及所述交叉熵损失函数关于模型变量的导数值；

将所述导数值输入优化器，所述优化器更新模型参数以使所述交叉熵损失函数最小化；

其中，所述交叉熵损失函数为：

у表示所述真实类别中的真实概率分布，表示所述模型预测类别中的预测概率分布，n表示所述文本分类任务的类别个数。