[发明专利]一种文本情感分类方法和装置、计算机可读存储介质

权利要求书

1.一种文本情感分类方法，其特征在于，包括：

通过预训练语言模型获取文本的句子上下文，所述预训练语言模型用于预测所述文本中随机掩盖的一个或多个字；

随机初始化a*n的角度嵌入矩阵，a为角度个数，n为词嵌入维度数，将初始化的角度嵌入矩阵和所述句子上下文进行注意力函数计算，得到修正的角度嵌入矩阵；

根据修正的角度嵌入矩阵进行分类判别，得到文本各个角度的情感；

所述预训练语言模型包括嵌入层、特征抽取层和预测层，其中：所述嵌入层用于，将文本中每个词映射为词向量，并为每个词向量嵌入位置向量，将词向量和位置向量累加后输出至所述特征抽取层；所述特征抽取层用于，接收嵌入层的输出结果，提取文本的高维特征，并输出句子上下文至所述预测层；所述预测层用于，根据接收的句子上下文，对掩盖位置的字进行预测；

所述嵌入层包括前向嵌入层和后向嵌入层，所述特征抽取层包括前向特征抽取层和后向特征抽取层，其中：所述前向嵌入层用于，将掩盖位置左侧的文本中每个词映射为词向量，并为每个词向量嵌入位置向量，将词向量和位置向量累加后输出至所述前向特征抽取层；所述前向特征抽取层用于，接收前向嵌入层的输出结果，提取掩盖位置左侧的文本的高维特征，并输出掩盖位置左侧的句子上下文至所述预测层；所述后向嵌入层用于，将掩盖位置右侧的文本中每个词映射为词向量，并为每个词向量嵌入位置向量，将词向量和位置向量累加后输出至所述后向特征抽取层；所述后向特征抽取层用于，接收后向嵌入层的输出结果，提取掩盖位置右侧的文本的高维特征，并输出掩盖位置右侧的句子上下文至所述预测层；所述预测层具体用于，将所述前向特征抽取层和所述后向特征抽取层输出的句子上下文进行叠加，并根据叠加结果对掩盖位置的字进行预测。

2.根据权利要求1所述的文本情感分类方法，其特征在于，所述将初始化的角度嵌入矩阵和所述句子上下文进行注意力函数计算，包括：

其中，Attention()为注意力函数，s为一个句子，softmax()为归一化指数函数，Q为所述角度嵌入矩阵，K为所述句子上下文，n为所述词嵌入维度数。

3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至权利要求2中任一项所述的文本情感分类方法的步骤。

4.一种文本情感分类装置，其特征在于，包括处理器及存储器，其中：所述处理器用于执行存储器中存储的程序，以实现如权利要求1至权利要求2中任一项所述的文本情感分类方法的步骤。