[发明专利]评估由文本分类模型预测的文本分类异常

权利要求书

1.一种方法，包括以下步骤：

响应于在预先训练的文本分类器上运行至少一个测试短语以及基于针对每个相应的至少一个测试短语计算的得分来标识单独的预测分类标记，由计算机系统将合计在所述得分中的多个提取特征分解为针对所述至少一个测试短语中的每个词的多个词级得分；

由所述计算机系统向所述多个词级得分中的每个词级得分分配单独的热图值，每个相应的单独的热图值反映所述多个词级得分中的每个词级得分的权重；以及

由所述计算机系统输出所述单独的预测分类标记和反映所述多个词级得分中的每个词级得分的所述权重的每个单独的热图值，以用于定义标识所述至少一个测试短语中的每个词对于所述单独的预测分类标记的贡献的热图。

2.根据权利要求1所述的方法，进一步包括以下步骤：

响应于运行所述至少一个测试短语，针对多个分类标记中的每个单独的预测分类标记，由所述计算机系统按词合计所述多个词级得分；

针对每个单独的预测分类标记，由所述计算机系统按照从最高按词合计的得分递减的顺序标识多个词中的首选词列表；以及

由所述计算机系统输出所述单独的预测分类标记、每个单独的热图值和针对每个相应的单独的预测分类标记的所述首选词列表。

3.根据权利要求1所述的方法，进一步包括以下步骤：

由所述计算机系统基于所述多个特征中的单独的提取特征的多个组合的加权和、以及在所述预先训练的文本分类器中固定的加权模型参数来计算针对所述单独的预测分类标记的得分。

4.根据权利要求1所述的方法，其中，由所述计算机系统将合计在所述得分中的多个提取特征分解为针对所述至少一个测试短语中的每个词的多个词级得分的步骤进一步包括以下步骤：

由所述计算机系统分解所述多个提取特征，所述多个提取特征包括以下中的一个或多个：基于一元语法的特征，基于术语的特征，词嵌入特征的平均池化，词嵌入特征的最大池化，以及字符级特征。

5.根据权利要求1所述的方法，进一步包括以下步骤：

由所述计算机系统启动文本分类器模型；

由所述计算机系统通过应用具有多个训练短语的训练集来训练所述文本分类器模型；

由所述计算机系统将所述文本分类器模型部署为所述预先训练的文本分类器以供客户端测试；以及

响应于从所述客户端接收到所述至少一个测试短语，由所述计算机系统在所述预先训练的文本分类器上运行所述至少一个测试短语。

6.根据权利要求1所述的方法，其中，由所述计算机系统输出所述单独的预测分类标记和反映所述多个词级得分中的每个词级得分的所述权重的每个单独的热图值以用于提供标识所述至少一个测试短语中的每个词对于所述单独的预测分类标记的贡献的热图的步骤进一步包括以下步骤：

由所述计算机系统向客户端输出所述单独的预测分类标记和反映所述多个词级得分中的每个词级得分的所述权重的每个单独的热图值，其中，所述客户端在用户界面中输出每个单独的热图值，以用于以图形的方式表示每个词级得分的所述权重，以标识所述至少一个测试短语中的每个词对于所述单独的预测分类标记的贡献。

7.根据权利要求1所述的方法，其中，由所述计算机系统输出所述单独的预测分类标记和反映所述多个词级得分中的每个词级得分的所述权重的每个单独的热图值以用于提供标识所述至少一个测试短语中的每个词对于所述单独的预测分类标记的贡献的热图的步骤进一步包括以下步骤：

由所述计算机系统向客户端输出所述单独的预测分类标记和反映所述多个词级得分中的每个词级得分的所述权重的每个单独的热图值，其中，所述客户端确定每个单独的预测分类标记是否与期望的分类标记相匹配以用于客户端评估文本分类异常。