[发明专利]一种文本分类外分布样本检测方法、装置、介质及设备

权利要求书

1.一种文本分类外分布样本检测方法，其特征在于，包括，

依次利用包含多个文本类别的训练数据总集中缺少其中一个所述文本类别的类别缺省训练数据集，对文本分类模型进行训练，得到与每一个所述文本类别对应的多个外分布样本测试子模型；以及，

利用每一个所述外分布样本测试子模型对新输入文本进行测试，并根据每个测试结果判断所述新输入文本是否为外分布样本。

2.根据权利要求1所述的文本分类外分布样本检测方法，其特征在于，所述依次利用包含多个文本类别的训练数据总集中缺少其中一个所述文本类别的类别缺省训练数据集，对文本分类模型进行训练的过程包括，

使每个所述外分布样本测试子模型，预测相应所述类别缺省训练数据集中所缺少的一个所述文本类别，为所述类别缺省训练数据集中的每一个类别的概率趋于均匀分布。

3.根据权利要求1或2所述的文本分类外分布样本检测方法，其特征在于，所述依次利用包含多个文本类别的训练数据总集中缺少其中一个所述文本类别的类别缺省训练数据集，对文本分类模型进行训练的过程包括，

利用所述类别缺省训练数据集使用交叉熵损失函数对所述文本分类模型进行训练。

4.根据权利要求1或2所述的文本分类外分布样本检测方法，其特征在于，所述根据每个测试结果判断所述新输入文本是否为外分布样本的过程包括，

根据每个所述测试结果的平均值对所述新输入文本是否为外分布样本进行判断。

5.根据权利要求4所述的文本分类外分布样本检测方法，其特征在于，所述根据每个所述测试结果的平均值对所述新输入文本是否为外分布样本进行判断的过程包括，

根据每个所述测试结果的平均值得到最终概率分布，若所述最终概率分布的熵大于预设的概率分布熵阈值，那么就将所述新输入文本确定为外分布样本。

6.一种文本分类外分布样本检测装置，其特征在于，包括，

模型训练模块，用于依次利用包含多个文本类别的训练数据总集中缺少其中一个所述文本类别的类别缺省训练数据集，对文本分类模型进行训练，得到与每一个所述文本类别对应的多个外分布样本测试子模型；以及，

新文本测试模块，用于利用每一个所述外分布样本测试子模型对新输入文本进行测试，并根据每个测试结果判断所述新输入文本是否为外分布样本。

7.根据权利要求6所述的文本分类外分布样本检测装置，其特征在于，

所述模型训练模块包括不确定训练子模块以及常规训练子模块；

所述不确定训练子模块，用于使每个所述外分布样本测试子模型，预测相应所述类别缺省训练数据集中所缺少的一个所述文本类别，为所述类别缺省训练数据集中的每一个类别的概率趋于均匀分布；

所述常规训练子模块，用于利用所述类别缺省训练数据集使用交叉熵损失函数对所述文本分类模型进行训练。

8.根据权利要求6或7所述的文本分类外分布样本检测装置，其特征在于，

所述测试模块包括结果集成子模块，用于获取每个所述测试结果的平均值，并根据所述平均值对所述新输入文本是否为外分布样本进行判断。

9.一种计算机可读存储介质，其存储有计算机指令，其特征在于，所述计算机指令被操作以执行权利要求1-5中任一项所述的文本分类外分布样本检测方法。

10.一种计算机设备，其包括处理器和存储器，所述存储器存储有计算机指令，其中所述处理器操作所述计算机指令以执行权利要求1-5中任一项所述的文本分类外分布样本检测方法。