[发明专利]一种文本分类外分布样本检测方法、装置、介质及设备

说明书

本申请公开了一种文本分类外分布样本检测方法、装置、介质及设备，属于文本编辑领域。该方法主要包括，依次利用包含多个文本类别的训练数据总集中缺少其中一个文本类别的类别缺省训练数据集，对文本分类模型进行训练，得到与每一个文本类别对应的多个外分布样本测试子模型；以及，利用每一个外分布样本测试子模型对新输入文本进行测试，并根据每个测试结果判断新输入文本是否为外分布样本。本申请能够利用类别缺省训练数据对文本分类模型进行训练，并利用训练后的模型对当前输入进行检测，若模型没有足够的自信对它做出正确的判断，就将其判断为外分布样本，从而避免对是外分布样本的当前输入做出错误的分类预测。

技术领域

本申请涉及文本编辑领域，特别涉及一种文本分类外分布样本检测方法、装置、介质及设备。

背景技术

文本分类就是给定一个输入的句子，模型需要判断它的分类是什么。外分布样本就是，所输入的句子和模型在训练时所用的数据在数据分布上不一致。即所输入的语句不属于训练模型的数据所包括的类别。例如，训练文本分类模型用的数据都是类别“社会”和“体育”，然而在测试的时候也还有“政治”这一类别，即训练时模型未曾见过“政治”类别的数据，对于模型来说“政治”类别的数据就是外分布样本。现有技术在面对外分布样本时无法得出正确的预测结果。

发明内容

针对现有技术存在的问题，本申请主要提供一种文本分类外分布样本检测方法、装置、介质及设备，通过类别缺省训练数据集训练文本分类模型，并利用训练后的模型对当前输入进行检测判断得到外分布样本，能够避免对当前输入做出错误的分类预测。

为了实现上述目的，本申请采用的一个技术方案是：提供一种文本分类外分布样本检测方法，其包括：

依次利用包含多个文本类别的训练数据总集中缺少其中一个文本类别的类别缺省训练数据集，对文本分类模型进行训练，得到与每一个文本类别对应的多个外分布样本测试子模型；以及，利用每一个外分布样本测试子模型对新输入文本进行测试，并根据每个测试结果判断新输入文本是否为外分布样本。

本申请采用的另一个技术方案是：提供一种文本分类外分布样本检测装置，其包括：

模型训练模块，用于依次利用包含多个文本类别的训练数据总集中缺少其中一个文本类别的类别缺省训练数据集，对文本分类模型进行训练，得到与每一个文本类别对应的多个外分布样本测试子模型；以及，新文本测试模块，用于利用每一个外分布样本测试子模型对新输入文本进行测试，并根据每个测试结果判断新输入文本是否为外分布样本。

本申请采用的另一个技术方案是：一种计算机可读存储介质，其存储有计算机指令，其特征在于，计算机指令被操作以执行上述方案中的文本分类外分布样本检测方法。

本申请采用的另一个技术方案是：一种计算机设备，其包括处理器和存储器，存储器存储有计算机指令，该计算机指令被操作以执行上述方案中的文本分类外分布样本检测方法。

本申请的技术方案可以达到的有益效果是：本申请设计了一种文本分类外分布样本检测方法、装置、介质及设备。该方法利用类别缺省训练数据对文本分类模型进行训练，并利用训练后的模型对当前输入进行检测，若模型没有足够的自信对它做出正确的判断，就将其判断为外分布样本，从而避免当前输入是外分布样本情况下做出错误的分类预测。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一种文本分类外分布样本检测方法的一个具体实施方式的流程示意图；

图2是本申请一种文本分类外分布样本检测方法的一个具体实施例中训练文本分类模型的流程示意图；