[发明专利]跨领域的文本分类模型的训练方法、分类方法以及装置

说明书

本申请实施例公开了一种跨领域的文本分类模型的训练方法、分类方法以及装置，可适用于人工智能以及大数据等领域。该方法包括：获取训练数据；确定各第二文本样本对应的初始类别标签；根据各第一文本样本的样本类别和预测类别，确定分类损失值；根据文本样本确定类内差异损失值和类间差异损失值；根据分类损失值、类内差异损失值以及类间差异损失值，确定总损失值；根据总损失值对模型进行迭代训练，直至总损失值符合训练结束条件时，将训练结束时的模型确定为跨领域的文本分类模型。采用本申请实施例，可提升跨领域的文本分类的准确性，适用性高。

技术领域

本申请涉及人工智能领域，尤其涉及跨领域的文本分类模型的训练方法、分类方法以及装置。

背景技术

随着人工智能的不断发展，在很多场景下都涉及到文本分类。如对于对用户输入的文本语句进行情感分类，基于文本类型对文本归类等。随着机器学习的发展，通过训练分类模型可使机器准确对文本进行分类，极大提升了信息处理效率。

目前的分类模型大多数只针对一个领域内的文本进行分类，部分分类模型虽然可实现跨领域的文本分类，但是由于在训练过程中不同类别之间的决策边界并不明显，因而导致了跨领域的文本分类的准确度有限。

因此，如何提升跨领域的文本分类的准确性成为亟需解决的问题。

发明内容

本申请实施例提供一种跨领域的文本分类模型的训练方法、分类方法以及装置，可提升跨领域的文本分类的准确性，适用性高。

第一方面，本申请实施例提供一种跨领域的文本分类模型的训练方法，该方法包括：

获取训练数据，所述训练数据包括第一训练集和第二训练集，其中，所述第一训练集中的各第一文本样本标注有样本标签，所述样本标签表征了所述第一文本样本的样本类别，所述第一训练集和所述第二训练集为不同领域的训练集；

确定所述第二训练集中的各第二文本样本对应的初始类别标签；

将所述训练数据输入至初始文本分类模型中，得到各文本样本的预测类别，根据各所述第一文本样本的样本类别和预测类别，确定分类损失值；

根据同一领域同类别的文本样本、以及不同领域同类别的文本样本，确定类内差异损失值，根据同一领域不同类别的文本样本、以及不同领域不同类别的文本样本，确定类间差异损失值；

根据所述分类损失值、所述类内差异损失值以及所述类间差异损失值，确定总损失值；

根据所述总损失值对模型进行迭代训练，直至所述总损失值符合训练结束条件时，将训练结束时的模型确定为跨领域的文本分类模型；

其中，对于每次训练，若所述总损失值不满足所述训练结束条件，则根据各所述第二文本样本、以及各所述第二文本样本对应的预测类别，更新各所述第二文本样本对应的类别标签得到新的类别标签，以用于下一次训练。

第二方面，本申请实施例提供了一种分类方法，该方法包括：

获取待处理文本，上述待处理文本为属于第一领域的文本，或者为属于第二领域的文本；

将上述待处理文本输入至跨领域的文本分类模型中，根据上述跨领域的文本分类模型的输出确定上述待处理文本的分类类别；

其中，上述跨领域的文本分类模型是基于上述第一领域的第一训练集和上述第二领域的第二训练集，通过第一方面所示的跨领域的文本分类模型的训练方法训练得到的。

第三方面，本申请实施例提供了一种跨领域的文本分类模型的训练装置，该训练装置包括：

数据获取模块，用于获取训练数据，所述训练数据包括第一训练集和第二训练集，其中，所述第一训练集中的各第一文本样本标注有样本标签，所述样本标签表征了所述第一文本样本的样本类别，所述第一训练集和所述第二训练集为不同领域的训练集；