[发明专利]一种建立短文本多层级分类模型的方法和系统

权利要求书

1.一种建立短文本多层级分类模型的方法，其特征在于，所述方法包括：

步骤101、获取第一层级标注数据集，其中，所述第一层级标注数据集是按照预先设置的第一层级类别标签对短文本数据集中的每个短文本进行标注后生成的数据集；

步骤102、将第一层级标注数据集输入初始第一层级分类模型进行模型训练，生成最优第一层级分类模型，其中，所述初始第一层级分类模型是公开的预训练模型Bert base后接初始第一层级全连接层，所述最优第一层级分类模型是最优第一层级预训练模型Bertbase后接最优第一层级全连接层，所述最优第一层级预训练模型Bert base是对公开的预训练模型Bert base进行微调得到的预训练模型Bert base，所述最优第一层级全连接层是对初始第一层级全连接层调整参数后得到的全连接层；

步骤103、获取第二层级标注数据集，其中，所述第二层级标注数据集是是按照预先设置的第二层级类别标签对短文本数据集中的每个短文本进行标注后生成的数据集；

步骤104、将第二层级标注数据集输入初始第二层级分类模型进行模型训练，生成最优第二层级分类模型，其中，所述初始第二层级分类模型是初始第二层级预训练模型Bertbase后接初始第二层级全连接层，所述初始第二层级预训练模型Bert base是将最优第一层级预训练模型Bert base的前N层的训练参数迁移到公开的预训练模型Bert base的前N层后得到的预训练模型Bert base，最优第二层级分类模型是最优第二预训练模型Bertbase后接最优第二全连接层，所述最优第二层级预训练模型Bert base是对初始第二层级预训练模型Bert base进行微调得到的预训练模型Bert base，所述最优第二层级全连接层是对初始第二层级全连接层调整参数后得到的全连接层，N为自然数；

步骤105、获取第i层级标注数据集，其中，所述第i层级标注数据集是按照预先设置的第i层级类别标签对短文本数据集中的每个短文本进行标注后生成的数据集，其中，3≤i≤I，i的初始值为3，I为自然数；

步骤106、将第i层级标注数据集输入初始第i层级分类模型进行模型训练，生成最优第i层级分类模型，其中，所述初始第i层级分类模型是初始第i层级预训练模型Bert base后接初始第i层级全连接层，所述初始第i层级预训练模型Bert base是将最优第i-1层级预训练模型Bert base的前N层的训练参数迁移到初始第i层级预训练模型Bert base的前N层后得到的预训练模型Bert base，最优第i层级分类模型是最优第i层级预训练模型Bert base后接最优第i层级全连接层，所述最优第i层级预训练模型Bert base是对初始第i层级预训练模型Bert base进行微调得到的预训练模型Bert base，所述最优第i层级层级全连接层是对初始第i层级全连接层调整参数后得到的全连接层；

步骤107、令i＝i+1，当i≤I时，返回步骤105，当iI时，转至步骤108；

步骤108、将最优第一层级分类模型至最优第I层级分类模型按照从第一层级至第I层级的顺序组合生成的模型作为短文本多层级分类模型。

2.根据权利要求1所述的方法，其特征在于，在获取第一层级标注数据集之前还包括：

设置J个层级的短文本类别标签，分别生成第一层级类别标签至第J级类别标签，其中，第j层级类别标签的分类层级高于第j+1层级类别标签，1≤j≤J，且J等于I；

采集多个短文本生成短文本数据集；

按照设置的第一层级类别标签至第J层级类别标签，分别对短文本数据集中的每个短文本进行标注，对应生成第一层级标注数据集至第J层级标注数据集。

3.根据权利要求1所述的方法，其特征在于，所述方法采用的公开的预训练模型Bertbase的网络层数L＝12，隐含层节点数H＝768，self-attention head数量A＝12。

4.根据权利要求3所述的方法，其特征在于，所述初始第二层级预训练模型Bert base是将最优第一层级预训练模型Bert base的前N层的训练参数迁移到公开的预训练模型Bert base的前N层后得到的预训练模型Bert base，其中，N值为6。