[发明专利]文本分类模型构建方法以及文本数据处理方法

权利要求书

1.一种文本分类模型构建方法，所述方法包括：

获取携带产品条款词组标签的样本数据集，所述样本数据集包括多个样本数据；

对所述样本数据集中各样本数据进行分词，得到各样本数据对应的词语集合；

对所述词语集合进行新词筛选，得到各样本数据对应的新词，根据所述新词以及所述样本数据携带的产品条款词组标签，得到产品条款词组与新词之间的第一对应关系；

对所述样本数据进行拆分，得到所述样本数据对应的短句集合，将与产品条款词组对应的新词作为确定短句集合中各短句与产品条款词组之间的第二对应关系的依据，将所述短句集合作为输入，将与各所述样本数据对应的产品条款词组标签作为监督学习标签，对初始文本分类网络进行模型训练，得到文本分类模型，所述文本分类模型用于确定所述短句集合中各短句与产品条款词组之间的第二对应关系；

其中，所述初始文本分类网络中隐藏层用于对短句集合中各短句进行分词，得到与各短句对应的拆分词语集合，根据拆分词语集合构造与各短句对应的特征向量，将特征向量通过线性变换进行映射，根据映射结果输出短句集合中各短句对应于各产品条款词组的概率，选取概率最大的产品条款词组，作为与短句对应的产品条款词组。

2.根据权利要求1所述的方法，其特征在于，所述对所述词语集合进行新词筛选，得到各样本数据对应的新词包括：

遍历所述样本数据，对所述词语集合中各词语进行词频统计，得到所述样本数据中各词语的词频；

根据所述各词语的词频，计算所述样本数据中各词语之间的互信息；

根据互信息计算结果，从所述词语集合中筛选出所述样本数据对应的备选新词集合；

根据所述备选新词集合，得到所述样本数据对应的新词。

3.根据权利要求2所述的方法，其特征在于，所述根据所述备选新词集合，得到所述样本数据对应的新词包括：

根据所述备选新词集合中各备选新词在所述样本数据中的位置，计算各备选新词的左右熵；

根据各所述备选新词的左右熵以及预设统计量得分公式，计算各备选新词的统计量得分，并计算各所述备选新词的平均互信息；

根据所述统计量得分和所述平均互信息，对各所述备选新词进行排序，得到所述样本数据对应的新词。

4.根据权利要求3所述的方法，其特征在于，所述计算各所述备选新词的平均互信息包括：

计算各所述备选新词在所述样本数据集中出现的第一概率以及分别在各所述样本数据中出现的第二概率；

获取所述样本数据集的样本数量，根据所述样本数量、所述第一概率以及所述第二概率，计算各所述备选新词的平均互信息。

5.一种文本数据处理方法，所述方法包括：

获取待处理文本数据，对所述待处理文本数据进行拆分，得到所述待处理文本数据对应的文本短句集合；

将所述文本短句集合输入已训练的文本分类模型，得到所述文本短句集合中各文本短句与产品条款词组之间的类别对应关系，所述已训练的文本分类模型根据如权利要求1-4任意一项所述的方法构建；

根据所述类别对应关系，从所述待处理文本数据中筛选出与各产品条款词组对应的有效文本短句；

根据所述有效文本短句，得到有效产品条款信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述有效文本短句，得到有效产品条款信息包括：

根据所述有效文本短句对应的条款对应关系，确定所述有效文本短句对应的目标新词；

根据所述目标新词遍历所述有效文本短句，得到有效描述信息；

根据所述有效描述信息和所述有效文本短句对应的产品条款词组，得到有效产品条款信息。