[发明专利]一种基于半监督学习的招标文本分类方法与系统

权利要求书

1.一种基于半监督学习的招标文本分类方法，其特征在于，包括以下步骤：

种子词库构建步骤，借助大规模语料库生成词嵌入向量和类别TFS-IDF值，基于所述词嵌入向量和类别TFS-IDF值获得领域种子词库；

无监督学习步骤，基于所述种子词库构建无监督分类模型，过滤掉负样本，并将疑似正样本输入到有监督模型中；

有监督学习步骤，对所述疑似正样本进行少量标注，训练文本卷积神经网络模型进行预测，得到最终文本分类标签；

其中，所述种子词库构建步骤具体包括：

指定几个与业务强相关的行业关键词作为初始类别种子词库，将所述初始类别种子词库输入到领域种子词库；

对大规模语料库中所有语料进行分词，对分词后的语料库进行预训练，得到具有上下文表征的词嵌入向量；

使用所述词嵌入向量对初始类别种子词库计算出前10个最相似的关键词放入备选词库；

利用初始类别种子词库对大规模语料库计算类别TFS-IDF值，利用所述类别TFS-IDF值扩充所述备选词库；

对扩充后的备选词库进行筛选，将筛选结果输入到领域种子词库；

其中，所述利用初始类别种子词库对大规模语料库计算类别TFS-IDF值，包括：

使用初始种子词库对大规模语料库进行匹配筛选，将包含种子词的文本放入一个集合中作为正类别，将不包含种子词的文本放入另一集合中作为负类别；

计算正类别的类别TFS_IDF值，其中TFS代表词频分数，IDF代表逆文档频率；

所述计算正类别的类别TFS_IDF值的方法为：

其中，TFS(C_pos，ω)代表词ω在正类别中的词频指标，IDF(ω)代表词ω的逆文档频率；

所述对扩充后的备选词库进行筛选的方法为：

其中，FAC表示功能感知系数，TFS(C_neg，ω)代表负类别的类别TFS_IDF值，计算方法为

2.根据权利要求1所述的基于半监督学习的招标文本分类方法，其特征在于，所述几个为3个、4个或5个。

3.根据权利要求1所述的基于半监督学习的招标文本分类方法，其特征在于，对分词后的语料库进行预训练使用Word2vec模型。

4.根据权利要求1所述的基于半监督学习的招标文本分类方法，其特征在于，所述的TFS(C_pos，ω)方法为：

其中，C_pos表示正类别，tanh表示标准化处理，代表词ω在正类别中出现的次数；

所述IDF(ω)方法为：

其中，n代表语料库D中的文本总数，f_D，ω代表语料库D中包含词ω的文本数。

5.根据权利要求4所述的基于半监督学习的招标文本分类方法，其特征在于，利用所述类别TFS-IDF值扩充所述备选词库的方法为将所述类别TFS-IDF值最大的前100个词扩充到所述备选词库中。

6.根据权利要求1所述的基于半监督学习的招标文本分类方法，其特征在于，所述无监督学习步骤中过滤掉负样本的方法为：

其中，Seed(l_p)表示种子词库中代表正标签的关键词，Ip代表正标签，In代表负标签，match操作表示当词ω_i与正标签的种子词库中的任意一个关键词匹配时，返回True，否则返回False，any表示任意一个match返回True则整体返回True，否则返回False。

7.根据权利要求1至6任一所述的基于半监督学习的招标文本分类方法，其特征在于，所述有监督学习步骤中，使用3个卷积层，分别对应2-gram，3-gram，4-gram的n-gram信息，其中n代表当前单词依赖其前面的单词的个数，每一个卷积层后接了一个最大池化层，以选择包含信息最多的单词对，每一个池化层的输出都会被标准化以加快模型的训练速度。