[发明专利]一种基于变分自编码的文本分类方法

权利要求书

1.一种基于变分自编码的文本分类方法，其特征在于：首先，将非结构化的文本数据转化为结构化的向量表示，从而使得文本数据能够被计算机所处理；其次，对得到的文本向量，使用变分自编码器来对其进行降维；最后，通过十则交叉验证来对分类器进行训练，得到最后的分类精度。

2.根据权利要求1所述的一种基于变分自编码的文本分类方法，其特征在于：所述将非结构化的文本数据转化为结构化的向量表示具体为：采用词频-逆文本频率TF-IDF将非结构化的文本数据转化为结构化的向量表示。

3.根据权利要求2所述的一种基于变分自编码的文本分类方法，其特征在于：所述将非结构化的文本数据转化为结构化的向量表示具体包括以下步骤：

步骤S11：在一个给定的文件中，计算词频TF；

步骤S12：计算反文档频率IDF；

步骤S13：采用下式计算词语i在文档j中的TF-IDF值：

(TF-IDF)_i,j＝TF_i,j×IDF_i；

式中，TF_i,j表示词i在文档j中的出现频率，IDF_i,j表示词语i的反文档频率。

4.根据权利要求1所述的一种基于变分自编码的文本分类方法，其特征在于：所述对得到的文本向量，使用变分自编码器来对其进行降维具体为：引入变分自编码器，将所有得到的文本向量输入到变分自编码器网络中进行训练，训练得到编码器网络后，再将文本向量输入到编码器网络中得到隐藏层的输出，并将其作为降维后的文本特征。

5.根据权利要求1所述的一种基于变分自编码的文本分类方法，其特征在于：所述通分类器采用K近邻算法。

6.根据权利要求1所述的一种基于变分自编码的文本分类方法，其特征在于：所述通过十则交叉验证来对分类器进行训练，得到最后的分类精度具体为：将数据均分成10份，每次选取数据中的1份作为测试集，其余9份作为训练集，如此循环10次取平均值得到最后的分类精度。

7.根据权利要求6所述的一种基于变分自编码的文本分类方法，其特征在于：采用下式计算所述分类精度ACC：

式中，P为正样本数量；N为负样本数量；TP为正确分类为正样本数量；TN为正确分类负样本数量；在多分类问题中，P+N表示为测试集样本总数，TP+TN表示为最后被正确分类的测试集样本总数。