[发明专利]一种利用多样化文本特征进行文本分类的方法

说明书

本发明公开了一种利用多样化文本特征进行文本分类的方法，包括以下步骤：使用多维度文本表示算法，生成多组不同的文本特征表示，即纵向生成多维度文本特征表示；使用多种不同的文本表示算法，生成多组不同的文本特征表示，即横向生成多维度文本特征表示；将每个样本不同的特征表示向量进行组合，作为样本新的特征向量，进而得到数据集新的特征表示。将本发明对现有的文本表示算法进行了改进，提出了利用更多的维度较低且差异较大的文本表示来挖掘文本不同的内部结构，增强文本表示的能力，可以在极大程度上降低文本特征维度的同时，提升文本分类等任务的效果。

技术领域

本发明属于文本表示领域，尤其涉及一种利用多样化文本特征进行文本分类的方法。

背景技术

近年来，随着计算机技术与互联网的迅猛发展，人类进入信息时代，海量的数据，尤其是各类文本数据，蕴含着重要的信息与巨大的价值。对这些文本数据进行合理的整理归纳，有利于更好的利用这些大规模的文本数据。文本分类则是一种非常有效的方法。

文本分类一直是机器学习与人工智能领域一个非常重要的基础研究方向，同时也在产业界中有着广泛的应用。文本分类的效果在极大程度上取决于文本特征表示的质量。人类可以阅读的纯文本，对于机器学习算法而言是无法直接识别并利用的，需要转换成算法可以识别的实数向量或矩阵的形式。文本特征表示就是将纯文本转换成实数向量或矩阵的过程，即将语言进行数字化转换。文本特征表示主要分为两大类：一类是词级别的文本特征表示，即将词表示成词向量的形式，进而应用于文本分类等任务。该方法一般认为可以获取到词的语义信息，通过将词的语义信息添加到文本分类中来提升文本分类的效果；另一类是文档级别的文本特征表示，即将每个样本表示成固定长度的实数向量。相较于词级别的文本表示一般应用基于神经网络的分类，文档级别的文本表示应用更加广泛，既可以使用传统的基于统计的机器学习分类器，也可以应用神经网络分类器进行分类。

文本数据中普遍存在着多种内部结构。例如，一个由计算机领域论文构成的数据集，其中一种内部结构是论文涉及的研究方向，包括机器学习、数据结构、数据库等方向；另一种内部结构则是论文所涉及到的编程语言，包括Java、C++、Python等编程语言。使用单一的文本特征表示，无法很好的挖掘到数据集中的多种内部结构，并对这些内部结构进行特征表示。

在机器学习领域，多聚类算法是常见的用于挖掘数据多种内部结构的方法。多聚类算法生成多组差异较大、质量较好的聚类结果，以此来挖掘数据内部的多种结构。

如果能够将多聚类的思想应用到文本特征表示中，挖掘文本的多种内部结构，并强化每种内部结构的表示，则可以提高文本表示的质量，进而对文本分类等任务带来更有效的帮助。

发明内容

发明目的：本发明所解决的问题是针对现有技术的不足，提供一种能够挖掘文本多种内部结构，生成多样化的文本表示，以增强文本表示能力的方法。为了解决上述技术问题，本发明提供了如下技术方案：一种利用多样化文本特征进行文本分类的方法，进而提升文本分类等任务效果的方法。所述方法包含纵向多维度文本表示与横向多维度文本表示两种获取多样化文本特征表示的方法。所述方法包括如下步骤：

步骤1，纵向生成多维度文本特征表示：使用多维度文本表示算法，生成多组不同的文本特征表示，多维度文本表示算法可以为数据集中的每一个样本生成多个差异较大的特征向量；

步骤2，横向生成多维度文本特征表示：使用文本表示算法，生成多组不同的文本特征表示，文本表示算法包含且不仅限于多维度文本表示算法；

步骤3，将不同的文本特征表示进行组合，作为新的文本特征表示；

步骤4，通过新的文本特征表示对待分类样本进行分类。