[发明专利]一种文本分类方法及装置

说明书

本发明实施例提供了一种文本分类方法及装置，应用于计算机技术领域，所述方法包括：通过文本表示将待分类文本映射为向量空间模型VSM中的第一文本向量。根据预先建立的语义平滑矩阵将所述第一文本向量映射为高维空间中的第一映射向量，其中，所述语义平滑矩阵是通过对统计相似度矩阵和词语相似度矩阵进行计算得到。对所述第一映射向量进行分类，得到所述待分类文本的文本分类结果。本发明实施例通过将基于世界知识的词语相似度和基于统计的词语相似度应用于文本分类，提高了文本分类的准确性。

技术领域

本发明涉及计算机技术领域，特别是涉及一种文本分类方法及装置。

背景技术

随着互联网技术的飞速发展，网络、数据库、电子邮件等海量信息资源以文本的形式存在，文本分类已经成为处理互联网海量信息资源的关键技术，可以用于搜索引擎、情感分析和用户画像等领域。参见图1，图1为相关技术中的文本分类方法的流程图，包括：文本预处理、文本表示、训练分类器和分类器性能评价等阶段。首先，对文本进行预处理，文本预处理指的是对文本进行分词并且去除对分类性能提高没有贡献的停用词。其次，对分词结果进行文本表示，即，将非结构化的文本信息映射为VSM(Vector Space Model，向量空间模型)中的一个向量。然后，根据机器学习算法设计分类器，通过训练集(已知文本类型的训练文本的集合)对分类器进行训练。最后，通过测试集(已知文本类型的测试文本的集合)对分类器进行测试，得到分类器性能的评价。在分类器性能达到预期目标之后，通过将待分类文本输入该分类器，即可得到待分类文本的文本类型。

提高文本分类准确率的关键(提高分类器性能的关键)是解决文本中出现的同义词和一词多义的问题，解决这两个问题更有利于计算机理解文本内容，从而对文本进行正确的分类。通常，将语料库中的词语统计信息引入分类器，即基于统计的词语相似度。其中，基于统计的词语相似度的计算，可以采用基于类别的权重计算方式、基于高阶路径的权重计算方式和基于平均值计算的权重计算方式等多种方法。在得到基于统计的词语相似度之后，将基于统计的词语相似度嵌入核函数，核函数将高维空间中的两个点的内积运算替换为两个简单函数的求值，解决了高维空间中内积运算复杂的问题，可以解决非线性分类问题，从而达到文本分类的目的。

虽然基于统计的文本分类方法比较客观，综合反映了词语在句法、语义、语用等方面的相似性和差异。但是，该方法比较依赖于训练所用的语料库，计算量大，计算方法复杂，而且资料稀疏和资料噪声的干扰较大。因此，如果语料库不准确，相应的，通过该方法得到的文本分类的准确性会比较低。

发明内容

本发明实施例的目的在于提供一种文本分类方法及装置，以提高文本分类的准确性。具体技术方案如下：

本发明实施例公开了一种文本分类方法，包括：

通过文本表示将待分类文本映射为向量空间模型VSM中的第一文本向量；

根据预先建立的语义平滑矩阵将所述第一文本向量映射为高维空间中的第一映射向量，其中，所述语义平滑矩阵是通过对统计相似度矩阵和词语相似度矩阵进行计算得到；

对所述第一映射向量进行分类，得到所述待分类文本的文本分类结果。

可选的，在所述通过文本表示将待分类文本映射为向量空间模型VSM中的第一文本向量之前，所述方法还包括：

通过文本表示将训练文本映射为VSM中的第二文本向量；

根据核矩阵公式，计算所述第二文本向量的统计相似度矩阵；

根据世界知识，确定所述第二文本向量的词语相似度矩阵；

根据所述统计相似度矩阵和所述词语相似度矩阵，确定所述语义平滑矩阵。

可选的，在所述通过文本表示将待分类文本映射为向量空间模型VSM中的第一文本向量之前，所述方法还包括：