[发明专利]文本的检测方法及装置

说明书

本发明提供了一种文本的检测方法及装置，涉及文本分类的技术领域，能够在获取待检测文本的多个特征属性和文本主题时，计算多个特征属性对应的主题分布矩阵和文本主题对应的词分布矩阵；基于多个主题分布矩阵生成联合分布矩阵；在根据联合分布矩阵和词分布矩阵，利用分类算法对待检测文本进行类别检测。通过将多个主题分布矩阵进行融合，可有效避免因单一的文档‑主题矩阵不能真实地反映主题集群的变化和模糊性的问题，提高了文档的类别检测。

技术领域

本发明涉及文本分类技术领域，尤其是涉及一种文本的检测方法及装置。

背景技术

当今已处于一个信息爆炸的时代，其中，以文本表示的信息量极速增长，包括媒体信息、科技报告、书籍、邮件、微博、评论等文本信息，如何从大量的文本中挖掘到有用的主题信息是当前的首要任务。

近几年，LDA(Latent Dirichlet Allocation，文档主题生成模型)在主题挖掘、情报分析、知识服务等领域得到了广泛的应用，主要集中在热点话题发现与新兴主题探测、学术评价等研究方向。然而，现有的LDA三层主题模型因为单一的文档-主题矩阵不能真实地反映主题集群的变化和模糊性，因此使得文档表示性能受到限制，降低文本的分类检测。

发明内容

有鉴于此，本发明的目的在于提供一种文本的检测方法及装置，以缓解现有LDA三层主题模型因单一的文档-主题矩阵不能真实地反映主题集群的变化和模糊性，使得文档表示性能受到限制的技术问题。

第一方面，本发明实施例提供了一种文本的检测方法，其中，该方法包括：获取待检测文本的多个特征属性和文本主题，其中，特征属性为与文本主题匹配的特征属性；计算多个特征属性对应的主题分布矩阵和文本主题对应的词分布矩阵；基于多个主题分布矩阵生成联合分布矩阵；根据联合分布矩阵和词分布矩阵，利用分类算法对待检测文本进行类别检测。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，计算多个特征属性对应的主题分布矩阵和文本主题对应的词分布矩阵的步骤包括：利用文本困惑度计算特征属性对应的主题数，以获取特征属性对应的超参数；将特征属性对应的超参数以及预先设置的与文本主题对应的预设超参数分别输入至预先建立的LDA模型中，得到特征属性对应的主题分布矩阵以及文本主题对应的词分布矩阵。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，利用文本困惑度计算特征属性对应的主题数的步骤包括：预先设置与特征属性对应的多个主题数；基于文本困惑度分别计算每个主题数对应的困惑度值；选取最小的困惑度值对应的主题数作为特征属性对应的主题数。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，计算多个特征属性对应的主题分布矩阵和文本主题对应的词分布矩阵之后，该方法还包括：判断多个特征属性对应的主题分布矩阵以及文本主题对应的词分布矩阵是否服从狄利克雷分布；如果否，重新计算不服从狄利克雷分布的特征属性对应的超参数或重新选取不服从狄利克雷分布的文本主题对应的预设超参数。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，基于多个特征属性对应的主题分布矩阵生成联合分布矩阵的步骤包括：根据Gibbs抽样计算多个特征属性对应的主题分布矩阵分别在主题上的概率矩阵；利用哈达玛积和投影残差联合向量对概率矩阵进行处理，并将处理后的概率矩阵进行融合，生成联合分布矩阵。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据联合分布矩阵和词分布矩阵，利用分类算法对待检测文本进行类别检测的步骤包括：基于联合分布矩阵和词分布矩阵生成特征词分布矩阵；判断特征词分布矩阵是否服从多项式分布；如果是，将特征词分布矩阵输入至预先训练好的文本分类器，以对待检测文本进行类别检测。