[发明专利]一种文本快速分类方法和装置

摘要

本发明提出了一种基于主题模型结合线性判别的文本快速分类方法和装置。采用基于“词袋词频向量+PCA+线性判别+相似度计算”的主题模型结合线性判别快速准确发现新诉求数据所属办理部门。本方法主要通过基于已经获取到的历史诉求数据进行数据预处理，主要包括空缺值清洗、数据规范化的操作。根据规范化数据在实际情况下所属的不同办理部门对数据进行分组，对分组后的各办理部门数据采用jieba分词进行特征词提取，并运用统计学方法构建词袋词频向量，使用基于数据降维的PCA方法，训练各部门数据和总体数据，形成各部门对应的主题模型和总体数据的词‑主题矩阵，然后利用线性判别方法训练总体数据的词‑主题矩阵建立线性判别标准。获取一条新来诉求后，通过线性判别方法确定前3个候选分类。并对候选分类进行重叠关键词消除和相似度计算对其进行匹配预测，从而快速准确预测该诉求数据所属办理部门。