[发明专利]一种文本分类方法及装置

权利要求书

1.一种文本分类方法，其特征在于，包括：

获取训练样本；

对所述训练样本进行分词，得到分词列表；

根据所述分词列表确定词频文档矩阵，并计算分词列表中各词语的TF-IDF值矩阵；

将所述词语作为变量输入模型，根据CV图获取最佳λ值和最优变量个数范围；

将所述最优λ值作为参数拟合lasso回归模型，并输出特征变量；

以特征词的词频文档矩阵创建训练容器；

构建所述训练样本的SLDA有监督模型；

通过Lasso回归模型得到的特征变量集合，并根据所述特征变量集合更新所述词频文档矩阵；

在所述词频文档矩阵上应用训练好的SLDA模型，输出预测结果和预测概率。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

去除所述训练样本的中的数字、字母和特殊字符；

根据正则表达式匹配训练样本中的固定模板语句，并去除所述训练样本的中的前缀和后缀。

3.根据权利要求2所述的方法，其特征在于，所述对训练样本进行分词，得到分词列表之后，所述方法还包括：

在所述分词列表中进行人名识别以及外部词典的补充；

对所述分词列表进行词性标注，并统计词性信息。

4.根据权利要求3所述的方法，其特征在于，所述对训练样本进行分词，包括：

调用Java中文分词工具Ansj，分别对训练样本进行全切分、原子切分、N最短路径的粗切分。

5.根据权利要求4中所述的方法，其特征在于，所述对分词列表进行词性标注，并统计词性信息包括：

对所述分词列表进行词性标注，并统计词性信息，得到如下分词列表：

n_word＝{D_d(w_n,w_v,w_nr,w_nz,w_userdefine),d＝1,...,d_tr}；

其中w_n表示名词，w_v表示动词，w_nr表示名词代词，w_nz表示其它专有名词，w_userdefine表示用户自定义词，d_tr表示文本的数目。

6.根据权利要求5所述的方法，其特征在于，所述在词频文档矩阵上应用训练好的SLDA模型，输出预测结果和预测概率之后，所述方法还包括：

进行5折交叉验证评估模型在测试样本上的稳定性，构建准确率、召回率、F值等指标评估模型准确性和泛化能力。

7.一种文本分类装置，其特征在于，包括：

获取模块，用于获取训练样本；

处理模块，用于对所述训练样本进行分词，得到分词列表；

根据所述分词列表确定词频文档矩阵，并计算分词列表中各词语的TF-IDF值矩阵；

将所述词语作为变量输入模型，根据CV图获取最佳λ值和最优变量个数范围；

将所述最优λ值作为参数拟合lasso回归模型，并输出特征变量；

以特征词的词频文档矩阵创建训练容器；

构建所述训练样本的SLDA有监督模型；

通过Lasso回归模型得到的特征变量集合，并根据所述特征变量集合更新所述词频文档矩阵；

输出模块，用于在所述词频文档矩阵上应用训练好的SLDA模型，输出预测结果和预测概率。

8.根据权利要求7所述的装置，其特征在于，所述处理模块还用于：

去除所述训练样本的中的数字、字母和特殊字符；

根据正则表达式匹配训练样本中的固定模板语句，并去除所述训练样本的中的前缀和后缀。