[发明专利]一种文本分类方法及装置在审
申请号: | 201910151793.X | 申请日: | 2019-02-28 |
公开(公告)号: | CN109657064A | 公开(公告)日: | 2019-04-19 |
发明(设计)人: | 邓楚然;张小陆;万婵;彭泽武;杨秋勇;苏华权;魏理豪 | 申请(专利权)人: | 广东电网有限责任公司;广东电网有限责任公司信息中心 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F17/27 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 张春水;唐京桥 |
地址: | 510600 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种文本分类方法,包括:获取训练样本;对所述训练样本进行分词,得到分词列表;根据所述分词列表确定词频文档矩阵,并计算分词列表中各词语的TF‑IDF值矩阵;将所述词语作为变量输入模型,根据CV图获取最佳λ值和最优变量个数范围;将所述最优λ值作为参数拟合lasso回归模型,并输出特征变量;以特征词的词频文档矩阵创建训练容器;构建所述训练样本的SLDA有监督模型;通过Lasso回归模型得到的特征变量集合,并根据所述特征变量集合更新所述词频文档矩阵;在所述词频文档矩阵上应用训练好的SLDA模型,输出预测结果和预测概率。本发明成本低且效率高,可推广性强,可以剔除人的主观因素对结果的影响。 | ||
搜索关键词: | 词频 文档矩阵 分词 训练样本 回归模型 特征变量 文本分类 词语 矩阵 参数拟合 集合更新 输出特征 输出预测 应用训练 主观因素 特征词 推广性 构建 剔除 集合 概率 预测 创建 监督 | ||
【主权项】:
1.一种文本分类方法,其特征在于,包括:获取训练样本;对所述训练样本进行分词,得到分词列表;根据所述分词列表确定词频文档矩阵,并计算分词列表中各词语的TF‑IDF值矩阵;将所述词语作为变量输入模型,根据CV图获取最佳λ值和最优变量个数范围;将所述最优λ值作为参数拟合lasso回归模型,并输出特征变量;以特征词的词频文档矩阵创建训练容器;构建所述训练样本的SLDA有监督模型;通过Lasso回归模型得到的特征变量集合,并根据所述特征变量集合更新所述词频文档矩阵;在所述词频文档矩阵上应用训练好的SLDA模型,输出预测结果和预测概率。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东电网有限责任公司;广东电网有限责任公司信息中心,未经广东电网有限责任公司;广东电网有限责任公司信息中心许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910151793.X/,转载请声明来源钻瓜专利网。