[发明专利]一种基于有监督主题模型的文本分类方法及系统有效
申请号: | 201811398232.1 | 申请日: | 2018-11-22 |
公开(公告)号: | CN109408641B | 公开(公告)日: | 2020-06-02 |
发明(设计)人: | 唐焕玲;窦全胜;于立萍;宋英杰;鲁眀羽 | 申请(专利权)人: | 山东工商学院 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/332;G06K9/62 |
代理公司: | 济南圣达知识产权代理有限公司 37221 | 代理人: | 张庆骞 |
地址: | 264026 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 监督 主题 模型 文本 分类 方法 系统 | ||
1.一种基于有监督主题模型的文本分类方法,其特征在于,包括:
构建SLDA-TC文本分类模型,SLDA-TC文本分类模型的训练文档集的每个文档带有类别标签;SLDA-TC文本分类模型中需要估计的参数不仅包括文本-主题概率分布、主题-词概率分布,还包括主题-类别概率分布;
训练SLDA-TC文本分类模型,按照SLDA-TC-Gibbs算法进行SLDA-TC模型参数估计;其中,按照SLDA-TC-Gibbs算法进行SLDA-TC模型参数估计的过程为:对每个词的隐含主题进行采样,且只从与该词所在文本类别标签相同的其它训练文本中进行隐含主题采样;在确定每个词的隐含主题之后,通过统计主题-词、文档-主题、主题-类别的频次,计算得到文本-主题概率分布、主题-词概率分布和主题-类别概率分布,进而建立出主题与类别之间的准确映射;
待测文本主题推断和分类;将待测文本输入至训练完成的SLDA-TC文本分类模型,首先对待测文档每个词进行隐含主题采样;然后推断待测文本的主题概率分布;根据待测文档的主题分布和SLDA-TC模型的主题-类别分布,输出待测文本的类别标签。
2.如权利要求1所述的一种基于有监督主题模型的文本分类方法,其特征在于,所述文本-主题概率分布、主题-词概率分布和主题-类别概率分布均服从Dirichlet分布。
3.如权利要求1所述的一种基于有监督主题模型的文本分类方法,其特征在于,通过多次迭代训练生成用于文本分类的SLDA-TC模型,迭代结束,通过JS散度评估主题之间的相似度,通过SLDA-TC的主题-类别分布参数评估主题与类别之间的语义相关度。
4.如权利要求3所述的一种基于有监督主题模型的文本分类方法,其特征在于,所述文本分类结果评价指标包括宏平均分类精度、宏平均召回率和宏平均F1值。
5.一种基于有监督主题模型的文本分类系统,包括文本输入装置、控制器和显示装置,所述控制器包括存储器和处理器,其特征在于,所述存储器存储有计算机程序,所述程序被处理器执行时能够实现以下步骤:
构建SLDA-TC文本分类模型,SLDA-TC文本分类模型的训练文档集的每个文档带有类别标签;SLDA-TC文本分类模型中需要估计的参数不仅包括文本-主题概率分布、主题-词概率分布,还包括主题-类别概率分布;
训练SLDA-TC文本分类模型,按照SLDA-TC-Gibbs算法进行SLDA-TC模型参数估计;其中,按照SLDA-TC-Gibbs算法进行SLDA-TC模型参数估计的过程为:对每个词的隐含主题进行采样,且只从与该词所在文本类别标签相同的其它训练文本中进行隐含主题采样;在确定每个词的隐含主题之后,通过统计主题-词、文档-主题、主题-类别的频次,计算得到文本-主题概率分布、主题-词概率分布和主题-类别概率分布,进而建立出主题与类别之间的准确映射;
待测文本主题推断和分类;将待测文本输入至训练完成的SLDA-TC文本分类模型,首先对待测文档每个词进行隐含主题采样;然后推断待测文本的主题概率分布;根据待测文档的主题分布和SLDA-TC模型的主题-类别分布,输出待测文本的类别标签。
6.如权利要求5所述的一种基于有监督主题模型的文本分类系统,其特征在于,文本主题概率分布、主题的词概率分布和主题的类别概率分布均服从Dirichlet分布。
7.如权利要求5所述的一种基于有监督主题模型的文本分类系统,其特征在于,通过多次迭代训练生成用于文本分类的SLDA-TC模型,迭代结束,通过JS散度评估主题之间的相似度,通过SLDA-TC的主题-类别分布参数评估主题与类别之间的语义相关度。
8.如权利要求7所述的一种基于有监督主题模型的文本分类系统,其特征在于,所述文本分类结果评价指标包括宏平均分类精度、宏平均召回率和宏平均F1值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东工商学院,未经山东工商学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811398232.1/1.html,转载请声明来源钻瓜专利网。