[发明专利]文本主题的分类方法及系统有效
申请号: | 201510341937.X | 申请日: | 2015-06-18 |
公开(公告)号: | CN105045812B | 公开(公告)日: | 2019-01-29 |
发明(设计)人: | 周诚;赵世亭;赵营营 | 申请(专利权)人: | 上海高欣计算机系统有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35 |
代理公司: | 上海晨皓知识产权代理事务所(普通合伙) 31260 | 代理人: | 成丽杰 |
地址: | 201203 上海市浦东新区自由*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 主题类型 特征向量 文本主题 语料 文本 分类 待分类文本 分词 文本特征提取 分类技术 分类文本 函数调整 文本分类 相似度 采集 | ||
1.一种文本主题的分类方法,其特征在于,包含以下步骤:
采集语料;其中,所述语料包含各个主题类型的文本;
对所述语料进行分词,并对分词后的语料进行文本特征提取,得到各主题类型文本的特征向量;
根据动态对数激励函数调整各主题类型文本的特征向量中的特征值,得到新的各主题类型文本的特征向量;
根据待分类文本与新的各主题类型文本的特征向量的相似度,对待分类文本进行分类,确定待分类文本的主题类型;
其中,所述动态对数激励函数为或者,
所述动态对数激励函数为或者,
所述动态对数激励函数依次采用如下形式:1和或者,
所述动态对数激励函数依次采用如下形式:1和或者,
所述动态对数激励函数依次采用如下形式:1、和其中,f为动态对数激励函数值,x为一个词语在一个主题类型中的占比与该词语在所有主题类型中的占比之比,a为包含同一个词语的主题类型的数目,k与b均为常数。
2.根据权利要求1所述的文本主题的分类方法,其特征在于,a∈[1,2,3,....,l-1,l]、k∈[1.3,1.5]、b∈[0,1];
其中,l为文本主题类型的数目。
3.根据权利要求1所述的文本主题的分类方法,其特征在于,在对所述语料进行分词之后,还包含以下步骤:
去除分词后的语料中的停用词;
在对分词后的语料进行文本特征提取,得到各主题类型文本的特征向量的步骤中,
对去除停用词的语料进行文本特征提取,得到各主题类型文本的特征向量。
4.根据权利要求1所述的文本主题的分类方法,其特征在于,在根据待分类文本与新的各主题类型文本的特征向量的相似度,对待分类文本进行分类的步骤中,采用以下任意一种相似度计算方法计算待分类文本与新的各主题类型文本的特征向量的相似度:
余弦相似度、欧氏距离、Tanimoto系数、对数似然相似度、曼哈顿相似度、Spearman相似度。
5.根据权利要求1所述的文本主题的分类方法,其特征在于,在对分词后的语料进行文本特征提取,得到各主题类型文本的特征向量的步骤中,
采用TF-IDF的统计方法对分词后的语料进行文本特征提取,得到各主题类型文本的特征向量。
6.一种文本主题的分类系统,其特征在于,包含:采集模块、分词模块、提取模块、调整模块与分类模块;
所述采集模块,用于采集语料;所述语料包含各个主题类型的文本;
所述分词模块,用于对所述语料进行分词;
所述提取模块,用于对分词后的语料进行文本特征提取,得到各主题类型文本的特征向量;
所述调整模块,用于根据动态对数激励函数调整所述提取模块提取的各主题类型文本的特征向量中的特征值,得到新的各主题类型文本的特征向量;
所述分类模块,用于根据待分类文本与新的各主题类型文本的特征向量的相似度,对待分类文本进行分类,确定待分类文本的主题类型;
其中,所述动态对数激励函数为或者,
所述动态对数激励函数为或者,
所述动态对数激励函数依次采用如下形式:1和或者,
所述动态对数激励函数依次采用如下形式:1和或者,
所述动态对数激励函数依次采用如下形式:1、和
其中,f为动态对数激励函数值,x为一个词语在一个主题类型中的占比与该词语在所有主题类型中的占比之比,a为包含同一个词语的主题类型的数目,k与b均为常数。
7.根据权利要求6所述的文本主题的分类系统,其特征在于,a∈[1,2,3,....,l-1,l]、k∈[1.3,1.5]、b∈[0,1];
其中,l为文本主题类型的数目。
8.根据权利要求6所述的文本主题的分类系统,其特征在于,所述分类模块采用以下任意一种相似度计算方法计算待分类文本与新的各主题类型文本的特征向量的相似度:
余弦相似度、欧氏距离、Tanimoto系数、对数似然相似度、曼哈顿相似度、Spearman相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海高欣计算机系统有限公司,未经上海高欣计算机系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510341937.X/1.html,转载请声明来源钻瓜专利网。