[发明专利]文本的检测方法及装置有效
申请号: | 201910163128.2 | 申请日: | 2019-03-04 |
公开(公告)号: | CN109902181B | 公开(公告)日: | 2021-04-23 |
发明(设计)人: | 何泾沙;穆鹏宇;朱娜斐;蔡方博;侯自强;李想;韩松;张胜凡;葛加可 | 申请(专利权)人: | 北京工业大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06K9/62 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 张阳 |
地址: | 100000 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 检测 方法 装置 | ||
1.一种文本的检测方法,其特征在于,所述方法包括:
获取待检测文本的多个特征属性和文本主题,其中,所述特征属性为与所述文本主题匹配的特征属性;
计算多个所述特征属性对应的主题分布矩阵和所述文本主题对应的词分布矩阵;
基于多个所述主题分布矩阵生成联合分布矩阵;
根据所述联合分布矩阵和所述词分布矩阵,利用分类算法对所述待检测文本进行类别检测;
其中,所述基于多个所述特征属性对应的主题分布矩阵生成联合分布矩阵的步骤包括:
根据Gibbs抽样计算多个所述特征属性对应的主题分布矩阵分别在所述主题上的概率矩阵;
利用哈达玛积和投影残差联合向量对所述概率矩阵进行处理,并将处理后的所述概率矩阵进行融合,生成所述联合分布矩阵;
根据所述联合分布矩阵和所述词分布矩阵,利用分类算法对所述待检测文本进行类别检测的步骤包括:
基于所述联合分布矩阵和所述词分布矩阵生成特征词分布矩阵;
判断所述特征词分布矩阵是否服从多项式分布;
如果是,将所述特征词分布矩阵输入至预先训练好的文本分类器,以对所述待检测文本进行类别检测。
2.根据权利要求1所述的方法,其特征在于,计算多个所述特征属性对应的主题分布矩阵和所述文本主题对应的词分布矩阵的步骤包括:
利用文本困惑度计算所述特征属性对应的主题数,以获取所述特征属性对应的超参数;
将所述特征属性对应的超参数以及预先设置的与所述文本主题对应的预设超参数分别输入至预先建立的LDA模型中,得到所述特征属性对应的主题分布矩阵以及所述文本主题对应的词分布矩阵。
3.根据权利要求2所述的方法,其特征在于,所述利用文本困惑度计算所述特征属性对应的主题数的步骤包括:
预先设置与所述特征属性对应的多个主题数;
基于所述文本困惑度分别计算每个所述主题数对应的困惑度值;
选取最小的所述困惑度值对应的主题数作为所述特征属性对应的主题数。
4.根据权利要求2所述的方法,其特征在于,计算多个所述特征属性对应的主题分布矩阵和所述文本主题对应的词分布矩阵之后,所述方法还包括:
判断多个所述特征属性对应的主题分布矩阵以及所述文本主题对应的词分布矩阵是否服从狄利克雷分布;
如果否,重新计算不服从所述狄利克雷分布的所述特征属性对应的超参数或重新选取不服从所述狄利克雷分布的所述文本主题对应的预设超参数。
5.一种文本的检测装置,其特征在于,所述装置包括:
获取模块,用于获取待检测文本的多个特征属性和文本主题,其中,所述特征属性为与所述文本主题匹配的特征属性;
计算模块,用于计算多个所述特征属性对应的主题分布矩阵和所述文本主题对应的词分布矩阵;
生成模块,用于基于多个所述主题分布矩阵生成联合分布矩阵;
检测模块,用于根据所述联合分布矩阵和所述词分布矩阵,利用分类算法对所述待检测文本进行类别检测;
所述生成模块,还用于根据Gibbs抽样计算多个所述特征属性对应的主题分布矩阵分别在所述主题上的概率矩阵;
利用哈达玛积和投影残差联合向量对所述概率矩阵进行处理,并将处理后的所述概率矩阵进行融合,生成所述联合分布矩阵;
所述检测模块,还用于基于所述联合分布矩阵和所述词分布矩阵生成特征词分布矩阵;
判断所述特征词分布矩阵是否服从多项式分布;
如果是,将所述特征词分布矩阵输入至预先训练好的文本分类器,以对所述待检测文本进行类别检测。
6.根据权利要求5所述的装置,其特征在于,所述计算模块还用于:
利用文本困惑度计算所述特征属性对应的主题数,以获取所述特征属性对应的超参数;
将所述特征属性对应的超参数以及预先设置的与所述文本主题对应的预设超参数分别输入至预先建立的LDA模型中,得到所述特征属性对应的主题分布矩阵以及所述文本主题对应的词分布矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大学,未经北京工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910163128.2/1.html,转载请声明来源钻瓜专利网。