[发明专利]文本的检测方法及装置有效

专利信息
申请号: 201910163128.2 申请日: 2019-03-04
公开(公告)号: CN109902181B 公开(公告)日: 2021-04-23
发明(设计)人: 何泾沙;穆鹏宇;朱娜斐;蔡方博;侯自强;李想;韩松;张胜凡;葛加可 申请(专利权)人: 北京工业大学
主分类号: G06F16/35 分类号: G06F16/35;G06K9/62
代理公司: 北京超凡志成知识产权代理事务所(普通合伙) 11371 代理人: 张阳
地址: 100000 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 文本 检测 方法 装置
【权利要求书】:

1.一种文本的检测方法,其特征在于,所述方法包括:

获取待检测文本的多个特征属性和文本主题,其中,所述特征属性为与所述文本主题匹配的特征属性;

计算多个所述特征属性对应的主题分布矩阵和所述文本主题对应的词分布矩阵;

基于多个所述主题分布矩阵生成联合分布矩阵;

根据所述联合分布矩阵和所述词分布矩阵,利用分类算法对所述待检测文本进行类别检测;

其中,所述基于多个所述特征属性对应的主题分布矩阵生成联合分布矩阵的步骤包括:

根据Gibbs抽样计算多个所述特征属性对应的主题分布矩阵分别在所述主题上的概率矩阵;

利用哈达玛积和投影残差联合向量对所述概率矩阵进行处理,并将处理后的所述概率矩阵进行融合,生成所述联合分布矩阵;

根据所述联合分布矩阵和所述词分布矩阵,利用分类算法对所述待检测文本进行类别检测的步骤包括:

基于所述联合分布矩阵和所述词分布矩阵生成特征词分布矩阵;

判断所述特征词分布矩阵是否服从多项式分布;

如果是,将所述特征词分布矩阵输入至预先训练好的文本分类器,以对所述待检测文本进行类别检测。

2.根据权利要求1所述的方法,其特征在于,计算多个所述特征属性对应的主题分布矩阵和所述文本主题对应的词分布矩阵的步骤包括:

利用文本困惑度计算所述特征属性对应的主题数,以获取所述特征属性对应的超参数;

将所述特征属性对应的超参数以及预先设置的与所述文本主题对应的预设超参数分别输入至预先建立的LDA模型中,得到所述特征属性对应的主题分布矩阵以及所述文本主题对应的词分布矩阵。

3.根据权利要求2所述的方法,其特征在于,所述利用文本困惑度计算所述特征属性对应的主题数的步骤包括:

预先设置与所述特征属性对应的多个主题数;

基于所述文本困惑度分别计算每个所述主题数对应的困惑度值;

选取最小的所述困惑度值对应的主题数作为所述特征属性对应的主题数。

4.根据权利要求2所述的方法,其特征在于,计算多个所述特征属性对应的主题分布矩阵和所述文本主题对应的词分布矩阵之后,所述方法还包括:

判断多个所述特征属性对应的主题分布矩阵以及所述文本主题对应的词分布矩阵是否服从狄利克雷分布;

如果否,重新计算不服从所述狄利克雷分布的所述特征属性对应的超参数或重新选取不服从所述狄利克雷分布的所述文本主题对应的预设超参数。

5.一种文本的检测装置,其特征在于,所述装置包括:

获取模块,用于获取待检测文本的多个特征属性和文本主题,其中,所述特征属性为与所述文本主题匹配的特征属性;

计算模块,用于计算多个所述特征属性对应的主题分布矩阵和所述文本主题对应的词分布矩阵;

生成模块,用于基于多个所述主题分布矩阵生成联合分布矩阵;

检测模块,用于根据所述联合分布矩阵和所述词分布矩阵,利用分类算法对所述待检测文本进行类别检测;

所述生成模块,还用于根据Gibbs抽样计算多个所述特征属性对应的主题分布矩阵分别在所述主题上的概率矩阵;

利用哈达玛积和投影残差联合向量对所述概率矩阵进行处理,并将处理后的所述概率矩阵进行融合,生成所述联合分布矩阵;

所述检测模块,还用于基于所述联合分布矩阵和所述词分布矩阵生成特征词分布矩阵;

判断所述特征词分布矩阵是否服从多项式分布;

如果是,将所述特征词分布矩阵输入至预先训练好的文本分类器,以对所述待检测文本进行类别检测。

6.根据权利要求5所述的装置,其特征在于,所述计算模块还用于:

利用文本困惑度计算所述特征属性对应的主题数,以获取所述特征属性对应的超参数;

将所述特征属性对应的超参数以及预先设置的与所述文本主题对应的预设超参数分别输入至预先建立的LDA模型中,得到所述特征属性对应的主题分布矩阵以及所述文本主题对应的词分布矩阵。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大学,未经北京工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910163128.2/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top