[发明专利]基于人工智能的文章分类方法及装置、设备与可读介质在审
申请号: | 201710196073.6 | 申请日: | 2017-03-29 |
公开(公告)号: | CN107168992A | 公开(公告)日: | 2017-09-15 |
发明(设计)人: | 陈亮宇;肖欣延;吕亚娟 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京鸿德海业知识产权代理事务所(普通合伙)11412 | 代理人: | 袁媛 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 人工智能 文章 分类 方法 装置 设备 可读 介质 | ||
1.一种基于人工智能的文章分类方法,其特征在于,所述方法包括:
获取目标文章的文本;
对所述目标文章的文本进行至少两种不同分词粒度的分词处理,得到各所述分词粒度对应的分词;
根据所述目标文章的各所述分词粒度对应的分词和在目标分类体系中预先训练的各层级的打分标签模型,预测所述目标文章与各所述层级上的各个主题类别的相似度;
根据所述目标文章与各所述层级上的各个主题类别的相似度以及预设的相似度阈值,对所述目标文章在各所述层级上进行分类。
2.根据权利要求1所述的方法,其特征在于,根据所述目标文章与各所述层级上的各个主题类别的相似度以及预设的相似度阈值,对所述目标文章在各所述层级上进行分类之后,所述方法还包括:
校验所述目标文章在各所述层级上的分类。
3.根据权利要求2所述的方法,其特征在于,校验所述目标文章在各所述层级上的分类,具体包括如下至少一种:
检测所述目标文章的各所述层级的分类是否冲突;若冲突,取消所述目标文章在下游层级的分类;
若所述目标文章的特定层级的分类为特定主题类别时,检测所述目标文章中的特定关键词的出现频率是否达到预设频率阈值,若未达到,取消所述目标文章在所述特定层级的所述特定主题类别的分类;和
若所述目标文章的特定层级的分类为特定主题类别时,检测所述目标文章中是否出现特定关键词,若出现,取消所述目标文章在所述特定层级的所述特定主题类别的分类。
4.根据权利要求1-3任一所述的方法,其特征在于,根据所述目标文章的各所述分词粒度对应的分词和在目标分类体系中预先训练的各层级的打分标签模型,预测所述目标文章与各所述层级上的各个主题类别的相似度之前,所述方法还包括:
从各资讯网站抓取数个训练语料,各所述训练语料包括训练文章和所述训练文章在对应的所述资讯网站中的原分类;
将各所述训练语料中的所述训练文章在对应的所述资讯网站中的原分类映射为所述目标分类体系中的主题类别;
对各所述训练语料的文本进行至少两种不同分词粒度的分词处理,得到数个正例的训练数据;
根据所述数个正例的训练数据,构造各所述正例的训练数据中的训练语料在各所述层级上的多个不相干的主题类别,生成数个负例的训练数据;
使用所述数个正例的训练数据和所述数个负例的训练数据,训练各层级的所述打分标签模型。
5.一种基于人工智能的文章分类装置,其特征在于,所述装置包括:
获取模块,用于获取目标文章的文本;
分词模块,用于对所述目标文章的文本进行至少两种不同分词粒度的分词处理,得到各所述分词粒度对应的分词;
预测模块,用于根据所述目标文章的各所述分词粒度对应的分词和在目标分类体系中预先训练的各层级的打分标签模型,预测所述目标文章与各所述层级上的各个主题类别的相似度;
分类模块,用于根据所述目标文章与各所述层级上的各个主题类别的相似度以及预设的相似度阈值,对所述目标文章在各所述层级上进行分类。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
校验模块,用于校验所述目标文章在各所述层级上的分类。
7.根据权利要求6所述的装置,其特征在于,所述校验模块,具体用于执行如下至少一种:
检测所述目标文章的各所述层级的分类是否冲突;若冲突,取消所述目标文章在下游层级的分类;
若所述目标文章的特定层级的分类为特定主题类别时,检测所述目标文章中的特定关键词的出现频率是否达到预设频率阈值,若未达到,取消所述目标文章在所述特定层级的所述特定主题类别的分类;和
若所述目标文章的特定层级的分类为特定主题类别时,检测所述目标文章中是否出现特定关键词,若出现,取消所述目标文章在所述特定层级的所述特定主题类别的分类。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710196073.6/1.html,转载请声明来源钻瓜专利网。