[发明专利]垃圾信息识别方法及装置、系统有效
申请号: | 201710417747.0 | 申请日: | 2017-06-05 |
公开(公告)号: | CN107239447B | 公开(公告)日: | 2020-12-18 |
发明(设计)人: | 陈方毅;陈伟 | 申请(专利权)人: | 厦门美柚股份有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/216;G06F16/335 |
代理公司: | 深圳市隆天联鼎知识产权代理有限公司 44232 | 代理人: | 刘抗美;刘耿 |
地址: | 361000 福建省厦门市*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 垃圾 信息 识别 方法 装置 系统 | ||
1.一种垃圾信息识别方法,其特征在于,所述方法包括:
提取用户原创信息的文本内容;
对所述文本内容进行语义还原,得到还原文本;
根据所述用户原创信息从预置的样本模型库中选取相应的一个样本模型类,所述样本模型库中包括多个样本模型类;
通过梯度下降算法对所述还原文本与所述相应的一个样本模型类进行匹配运算,得到所述用户原创信息为垃圾信息的垃圾概率;
通过对所述垃圾概率与预设的垃圾概率阈值进行比较,识别所述用户原创信息为垃圾信息;
在根据所述用户原创信息从预置的样本模型库中选取相应的一个样本模型类,所述样本模型库中包括多个样本模型类之前,所述方法还包括:
从预定的数据库中提取内容数据;
通过随机森林算法从所述内容数据中进行文本向量的特征提取;
根据所述文本向量与其相应的权重向量之间的乘积,确定所述内容数据对应的数据类别;
根据所述内容数据及对应的所述数据类别进行规则引擎的配置,形成所述样本模型库。
2.根据权利要求1所述的方法,其特征在于,所述对所述文本内容进行语义还原,得到还原文本的步骤包括:
识别所述文本内容中的中文数字;
对所述中文数字转换为阿拉伯数字,得到所述文本内容对应的还原文本。
3.根据权利要求1所述的方法,其特征在于,所述对所述文本内容进行语义还原,得到还原文本的步骤包括:
根据预置的谐音字/组合字字库对所述文本内容的语义还原,得到对应的还原文本。
4.根据权利要求1所述的方法,其特征在于,所述通过随机森林算法从所述内容数据中进行文本向量的特征提取的步骤包括:
对所述内容数据进行语义还原;
对语义还原后的所述内容数据进行分词操作,得到所述内容数据对应的文本分词;
通过随机森林算法对所述内容数据对应的文本分词分别进行文本向量的特征提取。
5.一种垃圾信息识别装置,其特征在于,所述装置包括:
文本内容提取模块,用于提取用户原创信息的文本内容;
语义还原模块,用于对所述文本内容进行语义还原,得到还原文本;
匹配运算模块,用于根据所述用户原创信息从预置的样本模型库中选取相应的一个样本模型类,所述样本模型库中包括多个样本模型类;通过梯度下降算法对所述还原文本与所述相应的一个样本模型类进行匹配运算,得到所述用户原创信息为垃圾信息的垃圾概率;
垃圾信息识别模块,用于通过对所述垃圾概率与预设的垃圾概率阈值进行比较,识别所述用户原创信息为垃圾信息;
所述装置还包括:
内容数据提取模块,用于在所述匹配运算模块根据所述用户原创信息从预置的样本模型库中选取相应的一个样本模型类,所述样本模型库中包括多个样本模型类之前,从预定的数据库中提取内容数据;
特征提取模块,用于通过随机森林算法从所述内容数据中进行文本向量的特征提取;
数据类别确定模块,用于根据所述文本向量与其相应的权重向量之间的乘积,确定所述内容数据对应的数据类别;
样本模型库生成模块,用于根据所述内容数据及对应的所述数据类别进行规则引擎的配置,形成所述样本模型库。
6.根据权利要求5所述的装置,其特征在于,所述语义还原模块包括:
中文数字识别单元,用于识别所述文本内容中的中文数字;
数字转换单元,用于对所述中文数字转换为阿拉伯数字,得到所述文本内容对应的还原文本。
7.根据权利要求5所述的装置,其特征在于,所述语义还原模块包括:
谐音字/组合字还原单元,用于根据预置的谐音字/组合字字库对所述文本内容的语还原,得到对应的还原文本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门美柚股份有限公司,未经厦门美柚股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710417747.0/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置