[发明专利]文本聚类方法、装置及计算设备有效
申请号: | 201510944341.9 | 申请日: | 2015-12-16 |
公开(公告)号: | CN105574156B | 公开(公告)日: | 2019-03-26 |
发明(设计)人: | 胡斐然;王楠楠 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 方法 装置 计算 设备 | ||
1.一种文本聚类方法,所述文本聚类方法由计算机执行,其特征在于,包括:
将多个文本中的数字替换为第一标识;
对每个文本执行预处理操作,获取所述每个文本的预处理文本,所述预处理操作包括:将相邻的两个所述第一标识合并为一个所述第一标识;
对所述每个文本的预处理文本进行分词,获取所述每个文本的预处理文本的分词结果;
获取所述每个文本的预处理文本的分词结果中各个词的统计特征;
根据所述每个文本的预处理文本的分词结果中各个词的统计特征,对所述多个文本进行聚类;
所述对每个文本执行预处理操作前,还包括:将所述多个文本中的字素替换为第二标识;
所述预处理操作还包括:将相邻的两个所述第二标识合并为一个所述第二标识。
2.如权利要求1所述的方法,其特征在于,所述多个文本进行聚类后,获取多个文本簇;
从每个文本簇的文本中提取该文本簇对应的正则表达式;
获取新文本,判断所述新文本是否满足第一文本簇对应的正则表达式,所述第一文本簇为所述多个文本簇中任一文本簇,若所述新文本符合所述第一文本簇对应的正则表达式,则所述新文本属于所述第一文本簇。
3.如权利要求1所述的方法,其特征在于,所述多个文本进行聚类后,获取多个文本簇;
从每个文本簇的文本的预处理文本中提取该文本簇对应的正则表达式;
获取新文本,对所述新文本进行所述预处理操作,获取所述新文本对应的预处理文本;
判断所述新文本对应的预处理文本是否满足第二文本簇对应的正则表达式,所述第二文本簇为所述多个文本簇中任一文本簇,若所述新文本对应的预处理文本符合所述第二文本簇对应的正则表达式,则所述新文本属于所述第二文本簇。
4.一种文本聚类装置,其特征在于,包括:
获取单元,用于将多个文本中的数字替换为第一标识;
处理单元,用于对每个文本执行预处理操作,获取所述每个文本的预处理文本,所述预处理操作包括:将相邻的两个所述第一标识合并为一个所述第一标识;还用于对所述每个文本的预处理文本进行分词,获取所述每个文本的预处理文本的分词结果;还用于获取所述每个文本的预处理文本的分词结果中各个词的统计特征;还用于根据所述每个文本的预处理文本的分词结果中各个词的统计特征,对所述多个文本进行聚类;
所述处理单元对每个文本执行预处理操作前,还用于将所述多个文本中的字素替换为第二标识;所述预处理操作还包括:将相邻的两个所述第二标识合并为一个所述第二标识。
5.如权利要求4所述的装置,其特征在于,所述处理单元,还用于在所述多个文本进行聚类后,获取多个文本簇;还用于从每个文本簇的文本中提取该文本簇对应的正则表达式;还用于获取新文本,判断所述新文本是否满足第一文本簇对应的正则表达式,所述第一文本簇为所述多个文本簇中任一文本簇,若所述新文本符合所述第一文本簇对应的正则表达式,则所述新文本属于所述第一文本簇。
6.如权利要求4所述的装置,其特征在于,所述处理单元,还用于在所述多个文本进行聚类后,获取多个文本簇;还用于从每个文本簇的文本的预处理文本中提取该文本簇对应的正则表达式;还用于获取新文本,对所述新文本进行所述预处理操作,获取所述新文本对应的预处理文本;还用于判断所述新文本对应的预处理文本是否满足第二文本簇对应的正则表达式,所述第二文本簇为所述多个文本簇中任一文本簇,若所述新文本对应的预处理文本符合所述第二文本簇对应的正则表达式,则所述新文本属于所述第二文本簇。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510944341.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种内存数据库的安全审计系统及审计方法
- 下一篇:图像存储方法和设备