[发明专利]一种文本预处理方法、装置及存储介质有效
| 申请号： | 201911289718.6 | 申请日： | 2019-12-13 |
| 公开（公告）号： | CN111090992B | 公开（公告）日： | 2022-12-06 |
| 发明（设计）人： | 刘晓芳;昝景园;赵建强;张辉极 | 申请（专利权）人： | 厦门市美亚柏科信息股份有限公司 |
| 主分类号： | G06F40/242 | 分类号： | G06F40/242;G06F40/289;G06F16/33;G06F21/60 |
| 代理公司： | 厦门福贝知识产权代理事务所(普通合伙) 35235 | 代理人： | 陈远洋 |
| 地址： | 361000 福建省厦门市*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种文本预处理方法和装置，通过构造特征信息表，通过特征信息表对用户自定义分词字典进行更新，通过加密算法对特征信息表和更新后的用户自定义分词字典进行加密；输入文本数据，通过特征信息表对文本数据进行匹配，保留文本数据在特征信息表中出现的特征信息，对文本数据中的非法序列信息进行删除得到新的字符串；以及对加密后的用户自定义分词字典进行解密和加载，并通过用户自定义分词字典对新的字符串进行分词。通过特征信息表可以自动更新用户自定义分词字典特征信息词频，减化人工繁琐的配置过程。对用户自定义词典进行加密，修改Jieba中字典读取加载方式，实现对加密用户自定义分词字典的读取，增强用户自定义分词字典的安全性。 | ||
| 搜索关键词： | 一种 文本 预处理 方法 装置 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于厦门市美亚柏科信息股份有限公司，未经厦门市美亚柏科信息股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911289718.6/，转载请声明来源钻瓜专利网。
