[发明专利]一种文本预处理方法、装置及存储介质

说明书

本发明公开了一种文本预处理方法和装置，通过构造特征信息表，通过特征信息表对用户自定义分词字典进行更新，通过加密算法对特征信息表和更新后的用户自定义分词字典进行加密；输入文本数据，通过特征信息表对文本数据进行匹配，保留文本数据在特征信息表中出现的特征信息，对文本数据中的非法序列信息进行删除得到新的字符串；以及对加密后的用户自定义分词字典进行解密和加载，并通过用户自定义分词字典对新的字符串进行分词。通过特征信息表可以自动更新用户自定义分词字典特征信息词频，减化人工繁琐的配置过程。对用户自定义词典进行加密，修改Jieba中字典读取加载方式，实现对加密用户自定义分词字典的读取，增强用户自定义分词字典的安全性。

技术领域

本发明涉及自然语言处理领域，具体涉及一种文本预处理方法、装置及存储介质。

背景技术

互联网信息技术的普及为自然语言处理中文本分类、摘要提取、词性标注、知识图谱等任务提供了丰富的文本语料资源。自然语言处理任务需先将文本数据预处理、分词，文本中出现包含中、英文、数字、特殊字符等多种字符相互混合的特征信息，若这类特征信息也同时出现在网址、分享链接等文本中，便成为噪声信息即非法序列信息，这些信息严重干扰分词预处理流程甚至影响文本处理任务。现有预处理、分词工具如Jieba分词，主要是针对特征信息分词，虽然Jieba分词工具可通过自定义词典进行特征信息分割，但是无法区分分割出的是特征信息还是非法序列信息。其次，当特征信息和非法序列信息同时存在文本中时会给去除这些非法序列信息带来困难。再者，Jieba用户自定义字典即特征信息的分词精度依赖于字典中的词频，对于现有自定义词典词频的设计需人工查找Jieba工具中默认词典手动设置词频，但默认词典中可能出现特征信息的多个子字符串，若人工查找不完全，会导致设置词频不合理，无法对特征信息进行准确分词。最后，Jieba是一种开源的分词方法，自定义词典未经过任何加密处理直接写在用户自定义字典中，对特征信息在使用过程中存在安全性问题。分词作为中文文本处理的第一步，其准确性尤其是专业词汇短语分词的准确性会影响到后续文本处理任务。

现有分词方法或分词工具可以通过用户自定义字典或个性化配置自定义特征信息与正则项进行分词，但是无法在分词的同时区分是特征信息还是非法序列信息，从而导致文本中出现的非法序列信息难以通过去停用词等方法彻底去除。其次，Jieba分词需人工查找Jieba工具中默认词典的特征信息词频，再对用户自定义字典手动设置词频，需对多个特征信息进行查找，费时费力，若查找不全，词频配置低于默认词典的特征信息会导致分词不准。最后，将特征信息直接加入未加密的自定义字典中，使用过程中存在安全问题，而开源Jieba未提供用户自定义字典的加密和解密方法。

有鉴于此，设计出一种新的文本预处理方法和装置是亟待解决的问题之一。

发明内容

针对上述提到的自然语言处理分词过程中预处理特征信息多余或缺失、自定义字典更新词频设置繁琐、不准确及安全性低等问题。本申请的实施例的目的在于提出了一种文本预处理方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请的实施例提供了一种文本预处理方法，包括以下步骤：

S1：构造特征信息表，通过特征信息表对用户自定义分词字典进行更新，通过加密算法对特征信息表和更新后的用户自定义分词字典进行加密；

S2：输入文本数据，通过特征信息表对文本数据进行匹配，保留文本数据在特征信息表中出现的特征信息，对文本数据中的非法序列信息进行删除得到新的字符串；以及

S3：对加密后的用户自定义分词字典进行解密和加载，并通过用户自定义分词字典对新的字符串进行分词。

在一些实施例中，步骤S1包括：

S11：读取用户自定义分词字典和分词工具默认分词字典，在特征信息表中增加新的特征信息V_n；