[发明专利]文本筛选方法、装置、设备及存储介质

权利要求书

1.一种文本筛选方法，应用于电子设备，其特征在于，所述方法包括：

对待筛选的第一文本执行分词操作得到多个分词，从所述多个分词中提取预设词性的关键词，为各分词及各关键词分配相关联的权重；

计算各分词及各关键词的第一哈希值，基于各分词的第一哈希值及权重执行加权操作得到各分词的权重向量，基于各关键词的第一哈希值及各权重执行加权操作得到各关键词的权重向量；

将各分词的权重向量累加得到所述第一文本的第一权重向量，将各关键词的权重向量累加得到所述第一文本的第二权重向量，对所述第一权重向量及所述第二权重向量执行降维操作，分别得到所述第一文本的第一simhash值及第二simhash值；

计算所述第一simhash值与预设存储空间的目标文本的第三simhash值的第一距离值，当所述第一距离值大于第一预设值时，计算所述第二simhash值与所述第三simhash值的第二距离值，当所述第二距离值小于或等于第二预设值时，筛除所述第一文本。

2.如权利要求1所述的文本筛选方法，其特征在于，所述从所述多个分词中提取预设词性的关键词包括：

计算各分词在所述第一文本中的词频，基于所述词频计算出各分词的IDF值及TF值，将各分词的IDF值与各分词对应的TF值相乘得到各分词的TF-ID值，判断所述第一文本中是否存在大于预设数量的预设词性的关键词，若是，基于各分词的TF-ID值选取预设数量的预设词性的关键词，其中，所述预设词性的关键词包括名词关键词和动词关键词。

3.如权利要求2所述的文本筛选方法，其特征在于，所述判断所述第一文本中是否存在大于预设数量的预设词性的关键词包括：

当判断所述第一文本中不存在大于预设数量的预设词性的关键词时，筛除所述第一文本，并从预设存储空间随机获取一篇文本作为所述待筛选的第一文本重新执行分词操作。

4.如权利要求1所述的文本筛选方法，其特征在于，所述方法还包括：

当所述第一距离值小于或等于所述第一预设值时，筛除所述第一文本。

5.如权利要求1或4所述的文本筛选方法，其特征在于，所述方法还包括：

当所述第二距离值大于所述第二预设值时，将所述第一文本存储至所述预设目标文本所属的文本集。

6.如权利要求1所述的文本筛选方法，其特征在于，所述当所述第一距离值大于第一预设值时，所述方法还包括：

计算所述第一simhash值与所述目标文本的第四simhash值的第三距离值，当所述第三距离值小于或等于第三预设值时，筛除所述第一文本。

7.如权利要求1所述的文本筛选方法，其特征在于，所述对待筛选的第一文本执行分词操作得到多个分词包括：

根据正向最大匹配法将读取到的文本与所述词库进行匹配，得到第一匹配结果，所述第一匹配结果中包含有第一数量的第一词组和第二数量的单字；

根据逆向最大匹配法将读取到的文本与所述词库进行匹配，得到第二匹配结果，所述第二匹配结果中包含有第三数量的第二词组和第四数量的单字；

若所述第一数量与所述第三数量相等且所述第二数量小于或者等于所述第四数量，或者，若所述第一数量小于所述第三数量，则将所述第一匹配结果作为该对象全称的分词结果；若所述第一数量与所述第二数量相等且所述第三数量大于所述第四数量，或者，若所述第一数量大于所述第三数量，则将所述第二匹配结果作为所述第一文本的分词结果。