[发明专利]用于发送信息的方法和装置

权利要求书

1.一种用于发送信息的方法，包括：

获取待测文本集合，其中，所述待测文本集合包括至少两个待测文本；

从所述待测文本集合中选取待测文本，以及执行以下分组步骤：确定所述待测文本集合中是否存在与所选取的待测文本的文本关联度超过预设阈值的其他待测文本，包括：选取两个待测文本与所述待测文本集合中的另一待测文本进行比较；将两个待测文本和另一待测文本进行向量化；根据得到的、与两个待测文本和另一待测文本对应的三个向量，分别计算两个待测文本对应的向量和另一待测文本对应的向量之间的余弦相似度；响应于余弦相似度的值至少有一个大于或等于预设阈值，确定所述待测文本集合中存在与两个待测文本的文本关联度超过预设阈值的其他待测文本；响应于确定存在，基于与所选取的待测文本的文本关联度超过预设阈值的其他待测文本和所选取的待测文本，生成文本组；确定文本组中的待测文本个数；确定文本组中的待测文本个数是否大于或等于预设的阈值；响应于确定大于或等于预设的阈值，发送提示信息。

2.根据权利要求1所述的方法，其中，所述确定所述待测文本集合中是否存在与所选取的待测文本的文本关联度超过预设阈值的其他待测文本，包括：

确定哈希值集合中是否存在与所选取的待测文本对应的哈希值之间的汉明距离小于预设距离阈值的其他哈希值，其中，所述哈希值集合中的哈希值是基于所述待测文本集合中的对应待测文本而生成的；

响应于确定存在，确定所述待测文本集合中存在与所选取的待测文本的文本关联度超过预设阈值的其他待测文本。

3.根据权利要求1所述的方法，其中，所述方法还包括：

确定所述待测文本集合中是否存在未被选取的待测文本；

响应于确定所述待测文本集合中存在未被选取的待测文本，从所述待测文本集合中选取未选取过的待测文本，继续执行所述分组步骤。

4.根据权利要求2所述的方法，其中，所述预设距离阈值是1。

5.根据权利要求1-4之一所述的方法，其中，所述获取待测文本集合，包括：

获取目标文本集合，其中，目标文本包括来自目标网站的网页中的文本；

对于所述目标文本集合中的目标文本，响应于确定该目标文本满足预设的删除条件，从所述目标文本集合中删除该目标文本；

将删除满足所述删除条件的目标文本的目标文本集合确定为待测文本集合。

6.一种用于发送信息的装置，包括：

获取单元，被配置成获取待测文本集合，其中，所述待测文本集合包括至少两个待测文本；

发送单元，被配置成从所述待测文本集合中选取待测文本，以及执行以下分组步骤：确定所述待测文本集合中是否存在与所选取的待测文本的文本关联度超过预设阈值的其他待测文本，进一步被配置成：选取两个待测文本与所述待测文本集合中的另一待测文本进行比较；将两个待测文本和另一待测文本进行向量化；根据得到的、与两个待测文本和另一待测文本对应的三个向量，分别计算两个待测文本对应的向量和另一待测文本对应的向量之间的余弦相似度；响应于余弦相似度的值至少有一个大于或等于预设阈值，确定所述待测文本集合中存在与两个待测文本的文本关联度超过预设阈值的其他待测文本；响应于确定存在，基于与所选取的待测文本的文本关联度超过预设阈值的其他待测文本和所选取的待测文本，生成文本组；确定文本组中的待测文本个数；确定文本组中的待测文本个数是否大于或等于预设的阈值；响应于确定大于或等于预设的阈值，发送提示信息。

7.根据权利要求6所述的装置，其中，所述发送单元被进一步配置成：

从所述待测文本集合中选取待测文本，以及执行以下分组步骤：确定哈希值集合中是否存在与所选取的待测文本对应的哈希值之间的汉明距离小于预设距离阈值的其他哈希值，其中，所述哈希值集合中的哈希值是基于所述待测文本集合中的对应待测文本而生成的；响应于确定存在，基于与所选取的待测文本的文本关联度超过预设阈值的其他待测文本和所选取的待测文本，生成文本组；确定文本组中的待测文本个数；确定文本组中的待测文本个数是否大于或等于预设的阈值；响应于确定大于或等于预设的阈值，发送提示信息。