[发明专利]商业快讯的去重筛选方法及装置

权利要求书

1.一种商业快讯的去重筛选方法，其特征在于，所述方法包括：

获取待检测商业快讯文本，其中，所述待检测商业快讯文本中包含公司名称；

采用simhash算法对所述待检测商业快讯文本进行计算，得到所述待检测商业快讯文本的simhash指纹；

根据所述待检测商业快讯文本中的公司名称，在商业快讯去重数据库中提取预设时间内包含所述公司名称的目标商业快讯文本的simhash指纹集合；

计算所述待检测商业快讯文本的simhash指纹与所述simhash指纹集合中每个simhash指纹之间的海明距离；

如果所述海明距离中每个海明距离都大于预设值，则确定所述待检测商业快讯文本为非重复商业快讯文本，并将所述待检测商业快讯文本的信息插入所述商业快讯去重数据库。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述海明距离中，存在至少一个海明距离不大于所述预设值，则确定所述待检测商业快讯文本为重复商业快讯文本，并丢弃所述待检测商业快讯文本。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述商业快讯去重数据库中不存在所述simhash指纹集合，则确定所述待检测商业快讯文本为非重复商业快讯文本，并将所述待检测商业快讯文本的信息插入所述商业快讯去重数据库。

4.根据权利要求1所述的方法，其特征在于，获取待检测商业快讯文本包括：

通过爬虫在互联网上实时爬取初始待检测文本；

对所述初始待检测文本进行预检测，得到检测后的文本；

对所述检测后的文本进行预处理，得到处理后的文本；

根据预设企业名称库在所述处理后的文本中提取出所提及的公司名称；

如果提取到公司名称，则所述处理后的文本为所述待检测商业快讯文本。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

如果未提取到公司名称，则所述处理后的文本不是所述待检测商业快讯文本，并丢弃所述处理后的文本。

6.根据权利要求4所述的方法，其特征在于，对所述初始待检测文本进行预检测，得到检测后的文本包括：

获取停用词列表；

丢弃所述初始待检测文本中包含所述停用词列表中文本的初始待检测文本，得到剩余初始待检测文本；

将所述剩余初始待检测文本作为所述检测后的文本。

7.根据权利要求4所述的方法，其特征在于，对所述检测后的文本进行预处理，得到处理后的文本包括：

对所述检测后的文本进行去除处理和/或转换处理；

其中，所述去除处理包括：去除HTML标签的处理，去除预设标签内包含的内容的处理；

所述转换处理为将所有大写字母转换为小写字母的处理。

8.一种商业快讯的去重筛选装置，其特征在于，所述装置包括：

获取模块，用于获取待检测商业快讯文本，其中，所述待检测商业快讯文本中包含公司名称；

第一计算模块，用于采用simhash算法对所述待检测商业快讯文本进行计算，得到所述待检测商业快讯文本的simhash指纹；

提取模块，用于根据所述待检测商业快讯文本中的公司名称，在商业快讯去重数据库中提取预设时间内包含所述公司名称的目标商业快讯文本的simhash指纹集合；

第二计算模块，用于计算所述待检测商业快讯文本的simhash指纹与所述simhash指纹集合中每个simhash指纹之间的海明距离；

第一确定模块，如果所述海明距离中每个海明距离都大于预设值，则确定所述待检测商业快讯文本为非重复商业快讯文本，并将所述待检测商业快讯文本的信息插入所述商业快讯去重数据库。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第二确定模块，如果所述海明距离中，存在至少一个海明距离不大于所述预设值，则确定所述待检测商业快讯文本为重复商业快讯文本，并丢弃所述待检测商业快讯文本。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第三确定模块，如果所述商业快讯去重数据库中不存在所述simhash指纹集合，则确定所述待检测商业快讯文本为非重复商业快讯文本，并将所述待检测商业快讯文本的信息插入所述商业快讯去重数据库。