[发明专利]一种基于多次校验的数据信息更新系统和方法

权利要求书

1.一种基于多次校验的数据信息更新系统，其特征在于，包括：

数据获取模块，用于利用网络爬虫获取数据信息；

第一校验模块，用于在预设时间对网络爬虫获取的数据信息进行初步校验，得到初步数据信息集合；

第二校验模块，用于将初步数据信息集合中数据信息与预设数据信息库进行比对并判断所述数据信息是否校验成功；

清除模块，用于删除初步数据信息集合中重复度校验失败的数据信息；

更新模块，用于将初步数据信息集合中重复度校验成功的数据信息添加到预设数据信息库中，更新预设数据信息库。

2.根据权利要求1所述的基于多次校验的数据信息更新系统，其特征在于，所述第一校验模块，具体用于：

在预设时间将网络爬虫获取的数据信息进行相互比较；

删除两个数据信息中相似度大于预设相似度值的一个数据信息；

在所有数据信息均相互比较后，得到初步数据信息集合。

3.根据权利要求1所述的基于多次校验的数据信息更新系统，其特征在于，所述第二校验模块，具体用于：

获取初步数据信息集合一个数据信息；

将所述数据信息与预设数据信息库中预设数据信息进行重复度比较，得到重复度值并根据重复度值与预设阈值判断重复度校验是否成功；当所述重复度值大于预设阈值，判断所述数据信息重复度校验失败；否则，判断所述数据信息重复度校验成功；

当初步数据信息集合中所有数据信息均进行重复度比较后，完成重复度校验。

4.根据权利要求1所述的基于多次校验的数据信息更新系统，其特征在于，所述数据获取模块包括多个数据获取子模块。

5.根据权利要求1所述的基于多次校验的数据信息更新系统，其特征在于，还包括数据信息推送模块，用于将添加到预设数据信息库中的数据信息推送给用户。

6.一种基于多次校验的数据信息更新方法，其特征在于，包括：

S1、利用网络爬虫获取数据信息；

S2、在预设时间对网络爬虫获取的数据信息进行初步校验，得到初步数据信息集合；

S3、将初步数据信息集合中数据信息与预设数据信息库进行比对并判断所述数据信息是否校验成功；

S4、删除初步数据信息集合中重复度校验失败的数据信息；

S5、将初步数据信息集合中重复度校验成功的数据信息添加到预设数据信息库中，更新预设数据信息库。

7.根据权利要求6所述的基于多次校验的数据信息更新方法，其特征在于，步骤S2，具体包括：

在预设时间将网络爬虫获取的数据信息进行相互比较；

删除两个数据信息中相似度大于预设相似度值的一个数据信息；

在所有数据信息均相互比较后，得到初步数据信息集合。

8.根据权利要求6所述的基于多次校验的数据信息更新方法，其特征在于，步骤S3，具体包括：

S31、获取初步数据信息集合一个数据信息；

S32、将所述数据信息与预设数据信息库中预设数据信息进行重复度比较，得到重复度值并根据重复度值与预设阈值判断重复度校验是否成功；当所述重复度值大于预设阈值，判断所述数据信息重复度校验失败；否则，判断所述数据信息重复度校验成功；

S33、重复步骤S31、S32操作，直到初步数据信息集合中所有数据信息均进行重复度比较。

9.根据权利要求6所述的基于多次校验的数据信息更新方法，其特征在于，在步骤S1中，利用多个网络爬虫获取数据信息。

10.根据权利要求6所述的基于多次校验的数据信息更新方法，其特征在于，还包括步骤S6，将添加到预设数据信息库中的数据信息推送给用户。