[发明专利]一种大数据智能采集处理方法和系统

权利要求书

1.一种大数据智能采集处理方法，其特征在于包括以下步骤：

S1.设置第一数据库和第二数据库；

S2.设置一个或多个网络智能机器人，实时智能抓取公开信息，获得采集数据；

S3.将所述采集数据逐条同所述第一数据库中数据进行对比，当所述采集数据中数据A,同所述第一数据库中数据相似度γ均小于阈值α时，则将所述采集数据中数据A存入所述第一数据库；否则将所述采集数据中数据A存入所述第二数据库；

S4. 将所述采集数据中数据A存入所述第二数据库时，将所述采集数据中数据A同所述第二数据库中数据进行相似度γ计算；

S41.当所述采集数据中数据A同所述第二数据库中某一条或多条数据相似度γ大于阈值β时，则将所述采集数据中数据A，替换所述第二数据库中同所述采集数据中数据A相似度γ最高的一条数据；

S42.否则将所述采集数据中数据A直接存入所述第二数据库；

S5.超过时间阈值δ时，将所述第二数据库中的数据存入所述第一数据库，同时清除所述第二数据库中数据；

S6.将所述第二数据库中的数据存入所述第一数据库时，将所述第二数据库中的数据分别同所述第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。

2.根据权利要求1所述的大数据智能采集处理方法，其特征在于所述采集数据，至少包括发布人、发布内容、发布类型三个数据标签。

3.根据权利要求1所述的大数据智能采集处理方法，其特征在于，进行数据检索时，只检索所述第一数据库中数据，而对于所述第一数据库中所述同一类数据只显示所述同一类数据中最后添加的一条数据。

4.根据权利要求2所述的大数据智能采集处理方法，其特征在于所述相似度γ的计算方法为：γ=∑ρi*σi ,(i=1..n)

n为数据标签的个数；

ρi为第i个数据标签的权重值；

σi为两条数据第i个数据标签的标签相似度。

5.根据权利要求1所述的大数据智能采集处理方法，其特征在于:

如果所述第一数据库中有被标注为同一类数据的数据Φ={ψ1…ψn},n≥2；

ψn+1同Φ中任何一条数据或多条数据，被标注为同一类数据，则同一类数据的数据Φ={ψ1…ψn+1}。

6.根据权利要求1所述的大数据智能采集处理方法，其特征在于: 所述实时智能抓取公开信息的抓取数据源包括网站、即时聊天工具的公开信息。

7.根据权利要求1所述的大数据智能采集处理方法，其特征在于: 所述实时智能抓取公开信息时，通过关键词或算法，对原始数据进行智能提取分类，获得具有多个数据标签的所述采集数据。