[发明专利]一种大数据智能采集处理方法和系统

摘要

大数据智能采集处理方法，包括以下步骤：S1.设置第一数据库和第二数据库；S2.设置网络智能机器人，获得采集数据；S3.将采集数据逐条同第一数据库中数据进行对比，将数据A存入第一数据库；否则将数据A存入第二数据库；S4.将数据A存入所述第二数据库时，进行相似度γ计算；S41.当相似度γ大于阈值β时，则将数据A，替换相似度γ最高的一条数据；S42.否则将数据A直接存入第二数据库；S5.超过时间阈值δ时，将第二数据库中的数据存入第一数据库，同时清除第二数据库中数据；S6.将第二数据库中的数据分别同第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。

主权项

1.一种大数据智能采集处理方法，其特征在于包括以下步骤：/nS1.设置第一数据库和第二数据库；/nS2.设置一个或多个网络智能机器人，实时智能抓取公开信息，获得采集数据；/nS3.将所述采集数据逐条同所述第一数据库中数据进行对比，当所述采集数据中数据A，同所述第一数据库中数据相似度γ均小于阈值α时，则将所述采集数据中数据A存入所述第一数据库；否则将所述采集数据中数据A存入所述第二数据库；/nS4. 将所述采集数据中数据A存入所述第二数据库时，将所述采集数据中数据A同所述第二数据库中数据进行相似度γ计算；/nS41.当所述采集数据中数据A同所述第二数据库中某一条或多条数据相似度γ大于阈值β时，则将所述采集数据中数据A，替换所述第二数据库中同所述采集数据中数据A相似度γ最高的一条数据；/nS42.否则将所述采集数据中数据A直接存入所述第二数据库；/nS5.超过时间阈值δ时，将所述第二数据库中的数据存入所述第一数据库，同时清除所述第二数据库中数据；/nS6.将所述第二数据库中的数据存入所述第一数据库时，将所述第二数据库中的数据分别同所述第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。/n