[发明专利]一种大数据智能采集处理方法和系统

说明书

大数据智能采集处理方法，包括以下步骤：S1.设置第一数据库和第二数据库；S2.设置网络智能机器人，获得采集数据；S3.将采集数据逐条同第一数据库中数据进行对比，将数据A存入第一数据库；否则将数据A存入第二数据库；S4.将数据A存入所述第二数据库时，进行相似度γ计算；S41.当相似度γ大于阈值β时，则将数据A，替换相似度γ最高的一条数据；S42.否则将数据A直接存入第二数据库；S5.超过时间阈值δ时，将第二数据库中的数据存入第一数据库，同时清除第二数据库中数据；S6.将第二数据库中的数据分别同第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。

技术领域

本发明涉及信息技术领域，特别是涉及一种大数据智能采集处理方法和系统。

背景技术

随着大数据时代的到来，人们对数据的需求越来越旺盛。由于数据源在实际生活中千奇百怪，因此不经多重处理就进入数据库的数据很可能让数据的整体可靠性和有效性会大大降低，用这样的数据在进行后续的数据使用，其使用效率是很低的。为了获得更有效的文本数据，特别是适用于供应、需求、销售、交易、电商的数据处理，用户需要提取最及时有用的含有信息量大的数据，同时在适当时候，更新信息量相对较小的数据。

数据清洗方法及装置201010578479.9，获取经过粗分类的样本数据，将获取的样本数据作为第一数据集；对所述样本数据进行分类，获得所述样本数据的粗分类类别的权重，根据所述权重确定所述样本数据的粗分类类别在所有类别中的排序位置；根据所述样本数据的粗分类类别在所有类别中的排序位置和第一数据集中样本数据的总数量，获得综合评估结果；当根据所述综合评估结果确定需要对所述第一数据集进行清洗时，根据所述样本数据的粗分类类别在所有类别中的排序位置删除规定数量的排在末位的样本数据。

发明内容

本发明的目的是提供一种大数据智能采集处理方法和系统。通过该方法可以有效的及时对采集数据进行处理，提取最及时有用的含有信息量大的数据，同时保留信息量相对较小的数据，方便用户高效的使用数据。

一种大数据智能采集处理方法，包括以下步骤：

S1.设置第一数据库和第二数据库；

S2.设置一个或多个网络智能机器人，实时智能抓取公开信息，获得采集数据；

S3.将所述采集数据逐条同所述第一数据库中数据进行对比，当所述采集数据中数据A，同所述第一数据库中数据相似度γ均小于阈值α时，则将所述采集数据中数据A存入所述第一数据库；否则将所述采集数据中数据A存入所述第二数据库；

S4. 将所述采集数据中数据A存入所述第二数据库时，将所述采集数据中数据A同所述第二数据库中数据进行相似度γ计算；

S41.当所述采集数据中数据A同所述第二数据库中某一条或多条数据相似度γ大于阈值β时，则将所述采集数据中数据A，替换所述第二数据库中同所述采集数据中数据A相似度γ最高的一条数据；

S42.否则将所述采集数据中数据A直接存入所述第二数据库；

S5.超过时间阈值δ时，将所述第二数据库中的数据存入所述第一数据库，同时清除所述第二数据库中数据；

S6.将所述第二数据库中的数据存入所述第一数据库时，将所述第二数据库中的数据分别同所述第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。

作为优化，大数据智能采集处理方法采集的数据，至少包括发布内容一个数据标签。实际应用时采集到的数据至少含有发布人、发布内容、发布类型三个数据标签。

作为优化，大数据智能采集处理方法，进行数据检索时，只检索所述第一数据库中数据，而对于所述第一数据库中所述同一类数据只显示所述同一类数据中最后添加的一条数据。

作为优化，大数据智能采集处理方法，相似度γ的计算方法为：γ=∑ρi*σi ,(i=1..n)