[发明专利]基于知识库面向大数据及普通数据的数据采集方法和系统

摘要

本发明涉及一种数据采集方法和系统，方法包括：获取采集条件，并根据采集条件获取目标数据，其中，采集条件包括采集对象和采集属性；从知识库获取对应目标数据的样本数据；根据目标数据和样本数据判断目标数据是否可信；若是，则采集目标数据存入目标数据库或大数据存储库。如此，可以根据知识库中的样本数据对目标数据进行正确性验证，在判定目标数据可信时才进行采集，避免采集到错误数据，提高数据采集的正确率。

主权项

1.一种数据采集方法，其特征在于，包括以下步骤：/n获取采集条件，并根据所述采集条件获取目标数据，其中，所述采集条件包括采集对象和采集属性；/n从知识库获取对应所述目标数据的样本数据；/n根据所述目标数据和所述样本数据判断所述目标数据是否可信；/n若是，则采集所述目标数据存入目标数据库或大数据存储库；/n所述从知识库获取对应所述目标数据的样本数据的步骤包括:/n从所述知识库中获取与所述目标数据的所述采集条件中采集对象不同、采集属性相同的标准数据作为第一所述样本数据；/n所述根据所述目标数据和所述样本数据判断所述目标数据是否可信的步骤包括：/n获取提供所述目标数据的被采集对象，并获取所述被采集对象提供的采集对象和采集属性均与第一所述样本数据相同的数据作为样本采集数据；/n分别提取所述样本采集数据和第一所述样本数据的预设特征；/n判断所述样本采集数据的预设特征与第一所述样本数据的预设特征之间的匹配度是否大于或等于预设值，其中，预设特征可以根据目标数据的采集条件进行选择；/n若是，则判定所述目标数据可信，其中，预设值可以根据需要的数据采集正确率进行具体设置。/n