[发明专利]一种筛选数据的提取与融合方法

说明书

本发明公开了一种筛选数据的提取与融合方法，特征在于，包括筛选数据的提取方法和筛选数据的融合方法；本发明方法通过将数据库的信息提取转化到的对应网站上进行筛选、提取出来，且通过网站的自动登录设置，实现自动筛选、提取目标数据，将筛选提取出来的数据分别进行融合、合并，放入到同一文件夹，自动且精准获取目标数据，有效的减少人力和时间成本，大大的提升了工作效率。

本发明涉及信息学技术领域，具体是一种筛选数据的提取与融合方法。

背景技术

当我们需要通过对某领域的数据库进行一些数据的提取或者是对所提取的数据进行融合时，都需要进行繁多的操作步骤才能得到所需得目标数据，十分不便于各领域工作人员操作，而且工程量巨大，耗时耗力，鉴于此，本发明提供一种筛选数据的提取与融合方法。

发明内容

本发明所要解决的技术问题是提供一种筛选数据的提取与融合方法，可以有效解决上述背景技术中提出的问题。

为解决上述问题，本发明所采取的技术方案是：一种筛选数据的提取与融合方法，其特征在于，包括筛选数据的提取方法和筛选数据的融合方法；所述筛选数据的提取方法，包括如下步骤：

S1、确认需要筛查的目标数据，根据目标数据的类型选取对应的数据库；

S2、从数据库中查询目标数据的源基本信息，并将其提取出来，然后存储为csv格式，定义为源基本信息数据集；

S3、将需要筛查的目标数据对应的源网站设置到程序中，便于系统自动进行登陆访问；

S4、从源基本信息数据集中逐条读取数据，并逐一向指定的对应源网址发送数据请求，网站即返回网页信息：

4-1、当返回网页信息包含错误信息，则重复步骤S4进行读取数据；

4-2、当返回网页信息无错误信息，则继续进行下一步；

S5、系统对返回的网页信息进行解析，获取所需的目标数据信息，并将所需的目标数据信息存储到内存数据中，实现指定目标数据的筛查及收集；

S6、是否遍历完成所有的基本信息数据集：

6-1、是：获取了所有源基本信息数据集中对应的筛查数据信息，进入下一步；

6-2、否：遗漏了部分源基本信息数据集对应的筛查数据信息，返回步骤S6重新读取筛查数据；

S7、将提取的内存数据存入到csv格式文件中，定义为目标数据，得到目标数据的所有信息；

所述筛选数据的融合方法，其特征在于，包括所述筛选数据的提取方法，具体步骤如下：

A1、从源基本信息数据集中读取一条数据，表示为基本信息A，其中包含了登录需要的源基本信息；读取数据库，定义为数据N；读取目标数据，定义为目标数据S；

A2、将数据N与目标数据S通过合并算法，且按照三元组的格式进行融合，形成合并信息M；

A3、将基本信息A逐个与步骤A2的合并信息M进行拼接后存入合并数据集；

A4、是否遍历完成所有源基本信息数据集；

4-1、否：遗漏了部分源基本信息数据集对应的筛查数据信息，返回步骤A1重新读取；

4-2、是：获取了所有源基本信息数据集对应目标的筛查数据信息。

作为本发明的进一步优选方案，所述源基本信息为目标信息的母信息。

作为本发明的进一步优选方案，所述N包含每个元素n，且N为一个二元组，同样的S里包含每个元素s，且S为一个二元组。