[发明专利]一种多数据源的数据处理方法、设备及存储介质

说明书

本申请提供一种多数据源的数据处理方法、设备及存储介质，涉及数据处理技术领域。该数据处理方法包括：根据预设数据提取策略以及数据源的数据库类型，对数据源进行内容提取，获取提取数据；根据提取数据的数据类型以及预设过滤策略，获取过滤后的数据；采用预设分析策略，对过滤后的数据进行分析匹配，获取符合预设分析策略要求的内容并进行存储。从而提高了数据处理精度，降低了服务器的消耗。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种多数据源的数据处理方法、设备及存储介质。

背景技术

随着大数据时代的到来，数据中往往存在着大量可用的信息，这些大量可用的信息都需要我们从数据中去提取并归档，以便于我们能获得数据中有用的内容。

现有的数据处理中，有很多的数据ETL(extract transform load，抽取、转换、加载)工具，实现的方式也是各种各样。但是由于数据源的种类、版本以及实现方式的都各不相同，导致在数据提取转换的过程中，有用数据可能无法被更好地保留，而数据中很多并没有实际作用的数据却被保留下来。

可见，现有的处理方法中，数据处理精准度降低，且大量的无价值数据将给服务器带来更多的消耗。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种多数据源的数据处理方法、设备及存储介质，以解决现有技术中数据处理精准度降低，且大量的无价值数据将给服务器带来更多的消耗等问题。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种多数据源的数据处理方法包括：

根据预设数据提取策略以及数据源的数据库类型，对数据源进行内容提取，获取提取数据；

根据所述提取数据的数据类型以及预设过滤策略，获取过滤后的数据；

采用预设分析策略，对所述过滤后的数据进行分析匹配，获取符合所述预设分析策略要求的内容并进行存储。

可选地，所述根据预设数据提取策略以及数据源的数据库类型，对数据源进行内容提取，获取提取数据，包括：

若所述数据源为关系型数据库，对所述数据源中的多张表进行切分，得到切分数据；

若所述数据源为非关系型数据库，对所述数据源中的每张表中的内容进行切分，得到切分数据；

对每一份所述切分数据进行内容提取，得到所述提取数据。

可选地，所述对每一份所述切分数据进行内容提取，得到所述提取数据，包括：

每次对一份所述切分数据进行内容提取后，获取并保存每份所述切分数据对应的数据信息；

若内容提取中断，则根据已保存的数据信息，继续执行内容提取，直至所有所述切分数据提取完成，获取所有所述切分数据对应的提取数据。

可选地，所述若内容提取中断，则根据已保存的提取信息，继续执行内容提取，直至所有所述切分数据提取完成，获取所有切分数据对应的提取数据，包括：

若所述数据源为关系型数据库，当所述内容提取中断时，根据中断表的位置信息继续执行内容提取，直至所有所述切分数据提取完成，获取所有所述切分数据对应的提取数据，其中，所述中断表的位置信息用于记录上次提取的位置；

若所述数据源为非关系型数据库，根据所述中断表的主键继续执行内容提取，直至所有所述切分数据提取完成，获取所有所述切分数据对应的提取数据，其中，所述中断表中的主键用于记录上次提取的位置。

可选地，所述数据类型包括：文本类型或文件类型；

所述文本类型对应的所述预设过滤策略包括：根据指定字段过滤；