[发明专利]一种多数据源的数据处理方法、设备及存储介质

权利要求书

1.一种多数据源的数据处理方法，其特征在于，包括：

根据预设数据提取策略以及数据源的数据库类型，对数据源进行内容提取，获取提取数据；

根据所述提取数据的数据类型以及预设过滤策略，获取过滤后的数据；

采用预设分析策略，对所述过滤后的数据进行分析匹配，获取符合所述预设分析策略要求的内容并进行存储。

2.根据权利要求1所述的方法，其特征在于，所述根据预设数据提取策略以及数据源的数据库类型，对数据源进行内容提取，获取提取数据，包括：

若所述数据源为关系型数据库，对所述数据源中的多张表进行切分，得到切分数据；或者，

若所述数据源为非关系型数据库，对所述数据源中的每张表中的内容进行切分，得到切分数据；

对每一份所述切分数据进行内容提取，得到所述提取数据。

3.根据权利要求2所述的方法，其特征在于，所述对每一份所述切分数据进行内容提取，得到所述提取数据，包括：

每次对一份所述切分数据进行内容提取后，获取并保存每份所述切分数据对应的数据信息；

若内容提取中断，则根据已保存的数据信息，继续执行内容提取，直至所有所述切分数据提取完成，获取所有所述切分数据对应的提取数据。

4.根据权利要求3所述的方法，其特征在于，所述若内容提取中断，则根据已保存的提取信息，继续执行内容提取，直至所有所述切分数据提取完成，获取所有切分数据对应的提取数据，包括：

若所述数据源为关系型数据库，当所述内容提取中断时，根据中断表的位置信息继续执行内容提取，直至所有所述切分数据提取完成，获取所有所述切分数据对应的提取数据，其中，所述中断表的位置信息用于记录上次提取的位置；

若所述数据源为非关系型数据库，根据所述中断表的主键继续执行内容提取，直至所有所述切分数据提取完成，获取所有所述切分数据对应的提取数据，其中，所述中断表中的主键用于记录上次提取的位置。

5.根据权利要求1所述的方法，其特征在于，所述数据类型包括：文本类型或文件类型；

所述文本类型对应的所述预设过滤策略包括：根据指定字段过滤；

所述文件类型对应的所述预设过滤策略包括下述任一种：根据文件大小进行过滤、根据文件格式进行过滤、根据存储时间进行过滤。

6.根据权利要求1所述的方法，其特征在于，所述过滤后的数据包括：文本类型或文件类型；

所述采用预设分析策略，对所述过滤后的数据进行分析匹配，获取符合所述预设分析策略要求的内容并进行存储，包括：

若所述数据源为文本类型，根据所述过滤后的数据中的字段匹配所述预设分析策略中的关键词，获取符合所述预设分析策略要求的内容并进行存储；

若所述数据源为文件类型，提取所述文件类型的所述过滤后的数据对应的字段，匹配所述预设分析策略中的关键词，获取符合所述预设分析策略要求的内容并进行存储。

7.根据权利要求1所述的方法，其特征在于，在所述根据预设数据提取策略以及数据源的数据库类型，对数据源进行内容提取，获取提取数据，还包括：

获取多个所述数据源中文件数据对应的二进制数据，以及多个所述数据源中文本数据对应的字符数据。

8.一种多数据源的数据处理装置，其特征在于，包括：

提取模块，用于根据预设数据提取策略以及数据源的数据库类型，对数据源进行内容提取，获取提取数据；

过滤模块，用于根据所述提取数据的数据类型以及预设过滤策略，获取过滤后的数据；

分析模块，用于采用预设分析策略，对所述过滤后的数据进行分析匹配，获取符合所述预设分析策略要求的内容并进行存储。

9.一种电子设备，其特征在于，包括：处理器、存储介质，所述存储介质存储可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序，以执行上述权利要求1-8中任一所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-8中任一所述的方法。