[发明专利]数据处理方法、设备、系统及存储介质

权利要求书

1.一种数据处理系统，其特征在于，包括：用户界面层和数据处理层；其中，

所述用户界面层，用于展示抽取模式配置组件和数据源配置组件，以及响应于针对所述抽取模式配置组件和所述数据源配置组件的配置操作，生成数据抽取任务；

所述数据处理层，用于按照所述数据抽取任务中指定的目标抽取模式，获取所述数据抽取任务中指定的目标数据源指向的目标数据。

2.根据权利要求1所述的系统，其特征在于，所述用户界面层，还用于：

响应于针对所述抽取模式配置组件的触发操作，展示至少一种抽取模式；

响应于针对所述至少一种抽取模式的选择操作，将被选中的抽取模式作为所述目标抽取模式。

3.根据权利要求2所述的系统，其特征在于，所述至少一种抽取模式包括：采样模式、时序抽取模式、顺序抽取模式、随机抽取模式以及自定义抽取模式中的至少一种。

4.根据权利要求3所述的系统，其特征在于，所述用户界面层，还用于：

响应于针对所述采样模式的触发操作，展示采样规则设置组件，以供用户设置采样规则；或者，

响应于针对所述时序抽取模式的触发操作，展示时间设置组件，以供所述用户设置待抽取数据所属的时间段；或者，

响应于针对所述顺序抽取模式的触发操作，展示数据抽取顺序设置组件，以供所述用户设置待抽取数据的先后顺序；或者，

响应于针对所述随机抽取模式的触发操作，展示数据量设置组件，以供所述用户设置待抽取的数据量大小；或者，

响应于针对所述自定义抽取模式，展示抽取模式编辑组件，以供所述用户输入自定义的抽取模式。

5.根据权利要求1所述的系统，其特征在于，所述用户界面层，具体用于：

将抽取模式标识和数据源标识写入执行计划；其中，所述抽取模式标识用于指定目标抽取模式，数据源标识用于指定目标数据源；

根据所述执行计划，生成所述数据抽取任务。

6.根据权利要求5所述的系统，其特征在于，所述数据处理层，具体用于：

从所述数据抽取任务中，解析出所述目标抽取模式和所述目标数据源；

按照所述目标抽取模式，获取所述目标数据源指向的目标数据。

7.根据权利要求1所述的系统，其特征在于，所述数据处理层包括：任务管理单元、至少一个任务处理单元和数据分发单元；

所述任务管理单元，用于接收所述数据抽取任务，并根据所述目标数据源将所述数据抽取任务拆分为至少一个子任务，并将所述至少一个子任务提供给对应的任务处理单元；其中，每个子任务对应的数据源不同；

所述至少一个任务处理单元，用于：按照所述目标抽取模式，获取接收到的子任务对应的目标数据源所指向的目标数据片段；

所述数据分发单元，用于：将所述至少一个任务处理单元获取的目标数据片段进行整合，以得到所述目标数据；并将所述目标数据提供给所述用户。

8.根据权利要求7所述的系统，其特征在于，所述任务管理单元，具体用于：按照待抽取数据在所述目标数据源中的存储顺序，将所述数据抽取任务拆分成多个子任务；其中，每个子任务携带顺序标识。

9.根据权利要求8所述的系统，其特征在于，所述至少一个任务处理单元，具体用于：

调用多个线程并行获取接收到的子任务对应的目标数据源所指向的目标数据片段，并将接收到的子任务携带的顺序标识添加至所述目标数据片段中。

10.根据权利要求9所述的系统，其特征在于，所述数据分发单元，具体用于：

按照所述至少一个任务处理单元提供的目标数据片段的顺序标识，整合所述至少一个任务处理单元提供的目标数据片段，以得到所述目标数据。