[发明专利]数据集采集方法、系统、设备及存储介质

权利要求书

1.一种数据集采集方法，其特征在于，包括：

通过第一语言数据处理节点获取数据获取请求，所述数据获取请求包括查询语句，第一语言为JAVA语言；

基于所述数据获取请求获取第一拆分规则；

基于所述第一拆分规则将所述查询语句拆分为多个子查询语句；

基于所述多个子查询语句获取多个第一数据，并将所述多个第一数据保存到对应的多个临时文件；

通过第二语言数据处理节点加载所述多个临时文件，并对所述多个临时文件执行特征计算，生成所述多个临时文件对应的多个特征值，第二语言为Python语言；

基于所述多个特征值，得到第一数据集；及

基于预设的第二拆分规则，将所述第一数据集拆分为多个目标数据集，并将多个目标数据集存储于数据表单中；

其中，所述通过第一语言数据处理节点获取数据获取请求的步骤之后，包括：

解析所述数据获取请求，得到待获取的多个目标数据对应的多个目标字段名称；

基于所述多个目标字段名称整合预设的数据表单中对应的字段名称，以得到整合后的数据表单；

其中，所述基于所述数据获取请求获取第一拆分规则的步骤，包括：

获取在预设时间内服务器的配置数据和负载数据；

基于所述配置数据和所述负载数据，从第一拆分规则集合中获取多个第一候选拆分规则；及

基于所述数据获取请求，从所述多个第一候选拆分规则中获取第一拆分规则；

其中，所述基于所述多个子查询语句获取多个第一数据，并将所述多个第一数据保存到对应的多个临时文件的步骤，包括：

基于所述多个子查询语句生成查询请求，并通过所述第一语言数据处理节点将所述查询请求发送至数仓组件，所述数仓组件用于将所述查询请求转换为多个线程查询任务；

接收所述数仓组件发送的多个线程查询任务；

基于所述多个线程查询任务获取多个第一数据；

根据预设的第三拆分规则将所述多个第一数据拆分保存到对应的多个临时文件中；

其中，所述通过第二语言数据处理节点加载所述多个临时文件，并对所述多个临时文件执行特征计算，生成所述多个临时文件对应的多个特征值还包括：

通过所述第二语言数据处理节点接收所述第一语言数据处理节点发送的调用指令；

基于所述调用指令，通过所述第二语言数据处理节点将所述多个临时文件加载至内存；

基于所述多个临时文件与数据表单中列的对应关系，对被加载在所述内存中的多个临时文件执行多进程特征计算，生成所述多个临时文件对应的所述多个特征值。

2.根据权利要求1所述的数据集采集方法，其特征在于，基于所述多个临时文件与数据表单中列的对应关系，对被加载在所述内存中的多个临时文件执行多进程特征计算，生成所述多个临时文件对应的所述多个特征值，包括：

识别所述多个临时文件，以获取所述多个临时文件对应的数据类型；

基于所述多个临时文件的数据类型获取对应的特征计算算法；

基于所述特征计算算法和每个临时文件与数据表单中列的对应关系，对所述多个临时文件执行所述多进程特征计算，生成所述多个临时文件对应的所述多个特征值。

3.根据权利要求1所述的数据集采集方法，其特征在于，还包括：将获取到的数据表单存储于区块链中。