[发明专利]任务处理方法、装置和电子设备有效
申请号: | 202110563454.X | 申请日: | 2021-05-21 |
公开(公告)号: | CN113176937B | 公开(公告)日: | 2023-09-12 |
发明(设计)人: | 徐波;李畅 | 申请(专利权)人: | 抖音视界有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 泰和泰律师事务所 51219 | 代理人: | 祝海燕 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 任务 处理 方法 装置 电子设备 | ||
1.一种任务处理方法,其特征在于,包括:
响应于确定任务处理引擎处理目标任务,确定与所述目标任务对应的目标存储空间,其中,所述目标存储空间用于存储与所述目标任务对应的数据;
基于预配置的数目,对所述目标存储空间中的数据进行数据切片划分,获得至少一个数据切片,其中,所述预配置的数目用于指示各数据切片中数据的数目;
将数据切片导入至算子处理层,其中,算子处理层包括至少一个算子,算子用于处理数据切片;
确定并展示数据切片的导入进度和各算子的完成进度,
基于各算子的完成进度和数据切片的导入进度,确定所述目标任务的处理完成时间,其中,所述处理完成时间用于配置处理任务,
基于第一类型算子的处理进度和所述导入进度,确定所述第一类型算子的完成进度;基于第二类型算子的上游算子的完成进度和所述第二类型算子的处理进度,确定所述第二类型算子的完成进度,其中,所述第二类型算子用于接收所述第二类型算子的上游算子处理完成的数据切片。
2.根据权利要求1所述的方法,其特征在于,所述基于预配置的数目,对所述目标存储空间中的数据进行数据切片划分,获得至少一个数据切片,包括:
将所述目标存储空间中数据存储单元依次排序,获得与每个数据存储单元对应的排序标识,其中,每个数据存储单元用于存储一个数据;
根据所述预配置的数目,确定目标排序标识,其中,目标排序标识和首个排序标识之间的排序标识数目,等于所述预配置的数目的整数倍;
响应于确定目标排序标识包括末尾排序标识,基于确定出的目标排序标识,获得至少一个数据切片;
响应于确定目标排序标识不包括末尾排序标识,基于确定出的目标排序标识和末尾排序标识,获得至少一个数据切片。
3.根据权利要求1所述的方法,其特征在于,所述基于预配置的数目,对所述目标存储空间中的数据进行数据切片划分,获得至少一个数据切片,包括:
将所述目标存储空间中数据存储单元依次排序,获得与每个数据存储单元对应的排序标识,其中,每个数据存储单元用于存储一个数据;
根据排序标识的指示,从起始排序标识所指示的存储单元开始依次读取预配置的数目的数据,确定目标排序标识,其中,目标数据存储单元和起始数据存储单元之间除数据空洞外的数据数目,等于所述预配置的数目的整数倍;其中,目标排序标识指示目标数据存储单元,所述起始排序标识指示所述起始数据存储单元;
响应于确定目标排序标识包括末尾排序标识,基于确定出的目标排序标识,获得至少一个数据切片;
响应于确定目标排序标识不包括末尾排序标识,基于确定出的目标排序标识和末尾排序标识,获得至少一个数据切片。
4.根据权利要求1所述的方法,其特征在于,所述将数据切片导入至算子处理层,包括:
根据游标逐个读取数据切片中的每个数据,以及对每个读取出的数据进行预处理;
将完成预处理的数据切片导入至所述算子处理层。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据已完成预处理的数据切片的数量和数据切片的总量,确定数据切片的预处理进度信息;
展示所述预处理进度信息。
6.根据权利要求1所述的方法,其特征在于,所述算子处理层包括第一类型算子和第二类型算子,以及,所述将数据切片导入至算子处理层,包括:
将所述数据切片导入至第一类型算子,其中,第二类型算子用于接收第一类型算子输出的数据切片或第二类型算子输出的数据切片。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于抖音视界有限公司,未经抖音视界有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110563454.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种智能电表的电能质量监测系统
- 下一篇:公积金提取方法及装置