[发明专利]数据处理系统及其方法有效
申请号: | 202110568222.3 | 申请日: | 2021-05-25 |
公开(公告)号: | CN113254206B | 公开(公告)日: | 2021-09-28 |
发明(设计)人: | 李新奇;成诚;柳俊丞;李一鹏;袁进辉 | 申请(专利权)人: | 北京一流科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F9/448 |
代理公司: | 北京金讯知识产权代理事务所(特殊普通合伙) 11554 | 代理人: | 黄剑飞 |
地址: | 100083 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理系统 及其 方法 | ||
1.一种数据处理系统,包括:多个数据执行器组,所述数据执行器组的组数与待处理数据的处理阶段的预定阶段数量相等,其中每个数据执行器组包括至少一个数据处理执行器,所述多个数据执行器组中的第一数据执行器组中的数据处理执行器在启动后,先连续执行预定次数的前向数据处理后交替执行前向数据处理和后向数据处理,所述多个数据执行器组中的第一数据执行器组之后的数据执行器组中的数据处理执行器,按照数据接收的先后顺序,针对其所获得前一数据执行器组中的数据处理执行器执行前向数据处理所产生的前向结果数据,执行前向数据处理,或针对其所获得后一数据执行器组中的数据处理执行器执行后向数据处理所产生的模型更新参数,执行后向数据处理,其中所述每个数据执行器组在执行完一次前向数据处理或后向数据处理时,在存在其前一数据执行器组中的数据处理执行器执行前向数据处理所产生的一个或多个前向结果数据需要执行前向数据处理时,和在存在其后一数据执行器组中的数据处理执行器执行后向数据处理所产生的一个或多个模型更新参数需要执行后向数据处理时,先针对所接收到的模型更新参数执行后向数据处理。
2.根据权利要求1所述的数据处理系统,其中所述预定次数等于所述数据执行器组的组数。
3.根据权利要求1所述的数据处理系统,还包括:数据执行器分组组件,其基于待处理数据的处理阶段中每个处理阶段的计算量,将多个数据执行器对应分组成所述多个数据执行器组,以便针对每个批次的数据,均衡每个数据执行器执行数据处理的计算量。
4.根据权利要求1所述的数据处理系统,还包括:处理阶段划分组件,其将数据处理过程平均划分成多个与处理阶段对应的数据处理场景使得每个场景的数据处理时间一致。
5.根据权利要求1所述的数据处理系统,其中每个数据执行器组中的模型参数存储器最多存储与所述预定次数相等数量版本的模型更新参数,以便正在执行的前向数据处理采用模型参数存储器中所存储的最新版本的模型更新参数来执行前向数据处理。
6.根据权利要求1所述的数据处理系统,其中第一数据执行器组在启动后先连续执行预定次数的前向数据处理后在未获得第一版模型更新参数时,等待来自第二数据执行器组执行的后向数据处理所产生的第二数据执行器组的第一版模型更新参数之后才基于所述第二数据执行器组的第一版模型更新参数执行后向数据处理,以便输出第一数据执行器组的第一版模型更新参数。
7.一种数据处理方法,包括:
将数据处理过程平均划分成多个与处理阶段对应的数据处理场景使得每个场景的数据处理时间一致;
基于待处理数据的处理阶段中每个处理阶段的计算量,将多个数据执行器对应分组成多个数据执行器组,每个数据执行器组包括至少一个数据处理执行器;
所述多个数据执行器组中的第一数据执行器组中的数据处理执行器在启动后先连续执行预定次数的前向数据处理后交替执行前向数据处理和后向数据处理;以及
所述多个数据执行器组中的第一数据执行器组之后的数据执行器组中的数据处理执行器,按照数据接收的先后顺序,针对其所获得前一数据执行器组中的数据处理执行器执行前向数据处理所产生的前向结果数据,执行前向数据处理,或针对其所获得后一数据执行器组中的数据处理执行器执行后向数据处理所产生的模型更新参数,执行后向数据处理。
8.根据权利要求7所述的数据处理方法,其中还包括:
所述每个数据执行器组在执行完一次前向数据处理或后向数据处理时,在存在其前一数据执行器组中的数据处理执行器执行前向数据处理所产生的一个或多个前向结果数据需要执行前向数据处理时,和在存在其后一数据执行器组中的数据处理执行器执行后向数据处理所产生的一个或多个模型更新参数需要执行后向数据处理时,先针对所接收到的模型更新参数执行后向数据处理。
9.根据权利要求7所述的数据处理方法,其中所述预定次数等于所述数据执行器组的组数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京一流科技有限公司,未经北京一流科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110568222.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种混云模式下的服务治理方法及系统
- 下一篇:一种视频异常事件检测方法和芯片