[发明专利]用于异构架构的数据处理系统及其方法在审
申请号: | 201910633614.6 | 申请日: | 2019-07-15 |
公开(公告)号: | CN110222005A | 公开(公告)日: | 2019-09-10 |
发明(设计)人: | 袁进辉 | 申请(专利权)人: | 北京一流科技有限公司 |
主分类号: | G06F15/173 | 分类号: | G06F15/173;G06N3/04;G06N3/063 |
代理公司: | 北京金讯知识产权代理事务所(特殊普通合伙) 11554 | 代理人: | 黄剑飞 |
地址: | 100083 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 作业分解 任务数据 拓扑图 异构 数据处理系统 架构 任务关系 作业数据 输入数据处理 数据处理路径 拓扑图生成 固有关系 计算资源 节点属性 任务创建 任务节点 网络组件 创建 分解 | ||
1.一种用于异构架构的数据处理系统,包括:
任务拓扑图生成组件,用于将所需完成的作业分解为一系列由异构架构中执行体来执行的任务,并在作业分解的同时,基于所分解的任务之间的固有关系,生成任务关系拓扑图,所述任务拓扑图的任务节点含有执行对应任务所需的全部节点属性;
执行体创建组件,基于任务关系拓扑图在计算资源中为每个任务节点创建对应的执行体;以及
执行体网络组件,包含含有各种所创建的执行体的一条或多条数据处理路径,其在接收实际作业数据时,将实际作业数据分片成为任务数据,所述任务数据被连续输入数据处理路径中,以便完成任务数据的处理。
2.根据权利要求1所述的用于异构架构的数据处理系统,其还包括作业描述组件,用于基于作业类型描述作业神经网络模型以及作业所需申请的资源。
3.根据权利要求2所述的用于异构架构的数据处理系统,其中所述作业描述组件用于按照彼此区分分离方式从不同维度来描述作业,并且各个维度之间彼此正交。
4.根据权利要求1所述的用于异构架构的数据处理系统,其中所述异构架构包括一个或多个中央处理单元以及至少一个与其相连的协处理器设备端。
5.根据权利要求4所述的用于异构架构的数据处理系统,其中所述异构架构还包括连接多个中央处理单元之间的网关。
6.根据权利要求1所述的用于异构架构的数据处理系统,其中所述任务拓扑图的节点含有执行对应任务所需的全部节点属性。
7.根据权利要求6所述的用于异构架构的数据处理系统,其中所述全部节点属性包含指明节点所对应的任务所需的资源的资源属性以及触发任务执行的条件的条件属性。
8.根据权利要求1-7之一所述的用于异构架构的数据处理系统,其中所述任务拓扑图生成组件包括冗余节点消除单元以及阻塞节点消除单元之一或其组合。
9.根据权利要求1-7之一所述的用于异构架构的数据处理系统,其中每条所述数据处理路径包括一个或多个上游执行体和一个或多个下游执行体,每个下游执行体接收其上游执行体输出的经过处理的任务数据。
10.根据权利要求1-7之一所述的用于异构架构的数据处理系统,其中所述执行体包括有限状态机和处理组件,处理组件每次在所述有限状态机满足预定条件时执行被创建时指定的任务。
11.根据权利要求1-7之一所述的用于异构架构的数据处理系统,其中所述执行体包括消息仓,并通过消息仓接收其上游或下游执行体的消息,从而基于来自上游执行体的消息获取上游执行体所产生的任务数据以及基于来自下游执行体的消息而空置本地内存。
12.根据权利要求1-7之一所述的用于异构架构的数据处理系统,其中所述执行体为搬运执行体或计算执行体。
13.一种用于异构架构的数据处理方法,包括:
作业分解步骤,用于将所需完成的作业分解为一系列由异构架构中执行体来执行的任务;
任务关系拓扑图生成步骤,在作业分解步骤进行作业分解的同时,基于所分解的任务之间的固有关系,生成任务关系拓扑图,所述任务拓扑图的任务节点含有执行对应任务所需的全部节点属性;
执行体创建步骤,基于任务关系拓扑图在计算资源中为每个任务节点创建对应的执行体;以及
任务数据处理步骤,在接收实际作业数据时,将实际作业数据分片成为任务数据,所述任务数据被连续输入含有各种所创建的执行体的一条或多条数据处理路径中,以便完成任务数据的处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京一流科技有限公司,未经北京一流科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910633614.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种智慧景区管理系统
- 下一篇:基于RRAM的处理器架构及控制方法