[发明专利]内存资源原地共享决策系统及其方法

说明书

本发明公开了一种用于数据处理系统的内存资源原地共享决策系统，包括：原始共享关系树生成组件，在数据处理系统的任务拓扑图生成过程中，基于所有任务节点的共享标签生成一个或多个共享关系树，共享冲突识别组件，用于将其中存在第一共享冲突状态或第二共享冲突状态的一株共享关系树识别为含有冲突共享连接边的冲突共享关系树；以及共享冲突消除组件，用于通过在第一共享冲突状态下断开所述至少一个可修改共享连接边或在第二共享冲突状态下断开彼此之间存在共享冲突的一个或多个共享连接边，从而消除被识别为冲突共享关系树中的共享冲突。

技术领域

本公开涉及一种内存资源分配技术。更具体地说，本公开涉及一种用于为了节省内存资源的内存资源原地共享决策系统及其方法。

背景技术

本公开的申请人提出的静态分布式深度学习系统已经越来越受到深度学习领域的关注。

静态分布式学习系统从业务处理的全局出发，结合静态分布式系统的整体计算资源以及各个计算资源之间的拓扑关系，对所要处理的数据处理任务静态布置到整个数据处理上，由众多执行体静态组成业务处理网络，形成彼此关联的数据处理路径。执行体与执行体之间基于在网络中的上下游关系形成数据生产和消费关系，从而对输入数据进行流水化处理。尤其是，执行体之间靠消息（message）来协调进度，一个执行体会收到上游生产者和下游消费者的消息，当满足触发条件（有限状态自动机控制）时，执行体会发射一条指令给协处理器去执行，执行完毕之后，该执行体会给下游消费者发消息通知它有新的数据可以消费。通过执行体与相邻执行体之间的消息通讯方式来是实现彼此从数据生产和消费关系，由此消除了对数据出的实时的中心调度需求，实现了数据处理的去中心化。

然而，在静态布置系统下，需要预先为所有静态布置的执行单元（例如执行体）预先分配内存资源，因此，如何在静态分布式环境下合理地为各个执行单元预先分配内存资源，以便在内存资源量有限的情况下，保证数据处理时间效率的前提下提高内存使用效率成为一个所需面对的难题。为此，人们为了提高内存使用效率，提出了内存共享策略，这为数据处理系统充分利用内存资源提供了可能。但是在很多情况下，内存共享安排会导致一些数据处理环节之间彼此掣肘，影响到系统整体数据处理效率。因此，如何在实现内存共享的情况下提升内存资源的利用率又能够使得内存共享不影响系统整体数据处理效率，成为人们急需解决的问题。

发明内容

本公开的目的在于解决至少上述问题，具体而言，就是尽可能减少内存资源的使用。一种解决方式是在不影响执行体各自的功能的情况下，使得更多的执行体之间彼此共享内存资源。为此，本公开提供了一种用于数据处理系统的内存资源原地共享决策系统，包括：原始共享关系树生成组件，在数据处理系统的任务拓扑图生成过程中，基于所有任务节点的共享标签生成一个或多个共享关系树，每株共享关系树的每个共享关系对包括一个当前任务节点的逻辑输出数据缓存、上游任务节点的逻辑输出数据缓存以及用于连接两者以表示两者之间共享关系的共享连接边，从而每株共享关系树通过所有共享连接边使得所有逻辑输出数据缓存能够共享同一个指定输出数据缓存，并且所述共享连接边通过其对应当前任务节点的共享标签指明其为可修改共享连接边或不可修改共享连接边；共享冲突识别组件，用于将其中存在第一共享冲突状态或第二共享冲突状态的一株共享关系树识别为含有冲突共享连接边的冲突共享关系树，所述第一共享冲突状态为至少一个可修改共享连接边所对应的任务节点的执行时序早于其所在的共享分支中的上游逻辑输出数据缓存或其他共享分支中的任何逻辑输出数据缓存的位于所述共享关系树之外的下游任务节点的执行时序或与其不相关，以及所述第二共享冲突状态为至少一个可修改共享连接边所对应的任务节点的执行时序早于其他共享分支中的任何共享连接边所对应的任务节点的执行时序或与其不相关；以及共享冲突消除组件，用于通过在第一共享冲突状态下断开所述至少一个可修改共享连接边或在第二共享冲突状态下断开彼此之间存在共享冲突的一个或多个共享连接边，从而消除被识别为冲突共享关系树中的共享冲突。