[发明专利]一种优化数据流架构访存延迟的方法及其系统

摘要

本发明公开一种优化数据流架构的访存延迟的方法及其系统。传统的数据流架构为了保证上下文数据的正确流动，上游节点和下游节点之间的数据交互采用握手的方式进行通信协调。下游的数据源指令槽空闲之后，会向上游节点发送“Ready”状态(表明下游节点可以接收新的数据)，另一个方面，上游节点只有当收到下游节点的“Ready”确认之后，才能向下游发送数据。对于访存指令来说，尤其是Load指令，在这种协议框架下的延迟格外长。本发明针对传统数据流架构的数据传输特点，通过在数据流架构的每个节点增加针对访存延迟的预测、训练、和令牌机制，有效地优化访存指令的传输延迟，从而提高整个数据流架构的执行效率和数据吞吐率。

主权项

一种优化数据流架构访存延迟的方法，其特征在于，包括以下步骤：S1：上游节点对下游节点反馈空闲状态的时间进行预测，并将得到的预测时间与一阈值进行比较；当所述预测时间小于所述阈值时，执行推测模式进行数据访存；当所述预测时间小于所述阈值时，执行三段式握手模式进行数据访存；S2：所述推测模式的执行步骤为：所述上游节点向片上缓存节点发送带有令牌信息的数据包，并同时向下游节点发送令牌信息；所述片上缓存节点将所述带有令牌信息的数据包发送给下游节点；所述下游节点将从所述片上缓存节点中收到的数据包中的令牌信息与从所述上游节点收到的令牌信息进行比较；如果两个令牌信息的比较结果一致且所述下游节点的指令槽为空闲状态，则所述下游节点向所述上游节点发送确认信息；S3：如果两个令牌信息的比较结果不一致或者所述下游节点的指令槽不为空闲状态，则所述下游节点丢弃来自片上缓存节点的数据包和来自上游节点的令牌信息，不向所述上游节点反馈任何信息；待所述下游节点的指令槽为空闲状态时，执行三段式握手模式进行数据访存。