[发明专利]支持迭代计算的流式数据处理单元及系统

摘要

本发明提供一种支持迭代计算的流式数据处理单元及系统。该处理单元包括：至少一个输入适配和多个处理节点，处理节点包括流式算子和迭代式算子，输入适配与流式算子或迭代式算子之间通过有向边连接，流式算子与迭代式算子或流式算子之间通过有向边连接。本发明提供的支持迭代计算的流式数据处理单元及系统，可实现流式数据处理中的基本的迭代计算需求，解决了流式数据处理中的迭代计算问题。

主权项

1.一种支持迭代计算的流式数据处理单元，其特征在于，包括：至少一个输入适配和多个处理节点，所述处理节点包括流式算子和迭代式算子，所述输入适配与所述流式算子或迭代式算子之间通过有向边连接，所述流式算子与所述迭代式算子或所述流式算子之间通过有向边连接；所述输入适配用于：接收数据流，并将接收的数据流按照预设的封装策略封装为流式数据消息后发送给所连接的处理节点；所述流式算子用于：将接收到的流式数据消息放入第一处理队列中，调用预设的第一流式处理函数进行处理，将处理后产生的流式数据消息封装后发送给所连接的处理节点或输出；所述迭代式算子用于：在接收到流式数据消息时，将接收到的流式数据消息放入第二处理队列中，调用预设的第二流式处理函数进行处理，将处理后产生的流式数据消息封装后发送给所连接的处理节点或输出，和/或，将处理后产生的迭代数据消息发送给自身或与自身并行化的迭代式算子；在接收到迭代数据消息时，将接收到的迭代数据消息放入第三处理队列中，调用预设的迭代处理函数进行处理；其中，所述流式数据消息包含待处理数据，所述迭代数据消息包含待处理数据、迭代轮数和最大迭代轮数；所述迭代式算子还用于：在调用预设的迭代处理函数进行处理后，判断是否产生新的迭代数据消息，若产生，则将所述新的迭代数据消息中的迭代轮数加一，在判断出加一操作后的迭代轮数大于最大迭代轮数时结束迭代，否则将加一操作后的新的迭代数据消息发送给自身或与自身并行化的迭代式算子。