[发明专利]流处理方法及装置

摘要

本发明实施例公开了一种流处理方法及装置，该方法包括：流处理管理单元接收客户端发送的流处理任务；流处理管理单元从元数据管理节点获取待处理文件的路径对应的各个块的块号，以及各个块所在的数据存储节点的网络地址；流处理管理单元分别将流处理逻辑和各个块的块号发送至各个块所在的数据存储节点的流处理单元；流处理计算单元从所在的数据存储节点获取接收到的块号对应的块数据，针对接收到的块号对应的块数据执行流处理逻辑。通过以上方式，可克服因流处理系统与数据存储节点之间的网络传输速度较低而影响流处理的速度的技术问题。

主权项

1.一种流处理方法，其特征在于，所述方法应用于流处理系统，所述流处理系统包括流处理管理单元以及流处理计算单元，所述方法包括：所述流处理管理单元接收客户端发送的流处理任务，其中所述流处理任务包括流处理逻辑和待处理文件在分布式文件系统的路径，所述分布式文件系统包括元数据管理节点和多个数据存储节点，每一所述数据存储节点设置有流处理计算单元；所述流处理管理单元从所述元数据管理节点获取所述待处理文件的路径对应的各个块的块号，以及各个块所在的数据存储节点的网络地址；所述流处理管理单元分别将所述流处理逻辑和所述各个块的块号发送至各个块所在的数据存储节点的流处理单元；所述流处理计算单元从所在的数据存储节点获取接收到的所述块号对应的块数据，针对所述接收到的所述块号对应的块数据执行所述流处理逻辑。