[发明专利]流处理方法及装置

权利要求书

1.一种流处理方法，其特征在于，所述方法应用于流处理系统，所述流处理系统包括流处理管理单元以及流处理计算单元，所述方法包括：

所述流处理管理单元接收客户端发送的流处理任务，其中所述流处理任务包括流处理逻辑和待处理文件在分布式文件系统的路径，所述分布式文件系统包括元数据管理节点和多个数据存储节点，每一所述数据存储节点设置有流处理计算单元；

所述流处理管理单元从所述元数据管理节点获取所述待处理文件的路径对应的各个块的块号，以及各个块所在的数据存储节点的网络地址；

所述流处理管理单元分别将所述流处理逻辑和所述各个块的块号发送至各个块所在的数据存储节点的流处理单元；

所述流处理计算单元从所在的数据存储节点获取接收到的所述块号对应的块数据，针对所述接收到的所述块号对应的块数据执行所述流处理逻辑。

2.根据权利要求1所述的方法，其特征在于，所述数据存储节点设置有数据管理单元，所述流处理计算单元设置为程序库，所述数据管理单元通过加载所述程序库执行所述流处理计算单元的功能。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述流处理计算单元将执行所述流处理逻辑获取的处理结果发送至所述流处理管理单元。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述元数据管理节点记录有所述待处理文件在所述分布式文件系统的路径与各个块的块号的第一对应关系，所述流处理管理单元从所述元数据管理节点获取所述路径对应的各个块的块号，以及各个块所在的数据存储节点的网络地址具体包括：

所述流处理管理单元根据所述待处理文件在所述分布式文件系统的路径从所述第一对应关系获取各个块的块号。

5.根据权利要求4所述的方法，其特征在于，所述元数据管理节点记录有各个块的块号与各个块所在的数据存储节点的网络地址的第二对应关系，所述流处理管理单元从所述元数据管理节点获取所述路径对应的各个块的块号，以及各所述个块的块号所在的数据存储节点的网络地址具体包括：

所述流处理管理单元根据各个块的块号从所述第二对应关系获取各个块所在的数据存储节点的网络地址。

6.一种流处理系统，其特征在于，包括流处理管理单元以及流处理计算单元，

所述流处理管理单元，用于接收客户端发送的流处理任务，其中所述流处理任务包括流处理逻辑和待处理文件在分布式文件系统的路径，所述分布式文件系统包括元数据管理节点和多个数据存储节点，每一所述数据存储节点设置有流处理计算单元；

所述流处理管理单元，还用于从所述元数据管理节点获取所述路径对应的各个块的块号，以及各个块所在的数据存储节点的网络地址；

所述流处理管理单元，还用于分别将所述流处理逻辑和所述各个块的块号发送至各个块所在的数据存储节点的流处理单元；

所述流处理计算单元，用于从所在的数据存储节点获取接收到的所述块号对应的块数据，针对所述接收到的所述块号对应的块数据执行所述流处理逻辑。

7.根据权利要求6所述的系统，其特征在于，所述数据存储节点设置有数据管理单元，所述流处理计算单元设置为程序库，所述数据管理单元通过加载所述程序库执行所述流处理计算单元的功能。

8.根据权利要求6所述的系统，其特征在于，

所述流处理计算单元，还用于将执行所述流处理逻辑获取的处理结果发送至所述流处理管理单元。

9.根据权利要求6所述的系统，其特征在于，所述元数据管理节点记录有所述待处理文件在所述分布式文件系统的路径与各个块的块号的第一对应关系，所述流处理管理单元具体用于：

根据所述待处理文件在所述分布式文件系统的路径从所述第一对应关系获取各个块的块号。