[发明专利]数据的流式处理方法、装置及分布式文件系统HDFS

权利要求书

1.一种数据的流式处理方法，应用于分布式文件系统HDFS，所述方法包括：

接收客户端发送的针对指定文件的数据流式处理任务；其中，所述数据流式处理任务包括所述指定文件对应的流式处理逻辑；

基于所述数据流式处理任务，接收所述客户端发送的单位数据；及，将所述单位数据存储至所述指定文件中；

监测所述单位数据是否成功存储至所述指定文件中；

若是，则按照所述流式处理逻辑对所述单位数据执行相应的流式处理，得到处理结果。

2.根据权利要求1所述的方法，在接收客户端发送的针对指定文件的数据流式处理任务之前，还包括：

接收所述客户端发送的用于新建所述指定文件的第一指令；其中，所述第一指令中包括所述指定文件的文件元信息；所述文件元信息包括文件名、文件权限、文件路径、文件创建者中的至少一项信息；

根据所述第一指令新建所述指定文件；

将所述指定文件划分为多个预定大小的数据块；及，将各所述数据块分布在所述分布式文件系统HDFS的数据节点上；其中，所述数据块用于存储所述单位数据。

3.根据权利要求2所述的方法，所述将所述单位数据存储至所述指定文件中，包括：

根据各所述数据块的相关存储信息，确定用于存储所述单位数据的第一数据块；其中，所述相关存储信息包括存储状态、分布位置中的至少一项；

将所述客户端发送的所述单位数据存储至所述第一数据块中。

4.根据权利要求1所述的方法，还包括：

按照预设频率更新所述处理结果；

将更新后的所述处理结果存储至所述分布式文件系统HDFS的任务追踪器中。

5.根据权利要求4所述的方法，还包括：

当接收到来自所述客户端的用于查询所述处理结果的查询请求时，获取最近一次更新后的目标处理结果；

将所述目标处理结果发送至所述客户端。

6.一种数据的流式处理装置，应用于分布式文件系统HDFS，所述装置包括：

第一接收模块，用于接收客户端发送的针对指定文件的数据流式处理任务；其中，所述数据流式处理任务包括所述指定文件对应的流式处理逻辑；

接收及存储模块，用于基于所述数据流式处理任务，接收所述客户端发送的单位数据；及，将所述单位数据存储至所述指定文件中；

监测模块，用于监测所述单位数据是否成功存储至所述指定文件中；

处理模块，用于若所述单位数据成功存储至所述指定文件中，则按照所述流式处理逻辑对所述单位数据执行相应的流式处理，得到处理结果。

7.根据权利要求6所述的装置，还包括：

第二接收模块，用于在接收客户端发送的针对指定文件的数据流式处理任务之前，接收所述客户端发送的用于新建所述指定文件的第一指令；其中，所述第一指令中包括所述指定文件的文件元信息；所述文件元信息包括文件名、文件权限、文件路径、文件创建者中的至少一项信息；

新建模块，用于根据所述第一指令新建所述指定文件；

划分及分布模块，用于将所述指定文件划分为多个预定大小的数据块；及，将各所述数据块分布在所述分布式文件系统HDFS的数据节点上；其中，所述数据块用于存储所述单位数据。

8.根据权利要求7所述的装置，所述接收及存储模块包括：

确定单元，用于根据各所述数据块的相关存储信息，确定用于存储所述单位数据的第一数据块；其中，所述相关存储信息包括存储状态、分布位置中的至少一项；

存储单元，用于将所述客户端发送的所述单位数据存储至所述第一数据块中。

9.根据权利要求6所述的装置，还包括：

更新单元，用于按照预设频率更新所述处理结果；

第二存储单元，用于将更新后的所述处理结果存储至所述分布式文件系统HDFS的任务追踪器中。