[发明专利]用于处理数据块的方法和数据分析系统

权利要求书

1.一种在数据分析系统中处理数据块的计算机实现的方法，包括：

在块高速缓存中存储多个顺序的数据块，每个数据块包含一个或多个数据记录，每个数据记录包含一个或多个值以及记录标记，所述记录标记对所述数据记录的末尾进行标记；

将所述块高速缓存中的数据块分配给工作线程；

由所述工作线程解析所述数据块，以识别所述数据块内包含的所述一个或多个数据记录；

通过以下步骤确定所述数据块是否被正确解析：

确定所述数据块中真实的第一记录标记位置；

确定估计的第一记录标记位置是否与所述真实的第一记录标记位置匹配；以及

响应于所述估计的第一记录标记位置与所述真实的第一记录标记位置匹配，确定所述数据块被正确解析；以及

响应于确定所述数据块被正确解析，将所述数据块内包含的所述一个或多个数据记录提供给在所述数据分析系统上执行的数据分析工作流。

2.根据权利要求1所述的方法，其中，在所述块高速缓存中存储所述多个顺序数据块包括：

向数据源发出多个输入/输出(I/O)请求，所述多个I/O请求对多个顺序排序的数据块进行请求；

响应于所述多个I/O请求，从所述数据源接收所述多个顺序排序的数据块，其中，所述多个顺序排序的数据块以不同于所述数据块的次序的次序从所述数据源接收；

将所接收的多个顺序排序的数据块存储在所述块高速缓存中。

3.根据权利要求2所述的方法，其中，所述多个顺序排序的数据块被存储在响应于所述数据块的次序而确定的所述块高速缓存中的位置处。

4.根据权利要求1所述的方法，其中，存在多个工作线程，并且将所述块高速缓存中的数据块分配给工作线程包括：

将多个数据块分配给多个工作线程，所述多个工作线程适于同时解析所分配的多个数据块。

5.根据权利要求1所述的方法，其中，由所述工作线程解析所述数据块以识别所述数据块内包含的所述一个或多个数据记录包括：

扫描所述数据块以识别所述数据块内的第一记录标记位置；

解析所述数据块中的位于所述第一记录标记位置之后的数据记录；以及

由所述工作线程解析下一顺序数据块中的在所述下一顺序数据块内的第一记录标记位置之前发生的数据记录。

6.根据权利要求1所述的方法，其中，通过所述工作线程解析所述数据块来找到所述数据块的所述估计的第一记录标记位置；

由另一工作线程找到所述数据块中的所述真实的第一记录标记位置。

7.根据权利要求1所述的方法，还包括：

响应于所述估计的第一记录标记位置与所述真实的第一记录标记位置不匹配，确定所述数据块被错误地解析；以及

响应于确定所述数据块被错误地解析，使用所述数据块中的所述真实的第一记录标记位置来重新解析所述数据块。

8.一种用于处理数据块的计算机实现的数据分析系统，包括：

计算机处理器，其用于执行计算机程序指令；以及

非暂时性计算机可读存储器，其存储计算机程序指令，所述计算机程序指令能够由所述计算机处理器执行以执行操作，所述操作包括：

在块高速缓存中存储多个顺序的数据块，每个数据块包含一个或多个数据记录，每个数据记录包含一个或多个值以及记录标记，所述记录标记对所述数据记录的末尾进行标记；

将所述块高速缓存中的数据块分配给工作线程；

由所述工作线程解析所述数据块，以识别所述数据块内包含的所述一个或多个数据记录；

通过以下步骤确定所述数据块是否被正确解析：

确定所述数据块中真实的第一记录标记位置；

确定估计的第一记录标记位置是否与所述真实的第一记录标记位置匹配；以及

响应于所述估计的第一记录标记位置与所述真实的第一记录标记位置匹配，确定所述数据块被正确解析；以及

响应于确定所述数据块被正确解析，将所述数据块内包含的所述一个或多个数据记录提供给在所述数据分析系统上执行的数据分析工作流。