[发明专利]用于处理数据块的方法和数据分析系统

说明书

数据分析系统在块高速缓存中存储多个顺序的数据块。每个数据块包含一个或多个数据记录。数据记录中的每个数据记录都包含一个或多个值以及记录标记，所述记录标记用于标记数据记录的末尾。数据分析系统将块高速缓存中的数据块分配给工作线程。工作线程解析数据块以标识该数据块内包含的一个或多个数据记录。数据分析系统确定数据块是否被正确解析。响应于确定数据块已被正确解析，数据分析系统将数据块内包含的一个或多个数据记录提供给数据分析工作流。

技术领域

概括而言，所描述的实施例涉及在计算机系统中处理数据，并且具体而言，涉及异步处理从存储设备取回的数据块。

背景技术

数据分析涉及从大数据集中提取具有商业价值的信息。例如，小型企业可以利用第三方数据分析环境，其采用专用的计算和人力资源来收集、处理和分析来自各种来源(例如，外部数据提供者、内部数据源(例如，本地计算机上的文件)、大数据存储库和基于云的数据(例如，社交媒体信息)的大量数据。以提取有用的定量和定性信息的方式处理数据分析中使用的这样的大数据集通常需要在功能强大的计算平台上实现的复杂软件工具。

另外，需要有效的数据处理技术来访问、处理和分析来自不同数据源的大数据集。否则，可能会出现性能瓶颈，并阻碍数据分析平台的功能，延迟数据处理并降低从数据中提取的信息质量。例如，处理数据记录以输入到数据分析系统中的吞吐量是一个重要的考虑因素。如果数据记录处理缓慢，则数据分析平台的消费数据记录的部分可能需要等待记录，从而导致整个平台中的延迟

发明内容

通过用于在数据分析系统中处理数据块的方法、计算机实现的数据分析系统和计算机可读存储器解决了以上和其他问题。该方法的实施例包括在块高速缓存中存储多个顺序的数据块。每个数据块包含一个或多个数据记录。每个数据记录包含一个或多个值以及记录标记，所述记录标记对数据记录的末尾进行标记。该方法还包括将块高速缓存中的数据块分配给工作线程。该方法还包括由所述工作线程解析所述数据块，以识别所述数据块内包含的一个或多个数据记录。该方法还包括确定所述数据块是否被正确解析。该方法还包括响应于确定所述数据块被正确解析，将数据块内包含的一个或多个数据记录提供给在数据分析系统上执行的数据分析工作流。

计算机实现的数据分析系统的实施例包括用于执行计算机程序指令的计算机处理器。该系统还包括非暂时性计算机可读存储器，其存储可由计算机处理器执行以执行操作的计算机程序指令。该操作包括在块高速缓存中存储多个顺序的数据块。每个数据块包含一个或多个数据记录。每个数据记录包含一个或多个值以及记录标记，所述记录标记对数据记录的末尾进行标记。该操作还包括将块高速缓存中的数据块分配给工作线程。该操作还包括由所述工作线程解析所述数据块，以识别所述数据块内包含的一个或多个数据记录。该操作还包括确定所述数据块是否被正确解析。该操作还包括响应于确定所述数据块被正确解析，将数据块内包含的一个或多个数据记录提供给在数据分析系统上执行的数据分析工作流。

非暂时性计算机可读存储器的实施例存储可执行计算机程序指令。指令可执行以执行操作。该操作包括在块高速缓存中存储多个顺序的数据块。每个数据块包含一个或多个数据记录。每个数据记录包含一个或多个值以及记录标记，所述记录标记对数据记录的末尾进行标记。该操作还包括将块高速缓存中的数据块分配给工作线程。该操作还包括由所述工作线程解析所述数据块，以识别所述数据块内包含的一个或多个数据记录。该操作还包括确定所述数据块是否被正确解析。该操作还包括响应于确定所述数据块被正确解析，将数据块内包含的一个或多个数据记录提供给在数据分析系统上执行的数据分析工作流。

附图说明

图1是示出根据一个实施例的包括数据分析系统的数据分析环境的框图。

图2是示出根据一个实施例的使用数据分析系统处理数据来创建的工作流的框图。

图3是示出根据实施例的用作图1的数据分析系统的典型计算机系统的功能视图的高级框图。

图4是示出根据一个实施例的数据分析系统的数据分析应用的更详细视图的框图。