[发明专利]大数据文本快速处理方法

说明书

技术领域

本发明涉及计算机信息处理技术领域，具体涉及一种大数据文本快速处理方法。

背景技术

对于大数据文本，传统的处理方法是将文本读取，然后再把数据文本处理为预计效果再写入文件。这种传统方法的缺陷或不足为：首先，当文本内容过大时，由于传统处理方法是按行处理，这样时间会很长，严重影响数据处理速度；其次，由于处理结果不同，导致处理过程不同，这也会影响数据的处理速度。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提高大数据文本处理速度。

(二)技术方案

为了解决上述技术问题，本发明提供了一种大数据文本快速处理方法，包括以下步骤：

步骤1、读取数据文件：读取文件里的数据内容；

步骤2、数据切块：将步骤1读取的文件数据，进行分块处理，并将分块处理后的数据块进行标记；

步骤3、线程池处理：将所述数据块放入线程池中并按照预设需求进行数据处理；

步骤4、按块处理数据并保存：将处理完的数据块按照当前数据块的标记进行本地保存；

步骤5、遍历数据块：检测线程池中的数据是否处理完毕，若是，则对本地保存的数据块进行遍历；否则返回步骤3中继续进行处理；

步骤6、按标记的序号进行数据块保存：将遍历到的数据块按照序号顺序进行读取和整合，然后再进行保存。

优选地，步骤1中，通过指定的文件名，读取文件里的数据内容。

优选地，步骤6中，监测线程池的使用状态，当线程池空闲时，将遍历到的数据块按照序号顺序进行读取和整合，然后再进行保存。

(三)有益效果

本发明的方法通过线程池有效利用CPU使用率，提高大文本数据处理速度；将在线程池中分块处理的数据块进行标记，可以有效的防止数据混乱；将在线程池中处理的数据块按照标记进行本地保存；监测线程池的使用状态，当线程池空闲时，进行遍历保存的标记数据块的读取，然后将数据块合并并保存，如此可以有效的利用空间来降低处理时间，以此来提高效率。该方法通过线程池利用多线程模式提高数据处理速度；通过空间换取时间，利用流的高效读写速度来提高数据合并的速度，如此通过采用线程池技术及空间存储技术的结合大大提高了大数据文本的处理速度。

附图说明

图1为本发明实施例的方法流程图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

如图1所示，本发明实施例提供了一种大数据文本快速处理方法，包括以下步骤：

步骤1、读取数据文件：通过指定的文件名，读取文件里的数据内容；

步骤2、数据切块：将步骤1读取的文件数据，进行分块处理，并将分块处理后的数据块进行标记；

步骤3、线程池处理：将所述数据块放入线程池中并按照预设需求进行数据处理；

步骤4、按块处理数据并保存：将处理完的数据块按照当前数据块的标记进行本地保存；

步骤5、遍历数据块：检测线程池中的数据是否处理完毕，若是，则对本地保存的数据块进行遍历；否则返回步骤3中继续进行处理；

步骤6、按标记的序号进行数据块保存：监测线程池的使用状态，当线程池空闲时，将遍历到的数据块按照序号顺序进行读取和整合，然后再进行保存。

试验表明，在Windows XP、Windows 7、Windows 10操作系统下，按相同的需求对10M数据文本进行处理，在未使用本发明的方法之前需要花费20分钟以上的时间，而采用本发明的方法之后，所花费的时间不到10秒。

可以看出，本发明实施例的方法通过线程池有效利用CPU使用率，提高大文本数据处理速度；将在线程池中分块处理的数据块进行标记，可以有效的防止数据混乱；将在线程池中处理的数据块按照标记进行本地保存；监测线程池的使用状态，当线程池空闲时，进行遍历保存的标记数据块的读取，然后将数据块合并并保存，如此可以有效的利用空间来降低处理时间，以此来提高效率。该方法通过线程池利用多线程模式提高数据处理速度；通过空间换取时间，利用流的高效读写速度来提高数据合并的速度，如此通过采用线程池技术及空间存储技术的结合大大提高了大数据文本的处理速度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。