[发明专利]大数据文本快速处理方法

摘要

本发明涉及一种大数据文本快速处理方法，属于计算机信息处理技术领域。本发明的方法通过线程池有效利用CPU使用率，提高大文本数据处理速度；将在线程池中分块处理的数据块进行标记，可以有效的防止数据混乱；将在线程池中处理的数据块按照标记进行本地保存；监测线程池的使用状态，当线程池空闲时，进行遍历保存的标记数据块的读取，然后将数据块合并并保存，如此可以有效的利用空间来降低处理时间，以此来提高效率。该方法通过线程池利用多线程模式提高数据处理速度；通过空间换取时间，利用流的高效读写速度来提高数据合并的速度，如此通过采用线程池技术及空间存储技术的结合大大提高了大数据文本的处理速度。

主权项

一种大数据文本快速处理方法，其特征在于，包括以下步骤：步骤1、读取数据文件：读取文件里的数据内容；步骤2、数据切块：将步骤1读取的文件数据，进行分块处理，并将分块处理后的数据块进行标记；步骤3、线程池处理：将所述数据块放入线程池中并按照预设需求进行数据处理；步骤4、按块处理数据并保存：将处理完的数据块按照当前数据块的标记进行本地保存；步骤5、遍历数据块：检测线程池中的数据是否处理完毕，若是，则对本地保存的数据块进行遍历；否则返回步骤3中继续进行处理；步骤6、按标记的序号进行数据块保存：将遍历到的数据块按照序号顺序进行读取和整合，然后再进行保存。