[发明专利]一种大级别文本文件处理系统及其运行方法

摘要

本发明涉及计算机应用技术领域，具体涉及一种大级别文本文件处理系统及其运行方法。本发明所述系统由控制器、数据处理智能计算器、文本文件处理器和文本文件处理接口构成；系统获取服务器的硬件配置信息、结合文本数据处理的效率，分析出处理文本文件的线程数量进行并行的文本数据处理，数据处理完成后按预定的形式输出。本发明在处理大级别文本文件时，进行智能操作处理、提高大级别文本文件的处理效率；可以应用于大规模文件数据的处理系统上。

主权项

一种大级别文本文件处理系统，其特征在于：所述系统由控制器、数据处理智能计算器、文本文件处理器和文本文件处理接口构成；所述的控制器负责整个系统的各部件运行的调配，根据获取的信息，按预定的算法进行智能的控制，确保系统稳定、快速、高效地实现大级别文本文件的处理；所述的数据处理智能计算器由服务器配置监控器和文本文件处理预处理组成，所述的服务器配置监控器负责动态地监控运行服务器内存占用情况与CPU使用率的情况，并实时把获取的信息传送给控制器用于数据处理的动态调配；所述的文本文件处理预处理负责通过调用用户的文本文件处理接口，读取文件的数据块进行预计算数据处理的效率，并把处理的效率传送给控制器用于数据处理的动态调配；所述的文本文件处理器，由控制器进行调配运行的线程数量与每个线程处理的数据块大小，处理结果按预定的输出形式，输出到指定的位置上；所述的文本文件处理接口为用户自定义的数据处理逻辑，接口需按约定的形式提供并放在系统指定的位置上用于数据处理时调用。