[发明专利]一种大级别文本文件处理系统及其运行方法

说明书

技术领域

本发明涉及计算机应用技术领域，具体涉及一种大级别文本文件处理系统及其运行方法。

背景技术

随着信息系统及互联网的快速发展，各行各业运行多年的信息系统积累了大量的数据。数据有以关系数据库形式保存的，也有很多是以文本形式保存的。特别是文本形式保存的数据，很多情况下一个文本文件就占用极大的空间，几百M甚至几G或几十G。对于这些文本文件的处理，如果直接装载到内存上，服务器的内存没有那么大，会导致装载出错；如果进行独占的形式处理，又需要花费大量的时间。

发明内容

本发明解决的技术问题之一提供一种大级别文本文件处理系统；在处理大级别文本文件时，进行智能操作处理、提高大级别文本文件的处理效率。

本发明解决的技术问题之二提供一种大级别文本文件处理系统运行方法；在处理大级别文本文件时，进行智能操作处理、提高大级别文本文件的处理效率。

本发明解决上述技术问题之一的技术方案是：

所述系统由控制器、数据处理智能计算器、文本文件处理器和文本文件处理接口构成；

所述的控制器负责整个系统的各部件运行的调配，根据获取的信息，按预定的算法进行智能的控制，确保系统稳定、快速、高效地实现大级别文本文件的处理；

所述的数据处理智能计算器由服务器配置监控器和文本文件处理预处理组成，所述的服务器配置监控器负责动态地监控运行服务器内存占用情况与CPU使用率的情况，并实时把获取的信息传送给控制器用于数据处理的动态调配；所述的文本文件处理预处理负责通过调用用户的文本文件处理接口，读取文件的数据块进行预计算数据处理的效率，并把处理的效率传送给控制器用于数据处理的动态调配；

所述的文本文件处理器，由控制器进行调配运行的线程数量与每个线程处理的数据块大小，处理结果按预定的输出形式，输出到指定的位置上；

所述的文本文件处理接口为用户自定义的数据处理逻辑，接口需按约定的形式提供并放在系统指定的位置上用于数据处理时调用。

本发明解决上述技术问题之二的技术方案是：

所述的方法是获取服务器的硬件配置信息、结合文本数据处理的效率，分析出处理文本文件的线程数量进行并行的文本数据处理，数据处理完成后按预定的形式输出。

不断获取服务器上硬件运行的信息，包括内存使用情况与CPU使用情况的信息，获取的信息经过计算不断反馈到控制器上，控制器按服务器的剩余内存与CPU的占用情况，再结合用户数据处理接口的处理效率，动态分配各线程的读取数据块的大小与处理数据的线程数量。

控制器结合数据处理后输出的情况，动态分配各线程的读取数据块的大小与处理数据的线程数量。

文件数据的处理可通过用户自定义进行输入，系统提供接口，用户按约定的接口形式进行输入。

数据处理完成后，可按预定的形式输出，输出的形式包括文本文件、数据库表结构、数据流等形式；

数据处理结果的输出形式，在系统运行前需进行设置，未设置的默认为文本形式，输出的目录与输入的目录相同；对于数据库的输出形式，需指定数据库输出类型、数据库名、用户名、密码、数据表、对应的表字段等信息；对于数据流的输出形式，以List-Map对的形式输出，字段顺序与名称在系统上进行配置。

所述的方法具体流程如下：

(1)运行前配置输入文本文件与输出形式与对应字段；

(2)配置好用户的数据处理接口；

(3)系统启动时，控制器获取运行服务器的内存与CPU信息；

(4)获取用户定义的数据处理逻辑接口，通过获取5M的数据进行数据处理并记录处理的时间；

(5)结合服务器的内存与CPU信息、数据预处理的效率，生成数据处理的线程数与数据处理的数据块大小；

(6)控制器初始化线程并按顺序读取数据块大小分配给线程进行处理；

(7)各数据处理线程处理完成后，把数据按指定的形式输出；

(8)控制器不断监控服务器的内存与CPU、输出结果转换结果等信息，按算法不断调整数据处理的线程；

(9)程序不断循环进行数据处理，直到文件的结尾。

本发明通过系统中的控制器、获取运行的计算机的硬件配置、自适应获取文本处理的效率、按算法智能地对大级别文本文件进行多线程处理，从而提高大级别文本文件的速率；同时系统还提供接口，用户可自开发接口对接文本文件的处理；并通过配置设定数据输出的形式，支持多种数据形式的输出，极大提高了大级别文本文件的处理效率。