[发明专利]基于文件的海量数据处理方法

权利要求书

1.一种基于文件的海量数据的处理方法，将数据处理系统接收到的海量数据进行文件分组，再分配给多线程并发处理，之后存入数据库中，其中，所述数据处理系统包括多台数据处理服务器和一个共享磁盘柜，所述共享磁盘柜用于存放待处理的数据文件，并提供给所述多台数据处理服务器共享，所述具体处理过程包括：

(1)对多台数据处理服务器间进行互斥控制，保持所述数据处理系统只有一台在处理数据，其他数据处理服务器作为备份；

(2)对海量数据文件进行分组

将海量数据文件根据并发线程的总数量进行分组，再将分组后的文件对应到不同的线程进行处理。

2.根据权利要求1所述的一种基于文件的海量数据的处理方法，其特征在于，所述的互斥控制具体为：

由数据处理服务器的主控进程查询并锁定数据库中的时间控制表，当到达文件处理时间时，主控进程启动处理线程进行文件处理，同时根据处理周期更新下一次的处理时间；

同时，主控进程根据文件处理的进度，在达到下一个处理时间之前，如果文件没有处理完成，主控进程根据运算量的需要，将下一个处理时间往后延长一定的时间。

3.根据权利要求1或2所述的一种基于文件的海量数据的处理方法，其特征在于，所述的海量数据文件的分组具体为：

首先，将文件进行有序的排列并从1开始顺序编号，再将各文件编号对线程的总数量取模，取模后的余数与线程的编号进行对比，如果余数等于其中线程的编号，则将对应的文件交由该线程处理，实现多个线程同时处理分组后的各文件，且各线程处理的文件各不相同。

4.根据权利要求1-3之一所述的一种基于文件的海量数据的处理方法，其特征在于，其特征在于，所述的多台数据处理服务器均与数据库服务器相连接，用于将处理后的数据存入数据库。