[发明专利]一种跨进程的数据采集处理方法

摘要

本发明公开一种跨进程的数据采集处理方法，用于实现数据采集进程与数据处理进程之间数据的存储；数据采集进程与数据处理进程共享磁盘存储，方法包括如下步骤：将数据采集进程输出的数据保存于共享磁盘的文件夹中，若输出的数据大小高于限值，则分为多个任务内容文件进行保存，所有文件的路径和文件名信息均根据时间先后记录在待处理任务列表文件todo.list中；将待处理任务列表文件todo.list改名为doing.list，数据采集进程继续输出的任务内容文件，记录在新的待处理任务列表文件todo.list中；数据处理进程逐行处理任务列表doing.list对应的文件，并在处理完毕后删除该对应的文件。此种方法既可保障数据的可靠存储转移使用，同时也避免了数据库复杂数据存储方式和索引建立的性能丢失。

主权项

1.一种跨进程的数据采集处理方法，用于实现数据采集进程与数据处理进程之间数据的存储；其特征在于：数据采集进程与数据处理进程共享磁盘存储，方法包括如下步骤：步骤1，生成待处理任务列表文件todo.list，将数据采集进程输出的数据保存于共享磁盘的文件夹中，若输出的数据大小高于限值，则分为多个任务内容文件进行保存，所有文件的路径和文件名信息均根据时间先后记录在待处理任务列表文件todo.list中；步骤2，将待处理任务列表文件todo.list改名为doing.list，同时生成新的待处理任务列表文件todo.list，此时若数据采集进程继续输出数据，将其记录在所述新的待处理任务列表文件todo.list中；步骤3，数据处理进程逐行处理处理任务列表doing.list对应的文件，并在处理完毕后删除该对应的文件。