[发明专利]一种跨进程的数据采集处理方法有效
申请号: | 201811072813.6 | 申请日: | 2018-09-14 |
公开(公告)号: | CN109359005B | 公开(公告)日: | 2022-04-19 |
发明(设计)人: | 涂高元;邱志斌;郭永兴;陆云燕;时宜 | 申请(专利权)人: | 厦门天锐科技股份有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30;G06F9/54 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 361000 福建省厦门市厦*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 跨进 数据 采集 处理 方法 | ||
1.一种跨进程的数据采集处理方法,用于实现数据采集进程与数据处理进程之间数据的存储;其特征在于:数据采集进程与数据处理进程共享磁盘存储,方法包括如下步骤:
步骤1,生成待处理任务列表文件todo.list,将数据采集进程输出的数据保存于共享磁盘的文件夹中,若输出的数据大小高于限值,则分为多个任务内容文件进行保存,所有文件的路径和文件名信息均根据时间先后记录在待处理任务列表文件todo.list中;
所述步骤1中,数据采集进程在生成新的任务数据文件*.task后,将路径信息path/name.task追加写入待处理列表文件todo.list末尾行;若此时todo.list不存在,则新建;
步骤2,将待处理任务列表文件todo.list改名为doing.list,同时生成新的待处理任务列表文件todo.list,此时若数据采集进程继续输出数据,将其记录在所述新的待处理任务列表文件todo.list中;
所述步骤2中,定时检测处理列表文件doing.list是否存在,当doing.list不存在时,数据采集进程将待处理列表文件todo.list改名为doing.list,交由数据处理进程处理;
所述步骤2的具体过程是:
步骤21,检查处理列表文件doing.list是否存在,若存在,则转步骤27,否则转步骤22;
步骤22,检查待处理列表文件todo.list是否存在,若不存在,则转步骤27,否则转步骤23;
步骤23,在数据采集进程中,对写文件锁lockW进行加锁操作;
步骤24,关闭待处理列表文件todo.list和当前任务数据文件的文件指针fp;
步骤25,将待处理列表文件todo.list改名为doing.list;
步骤26,对写文件锁lockW进行解锁操作;
步骤27,睡眠1秒钟,释放cpu运行资源;
步骤3,数据处理进程逐行处理处理任务列表doing.list对应的文件,并在处理完毕后删除该对应的文件。
2.如权利要求1所述的一种跨进程的数据采集处理方法,其特征在于:所述步骤1中,限值是指4G大小。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门天锐科技股份有限公司,未经厦门天锐科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811072813.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置