[发明专利]一种数据提取方法

说明书

本发明公开了一种数据提取方法，所述方法包括：确定提取数据的开始时间节点和结束时间节点以确定提取数据的时间区间；向数据提取程序输入初始增量区间；检测数据提取程序是否正常运行；当数据提取程序正常运行时，调高增量区间直至数据提取程序不能正常运行后，调低增量区间直至数据提取程序恢复正常运行以确定增量区间，并按照小于或等于增量区间的时间区间提取数据，保证了程序正常定时运行时，按照程序能正常运行的增量区间提取增量数据，可以在多种情况下对增量数据进行有效提取。

技术领域

本发明涉及计算机技术领域，具体的涉及一种数据提取方法。

背景技术

商业智能领域应用的核心就是通过数据提取、整理、分析，最终通过分析结果制定有关策略、规划，达到资源的合理配置，节约成本提高效益。而数据抽取是实施商业智能系统中非常重要的环节。在用spark进行批量数据处理时，除了第一次处理全量数据外，常常需要处理每天新增的数据，如果因为停电等外部原因导致程序无法每天定时运行，那么累积的增量数据在外部故障恢复后程序重启进行提取时，经常会因为累计的数据量过于庞大而导致重启后的程序无法正常运行，造成死循环，数据提取不够灵活。

发明内容

本发明的目的在于克服现有技术中由于数据量过大导致程序无法正常运行的技术问题，提供一种数据提取方法。

为实现上述目的，本发明采用的技术方案如下：一种数据提取增量区间的获取方法，所述方法包括：

向数据提取程序输入初始增量区间；

检测数据提取程序是否正常运行；

当数据提取程序正常运行时，调高增量区间直至数据提取程序不能正常运行后，调低增量区间直至数据提取程序恢复正常运行以确定增量区间。

一种数据提取方法，使用上述的数据提取增量区间的获取方法获取增量区间，所述方法包括：

确定提取数据的开始时间节点和结束时间节点以确定提取数据的时间区间；

按照小于或等于增量区间的时间区间提取数据。

进一步的，当提取数据的时间区间小于或等于增量区间时，按照确定的提取数据的时间区间进行提取。

进一步的，当提取数据的时间区间大于增量区间时，按照增量区间多次提取。

进一步的，还包括：将每次数据提取的结束时间节点保存至增量表中。

进一步的，所述提取数据时，访问所述增量表，按照所述增量表中最新的结束时间节点作为本次提取数据的开始时间节点。

进一步的，所述数据提取程序不能正常运行时，重新调整结束时间节点后继续提取。

进一步的，所述结束时间节点自定义设置。

进一步的，所述结束时间节点的调整包括：向数据提取程序输入初始结束时间节点，调低结束时间节点直至数据提取程序正常运行以确定结束时间节点。

由上述对本发明的描述可知，与现有技术相比，本发明提供的一种数据提取方法，确定提取数据的开始时间节点和结束时间节点以确定提取数据的时间区间；向数据提取程序输入初始增量区间；检测数据提取程序是否正常运行；当数据提取程序正常运行时，调高增量区间直至数据提取程序不能正常运行后，调低增量区间直至数据提取程序恢复正常运行以确定增量区间，并按照小于或等于增量区间的时间区间提取数据，保证了程序正常定时运行时，按照程序能正常运行的增量区间提取增量数据，可以在多种情况下对增量数据进行有效提取。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明数据提取增量区间的获取流程图；