[发明专利]一种数据补偿的方法、系统及计算机可读存储介质

说明书

本发明公开了一种数据补偿的方法、系统及计算机可读存储介质，方法包括根据补录需求创建补录任务单；根据补录任务单调取具体补录信息；所述根据补录任务单调取具体补录信息包括：通过接入编码的方式从数据库中获取补录数据。所述根据补录需求创建补录任务单通过任务分配功能查找对应的任务单或添加新的任务单，通过任务单中的补录功能填写补录信息，接入编码的方式包括：所述FTP占位符的参数值包含起始时间和结束时间/所述FTP占位符的参数值只包含一个时间字段/FTP占位符的参数值与FTP配置占位符中的参数值一致等。本发明可以通过主动请求或者设置时间维度的方式进行数据补偿，方便自动更新数据以及对异常数据进行补录更改。

技术领域

本发明涉及数据处理领域，特别是涉及一种数据补偿的方法、系统及计算机可读存储介质。

背景技术

大数据是指以多元形式，许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。

尤其在文化和旅游业中涉及到大数据的处理，现有的关于大数据的处理中，需要向大数据平台中进行实时的数据补偿和更新，不可避免的会出现补偿的数据范围超过或者小于需要补录数据的范围，或者存在数据重复的问题。

发明内容

本发明主要提供一种一种数据补偿的方法、系统及计算机可读存储介质，能够解决现有技术中无法精确控制数据补偿的范围以及去重的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种数据补偿的方法、系统及计算机可读存储介质。

其中，所述方法包括以下内容：

根据补录需求创建补录任务单；根据补录任务单调取具体补录信息；

所述根据补录任务单调取具体补录信息包括：通过接入编码的方式从数据库中获取补录数据；

对所述补录数据进行去重处理。

优选地，一种数据补偿的方法，所述根据补录需求创建补录任务单包括：通过任务分配功能查找对应的任务单或添加新的任务单，通过任务单中的补录功能填写补录信息。

优选地，一种数据补偿的方法，所述根据补录任务单调取具体补录信息还包括：通过接口的方式从数据库中获取补录数据。

优选地，一种数据补偿的方法，所述补录信息包括FTP占位符。

优选地，一种数据补偿的方法，所述根据补录需求创建补录任务单之前包括数据导入的步骤，所述数据导入包括接入包含补录信息的数据并保存在数据库中。

优选地，一种数据补偿的方法，接入编码的方式包括：所述FTP占位符的参数值包含起始时间和结束时间。

优选地，一种数据补偿的方法，接入编码的方式还包括：所述FTP占位符的参数值只包含一个时间字段。

优选地，一种数据补偿的方法，所述FTP占位符的参数值与FTP配置占位符中的参数值一致。

为解决上述技术问题，本发明提供一种数据补偿的系统，所述系统包括：

任务调度模块：根据补录需求创建补录任务单；所述根据补录需求创建补录任务单包括：通过任务分配功能查找对应的任务单或添加新的任务单，通过任务单中的补录功能填写补录信息；

数据补偿模块：根据补录任务单调取具体补录信息，包括通过接入编码的方式从数据库中获取补录数据；