[发明专利]一种基于文件的索引数据失败补偿的方法

权利要求书

1.一种基于文件的索引数据失败补偿的方法，其特征在于，嵌入在日终调度的数据提交应用中使用，支持更新和删除两种数据提交类型，包括失败数据实时收集、失败数据文件存储、失败数据文件读取、失败数据过滤清洗、失败数据提交索引和失败数据预警的步骤，具体为：

S1，失败数据实时收集：实时监控数据从读取到业务逻辑处理再到数据提交索引的全部流程，若发现数据处理异常，则将失败数据和其对应的主键ID提交到失败数据中心failed-data-center中，根据数据提交类型分别进行处理，所述数据提交类型包括更新或删除；

S2，失败数据文件存储：失败数据中心failed-data-center在收集失败数据的过程中，调用失败数据序列化器failed-data-serializer将失败数据以键值对的形式，逐条输出到磁盘指定文件中进行存储；当失败数据收集完毕后，会将失败数据的ID信息单独输出到磁盘指定文件中进行存储；

S3，失败数据文件读取：在数据提交应用日终执行正常数据提交任务之前，失败数据中心failed-data-center会通过失败数据序列化器failed-data-serializer读取上次数据提交任务中更新失败和删除失败的ID集合，加载进应用内存中；

当正常数据提交任务执行完成后，失败数据读取器failed-data-reader会通过失败数据序列化器failed-data-serializer读取上次更新失败的数据记录，提交给数据补偿任务进行后续操作，待更新失败的数据处理完成后，失败数据读取器failed-data-reader会通过失败数据序列化器failed-data-serializer读取上次删除失败的数据，提交给数据补偿任务进行后续操作；

S4，失败数据过滤清洗：在数据提交应用日终执行正常数据提交任务之后，通过失败数据中心failed-data-center判断上次失败数据的ID集合是否存在数据，如果存在，则会创建数据补偿任务；

补偿任务会优先过滤掉正常数据提交过程中覆盖到的数据信息；

然后通过比对数据时间戳index_version过滤掉过时的补偿数据；

最后通过数据自身的业务清洗逻辑标志位data_trans_flag来判断是否要再次执行对应的业务处理逻辑；

S5，失败数据提交索引：调用远程索引服务进行数据提交，如果有错误情况发生，则执行步骤1的失败数据实时收集流程；

S6，失败数据预警：在正常数据提交任务和数据补偿任务的执行过程中，记录错误的数据量以及补偿的数据量；当错误量和补偿量不符合预设逻辑判定时，通过短信和邮件进行预警。

2.如权利要求1所述的一种基于文件的索引数据失败补偿的方法，其特征在于：所述S1中，收集的失败数据在内存中只存储ID信息，失败的数据直接调用所述S2进行文件输出；所述S2中，判断删除失败的ID是否被更新失败的ID集合包含，如包含，则将其移除，其中，输出到文件中的失败数据不做处理，所述S4中，失败数据根据ID集合进行过滤。

3.如权利要求1所述的一种基于文件的索引数据失败补偿的方法，其特征在于：所述S2中，失败数据文件存储时会根据不同的数据内容创建不同的文件：

步骤201：创建更新失败数据ID文件update_failed_ids，在正常任务和补偿任务结束后进行数据输出；

步骤202：创建删除失败数据ID文件delete_failed_ids，在正常任务和补偿任务结束后进行数据输出；

步骤203：创建更新失败数据写入文件update_failed_data_write，在正常更新任务和补偿更新任务执行过程中逐条输出，当正常更新任务和更新补偿任务执行结束后，重命名为更新失败数据读取文件update_failed_data_read；

步骤204：创建删除失败数据写入文件delete_failed_data_write，在正常删除任务和补偿删除任务执行过程中逐条输出，当正常删除任务和删除补偿任务执行结束后，会重命名为删除失败数据读取文件delete_failed_data_read。