[发明专利]一种基于文件的索引数据失败补偿的方法

摘要

本发明公开了一种基于文件的索引数据失败补偿的方法，其特征在于：嵌入在日终调度的数据提交应用中使用，支持更新和删除两种数据提交类型，包括失败数据实时收集、失败数据文件存储、失败数据文件读取、失败数据过滤清洗、失败数据提交索引和失败数据预警的步骤。本发明旨在解决一般搜索平台索引更新失败导致数据丢失的问题，能够做到无需人为干预，自动将失败数据重新补偿进索引，保证索引数据完整性。

主权项

1.一种基于文件的索引数据失败补偿的方法，其特征在于，嵌入在日终调度的数据提交应用中使用，支持更新和删除两种数据提交类型，包括失败数据实时收集、失败数据文件存储、失败数据文件读取、失败数据过滤清洗、失败数据提交索引和失败数据预警的步骤，具体为：/nS1，失败数据实时收集：实时监控数据从读取到业务逻辑处理再到数据提交索引的全部流程，若发现数据处理异常，则将失败数据和其对应的主键ID提交到失败数据中心(failed-data-center)中，根据数据提交类型(更新或删除)分别进行处理；/nS2，失败数据文件存储：失败数据中心(failed-data-center)在收集失败数据的过程中，调用失败数据序列化器(failed-data-serializer)将失败数据以键值对的形式，逐条输出到磁盘指定文件中进行存储；当失败数据收集完毕后，会将失败数据的ID信息单独输出到磁盘指定文件中进行存储；/nS3，失败数据文件读取：在数据提交应用日终执行正常数据提交任务之前，失败数据中心(failed-data-center)会通过失败数据序列化器(failed-data-serializer)读取上次数据提交任务中更新失败和删除失败的ID集合，加载进应用内存中；/n当正常数据提交任务执行完成后，失败数据读取器(failed-data-reader)会通过失败数据序列化器(failed-data-serializer)读取上次更新失败的数据记录，提交给数据补偿任务进行后续操作，待更新失败的数据处理完成后，失败数据读取器(failed-data-reader)会通过失败数据序列化器(failed-data-serializer)读取上次删除失败的数据，提交给数据补偿任务进行后续操作；/nS4，失败数据过滤清洗:在数据提交应用日终执行正常数据提交任务之后，通过失败数据中心(failed-data-center)判断上次失败数据的ID集合是否存在数据，如果存在，则会创建数据补偿任务；/n补偿任务会优先过滤掉正常数据提交过程中覆盖到的数据信息；/n然后通过比对数据时间戳(index_version)过滤掉过时的补偿数据；/n最后通过数据自身的业务清洗逻辑标志位(data_trans_flag)来判断是否要再次执行对应的业务处理逻辑；/nS5，失败数据提交索引:调用远程索引服务进行数据提交，如果有错误情况发生，则执行步骤1的失败数据实时收集流程；/nS6，失败数据预警:在正常数据提交任务和数据补偿任务的执行过程中，记录错误的数据量以及补偿的数据量；当错误量和补偿量不符合预设逻辑判定时，通过短信和邮件进行预警。/n