[发明专利]一种基于文件的索引数据失败补偿的方法

说明书

本发明公开了一种基于文件的索引数据失败补偿的方法，其特征在于：嵌入在日终调度的数据提交应用中使用，支持更新和删除两种数据提交类型，包括失败数据实时收集、失败数据文件存储、失败数据文件读取、失败数据过滤清洗、失败数据提交索引和失败数据预警的步骤。本发明旨在解决一般搜索平台索引更新失败导致数据丢失的问题，能够做到无需人为干预，自动将失败数据重新补偿进索引，保证索引数据完整性。

技术领域

本发明涉及电子商务搜索技术领域，特别是涉及一种基于文件的索引数据失败补偿的方法。

背景技术

随着电商平台的发展，平台上的产品数量也会越来越多，直至百万级、千万级、甚至亿级。为了提供高效、高质量的查询功能，一般都会采用建立一份独立索引的方式来实现数据整合和快速检索，业界最常用的底层技术就是Lucene。

那么如何保证数据在任何情况都能完整的提交到索引中，就是不得不考虑的一个问题。一般电商平台会独立开发一个日终数据提交应用，其中大致会涉及到如下几个功能：

1.定期的全量数据提交索引(周期较长，一般以天、周、月为单位)；

2.定期的增量更新数据提交索引(周期较短，一般以秒、分、时为单位)；

3.定期的增量删除数据提交索引(周期较短，一般以秒、分、时为单位)；

4.能够从多种数据来源拉取数据提交索引(数据库、文件、HBase等)；

5.定制业务对应的数据处理逻辑；

当任务提交过程中出现数据处理出错且短期重试无法解决的问题时，我们一般都是通知到对应运维人员，明确错误日志，然后会按如下几种方式进行处理：

1.指定报错时间点，重新执行一遍任务，但会包含很多成功的数据，造成额外开销；

2.指定数据ID，手动触发对应数据的更新或删除操作，对应用有一定功能要求；

3.通知DBA手动更新下对应数据的触发时间，等日终任务下次增量时提交索引；

可以看到，虽然有解决方法，但是不可避免的需要人力支持和再次拉取数据的额外开销，极端情况下，比如人为不方便时，可能会导致数据长时间无法提交入索引。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于文件的索引数据失败补偿的方法。

为解决上述技术问题，本发明提供一种基于文件的索引数据失败补偿的方法，其特征在于，嵌入在日终调度的数据提交应用中使用，支持更新和删除两种数据提交类型，包括失败数据实时收集、失败数据文件存储、失败数据文件读取、失败数据过滤清洗、失败数据提交索引和失败数据预警的步骤，具体为：

S1，失败数据实时收集：实时监控数据从读取到业务逻辑处理再到数据提交索引的全部流程，若发现数据处理异常，则将失败数据和其对应的主键ID提交到失败数据中心(failed-data-center)中，根据数据提交类型(更新或删除)分别进行处理；

S2，失败数据文件存储：失败数据中心(failed-data-center)在收集失败数据的过程中，调用失败数据序列化器(failed-data-serializer)将失败数据以键值对的形式，逐条输出到磁盘指定文件中进行存储；当失败数据收集完毕后，会将失败数据的ID信息单独输出到磁盘指定文件中进行存储；

S3，失败数据文件读取：在数据提交应用日终执行正常数据提交任务之前，失败数据中心(failed-data-center)会通过失败数据序列化器(failed-data-serializer)读取上次数据提交任务中更新失败和删除失败的ID集合，加载进应用内存中；