[发明专利]数据抽取系统和数据抽取方法

摘要

本发明实施例公开了一种数据抽取系统和数据抽取方法。所述系统包括数据源和大数据平台，数据源包括数据复制模块和数据抽取模块，大数据平台包括分布式文件模块和/或数据仓库工具模块；数据复制模块用于添加数据库触发器至数据源并从数据库触发器复制更新数据，生成增量数据抽取队列；数据抽取模块用于依据设定时间间隔从增量数据抽取队列抽取更新数据并将更新数据发送至大数据平台；大数据平台，用于根据更新数据修正存储数据；分布式文件模块和数据仓库工具模块用于接收更新数据。本发明实施例的技术方案实现了Hadoop大数据平台可实时获取企业管理软件SAP对数据表格的处理操作，依据获取的处理操作更新自身存储的数据表格。

主权项

一种数据抽取系统，其特征在于，包括：数据源和大数据平台，所述数据源包括数据复制模块和数据抽取模块，所述大数据平台包括分布式文件模块和/或数据仓库工具模块；所述数据复制模块，用于添加数据库触发器至所述数据源，并从所述数据库触发器中复制更新数据，同时依据所述更新数据生成增量数据抽取队列，其中，所述数据库触发器用于在确定所述数据源的数据发生变更时，记录数据变更信息；所述数据抽取模块，用于依据设定时间间隔从所述增量数据抽取队列中抽取所述更新数据，并将所述更新数据发送至所述大数据平台；所述大数据平台，用于根据接收的所述更新数据修正存储数据；所述分布式文件模块和所述数据仓库工具模块均用于接收所述更新数据。