[发明专利]一种数据处理方法和系统

说明书

本发明提供一种数据处理方法及系统，接收外部系统传输的第一数据集合；在数据处理系统中生成与待更新的目标数据集合相关联的第二数据集合；清空所述目标数据集合中的数据；使用所述第一数据集合和所述第二数据集合中的数据对所述目标数据集合进行数据更新。这样，在接收到外部系统传输的第一数据集合，需要进行数据更新时，可以保证数据处理系统的稳定性，无需对所有数据进行扫描，节省大量时间，并提高数据更新的效率。

技术领域

本发明涉及信息技术领域，尤其涉及一种数据处理方法及数据处理系统。

背景技术

近年来，大数据处理与分析已经成为全球性问题，随着经济社会信息化和自动化水平不断提高，在公共管理、公共服务、科学研究、商业应用等许多领域面临大数据问题，需要有各种针对性和经济有效的解决方案。大数据平台为行业大数据提供处理能力，集数据接入、数据处理、数据存储、查询检索、分析挖掘、应用接口等功能为一体。

在数据处理领域，当前的环境越来越重视数据的累积，随着数据量的越来越大，对处理数据的能力以及对系统的基本架构有更高的要求，需要更快的处理速度、更大的数据存储能力和易维护性。

在一些业务场景下，需要记录关键字段的数据变化历史信息，以满足用户的需求，即需要周期性地对数据库中的数据进行更新。在一些大数据平台中，文件系统是基于分布式文件存储的，即文件被存在了不同的节点，传统的对这样的数据平台的数据进行历史更新的处理方式，需要对所说有数据逐行扫描，即在存储区域内从第一个文件的第一行开始扫描，直到找到需要的数据进行修改，但是面对日益增长的数据量和日益复杂的业务，尤其是数据量巨增的大数据时代，这样进行所有数据的扫描，效率低，耗时长，尤其是数据量越大，需要的查询时间和反馈时间越长，无法满足目前数据量越来越大的情形下的时效需求，导致现有的数据处理系统由于计算量大，以及耗时较长等原因，数据处理系统稳定性较差，易出现系统卡顿，甚至卡死的情况。

发明内容

本发明实施例提供一种数据处理方法及数据处理系统，以解决现有的数据处理系统由于数据处理的效率低和耗时长等原因，导致数据处理系统稳定性差的问题。

为了解决上述技术问题，本发明实施例提供了一种数据处理方法，所述方法包括：

存储所述数据处理系统的内部数据，以及从外部获取的数据；

管控业务逻辑；

向数据处理系统的外部系统提供数据服务；

对数据进行处理。

进一步的，所述方法还包括：

接收用户输入的操作指令，对所述数据处理系统进行管理及设置。

进一步的，所述存储所述数据处理系统的内部数据，以及从外部获取的数据的步骤，包括：

存储从外部获取的数据包括直接抽取式数据和文件形式数据。

进一步的，所述管控业务逻辑的步骤，包括：

存储所述数据处理系统的业务逻辑，所述业务逻辑包括下述至少之一：调度规则、数据血缘关系、模型元数据和脚本工具。

进一步的，所述向数据处理系统的外部系统提供数据服务的步骤，包括：

向数据处理系统的外部系统推送信息队列和数据；

存储文件形式数据；

与数据处理系统的下游系统或者服务系统连接，通过所述接口单元为所述下游系统或者服务系统提供数据。

进一步的，所述方法还包括：

接收输入的参数；

基于预设规则及所述参数，生成自动化工具脚本。