[发明专利]用于海量数据治理的数据处理方法和装置

说明书

本申请公开了一种用于海量数据治理的数据处理方法和装置。该方法包括：通过对在线系统的架构层应用物理隔离部署，基于所述在线系统的系统结构，对需求数据进行处理，识别所述需求数据对应的系统结构，基于系统结构，获得所述系统结构对应的逻辑规则，基于所述逻辑规则，对需求数据进行处理，实现对在线系统中的海量数据的治理，通过对在线系统的架构层应用物理隔离部署，可以解决现有技术中采用分库分表的方法进行海量数据治理存在风险和成本较高以及难以拓展的技术问题，实现了提升资源使用效率的技术效果。

技术领域

本申请涉及大数据领域，具体而言，涉及一种用于海量数据治理的数据处理方法和装置。

背景技术

现有技术中，大多数据企业采用云数据库进行企业数据的存储与管理，随着企业业务规模的增长现有云数据库的容量难以满足企业的数据存储需求。数据增长的主要原因是大量无效数据的产生和缺乏对历史数据的整理，现有技术中主要采用分库分表的方法解决企业存储需求与现有云数据库容量不匹配的问题，由于分库分表的方法需要代码侵入，导致系统复杂度与风险度升高，且分库分表的方法所产生的成本较大，且分库分表存在未来扩展困难的技术问题。

因此，现有技术中的系统海量数据治理存在风险和成本较高以及难以拓展的技术问题。

申请内容

本申请的主要目的在于提供一种用于海量数据治理的数据处理方法和装置，通过对在线系统的架构层应用物理隔离部署，基于所述在线系统的系统结构，对需求数据进行处理，其中，所述需求数据为在线系统的应用过程中产生的需求数据，即，海量数据治理过程中产生的数据处理需求。识别所述需求数据对应的系统结构，基于系统结构，获得所述系统结构对应的逻辑规则，基于所述逻辑规则，对需求数据进行处理，实现对在线系统中的海量数据的治理，通过对在线系统的架构层应用物理隔离部署，可以解决现有技术中采用分库分表的方法进行海量数据治理存在风险和成本较高的技术问题，实现了根据数据特性和价值实现差异化治理方案，保持存储资源动态平衡和重复利用，提升资源使用效率的技术效果。

为了实现上述目的，本申请提出了一种用于海量数据治理的数据处理方法。

本申请的第二方面，提出了一种用于海量数据治理的数据处理装置。

本申请的第三方面，提出了一种计算机可读存储介质。

有鉴于此，根据本申请的第一方面，提出了一种用于海量数据治理的数据处理方法，包括：获取在线系统的架构数据，所述架构数据包括系统结构数据；获取需求数据，其中，所述需求数据为所述在线系统的应用过程中产生的需求数据；对所述需求数据进行识别，基于识别结果匹配所述需求数据对应的系统结构数据；基于所述系统结构数据，对所述需求数据进行处理，获取所述结果数据。

进一步地，对所述需求数据进行识别，基于识别结果匹配所述需求数据对应的系统结构数据，包括：对所述需求数据进行识别，识别所述需求数据对应的需求类型，包括：若所述需求数据对应的需求类型为第一需求类型，则匹配所述第一需求类型对应的第一系统结构数据；若所述需求数据对应的需求类型为第二需求类型，则匹配所述第二需求类型对应的第二系统结构数据。

进一步地，基于所述系统结构数据，对所述需求数据进行处理，获取所述结果数据，包括：基于所述系统结构数据获取所述系统结构数据对应的逻辑规则，包括：识别所述第一系统结构数据对应的第一系统结构，获取所述第一系统结构对应的第一逻辑规则；识别所述第二系统结构数据对应的第二系统结构，获取所述第二系统结构对应的第二逻辑规则。

进一步地，基于所述系统结构数据，对所述需求数据进行处理，获取所述结果数据，还包括：基于所述逻辑规则对所述需求数据进行处理，获取所述需求数据对应的结果数据，包括：基于所述第一逻辑规则，对所述第一需求数据进行处理，获取所述第一需求数据对应的第一结果数据；基于所述第二逻辑规则，对所述第二需求数据进行处理，获取所述第二需求数据对应的第二结果数据。