[发明专利]一种数据处理方法及装置

说明书

本申请公开了一种数据处理方法及装置，其中，所述方法包括：对WEB页面数据提交事件进行监测，根据监测到的所述WEB页面数据提交事件实时获取与所述WEB页面数据提交事件相关联的操作信息和数据信息；在实时数据存储区和历史数据存储区对所述数据信息指示的数据同步执行所述操作信息指示的操作，其中，所述实时数据存储区中存储的数据用于提供实时数据的查询和服务，所述历史数据存储区中存储的数据用于提供历史数据的查询和服务。

技术领域

本申请涉及数据存储技术领域，特别是涉及一种数据处理方法及装置。

背景技术

近年来，电子信息数据在运营中起到越来越重要的作用，实际应用中需要对电子信息数据进行高效、及时、精确地分析。传统的数据仓库采用抽取-转换-加载(ExtractTransform Load，ETL)工具周期性地从数据源中抽取数据，经过处理后将数据加载至数据仓库。而传统方式的数据抽取周期通常为一个月一次、一周一次、或者一天一次，因此只能支持基于历史数据的查询和服务，不能实时捕获数据源中数据的变化。因此，出现了实时数据仓库，但现有的实时数据仓库据预存取方法存在实时数据导入与实时数据查询同时进行引发查询竞争的问题，其产生的冲突将严重影响联机在线事务处理(On-Line TransactionProcessing，OLTP)和联机在线分析处理(On-Line Analysis Processing，OLAP)的精度和效率，降低实时数据仓库的性能。

现有技术所提供的实时数据仓库实际上仍停留在传统的ETL数据加载的层面，获取数据的方式还是以被动或伪被动的形式从各个不同的业务系统中抽取数据，即，基于动态镜像的实时数据仓库使数据获取达到近似实时。这种解决方案只是在数据仓库的内部做了一些优化，ETL的行为依旧是触发式的，数据依旧是从业务库中抽取的，不仅很难实现真正意义上的数据实时获取，而且抽取数据的过程中，也会因不同业务系统使用多种数据库导致数据同步过程变得极为复杂，增加了保持系统稳定性的难度，同时要求实施人员以及开发人员具备很高的技术能力。

发明内容

为了解决现有技术中存在的问题，本申请实施例提供一种数据处理方法、装置、计算设备和计算机可读存储介质，以实现真正意义上的数据实时获取。

本申请实施例一方面提供一种数据处理方法，所述方法包括：

对WEB页面数据提交事件进行监测，根据监测到的所述WEB页面数据提交事件实时获取与所述WEB页面数据提交事件相关联的操作信息和数据信息；

在实时数据存储区和历史数据存储区对所述数据信息指示的数据同步执行所述操作信息指示的操作，其中，所述实时数据存储区中存储的数据用于提供实时数据的查询和服务，所述历史数据存储区中存储的数据用于提供历史数据的查询和服务。

可选地，所述实时获取与所述WEB页面数据提交事件相关联的数据信息和操作信息包括：

获取被监测到发生数据提交事件的WEB页面的配置信息和URL串；

解析所述配置信息获取操作信息；

解析所述URL串获取数据信息。

可选地，所述WEB页面数据提交事件包括：

点击按钮类型的WEB页面数据提交事件；或

点击链接类型的WEB页面数据提交事件。

可选地，获取与所述WEB页面数据提交事件相关联的操作信息和数据信息之后还包括：

根据所述操作信息确定预设的依赖规则；

根据所述预设的依赖规则对所述数据信息进行实时处理。

可选地，所述实时处理包括：

根据预设清洗规则对所述数据信息进行清洗。