[发明专利]一种数据处理方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据处理方法、装置、计算机设备及存储介质，所述数据处理方法包括划分数据库；当数据库进入到抓取期时，将抓取到的数据写入到数据库中，抓取完成后对下一进入到抓取期的数据库进行写入；当数据库进入到处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到处理期的数据库中的数据进行本地处理；在本地处理完成后，导出数据库中的数据。本方法通过划分数据库，能够使正在数据写入的数据库与正在进行数据处理的数据库分离，降低了对单个数据库的性能需求，也实现了海量数据的有效保存。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据处理方法、装置、一种计算机可读存储介质及一种计算机设备。

背景技术

目前，大多数数据采集软件采集数据的目的是将实时数据展示到用户界面，并辅以数据存储。随着科技的发展和进步，人工智能随之兴起，人工智能一个重要的基础就是数据，即同样需要利用数据采集软件来采集数据，但其采集数据的目的在于收集数据，并用于数据建模和AI分析，比如用于数据趋势分析，以预测短期未来一段时间内设备的运行状态。现有的数据采集软件并不能满足数据建模和AI分析的需求，其原因是现有数据采集软件对于数据库的性能要求较高。

因此，如何在数据处理过程中降低对数据库的性能要求，优化数据处理过程以降低数据库使用成本是本领域技术人员目前需要解决的技术问题。

发明内容

本发明实施例提供了一种数据处理方法、装置、一种计算机可读存储介质及一种计算机设备，能够在数据处理过程中降低对数据库的性能要求，优化数据处理过程以降低数据库使用成本。

第一方面，本发明实施例提供了一种数据处理方法，包括：

划分数据库；

当数据库进入到抓取期时，将抓取到的数据写入到数据库中，抓取完成后对下一进入到抓取期的数据库进行写入；

当数据库进入到处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到处理期的数据库中的数据进行本地处理；

在本地处理完成后，导出数据库中的数据。

第二方面，本发明实施例提供了一种数据处理装置，包括：

划分模块，用于划分数据库；

写入模块，用于当数据库进入到抓取期时，将抓取到的数据写入到数据库中，抓取完成后对下一进入到抓取期的数据库进行写入；

本地处理模块，用于当数据库进入到处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到处理期的数据库中的数据进行本地处理；

数据导出模块，用于在本地处理完成后，导出数据库中的数据。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现上述第一方面所述的数据处理方法。

本发明实施例提供了一种数据处理方法，该方法包括划分数据库；当数据库进入到抓取期时，将抓取到的数据写入到数据库中，抓取完成后对下一进入到抓取期的数据库进行写入；当数据库进入到处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到处理期的数据库中的数据进行本地处理；在本地处理完成后，导出数据库中的数据。该方法将正在进行数据写入的数据库与正在进行数据处理的数据库分离，使得对单个数据库的性能需求明显的下降，并且数据读取时的索引不会因数据频繁写入而持续性重建，同样降低了对数据库的性能需求。本发明同时还提供了一种数据处理装置、一种计算机可读存储介质和一种计算机设备，具有上述有益效果，在此不再赘述。