[发明专利]一种基于数据云统一数据采集工具的应用数据处理系统

说明书

本发明提供一种基于数据云统一数据采集工具的应用数据处理系统，包括相互通信连接的应用服务器和数据库服务器，应用服务器经数据云统一数据采集工具从应用程序采集得到多种类型的应用数据，应用服务器按照应用数据的数据类型划分成多个子应用服务器，各个子应用服务器获取相应数据类型的应用数据；数据库服务器包括数据相互同步的主库和从库，主库和从库各自按照应用数据的数据类型划分成多个子数据库服务器；各个子应用服务器按照其划分时的数据类型，将获取到的应用数据分布写到主库中与该数据类型相同的各个子数据库服务器中；各个子应用服务器按照其划分时的数据类型，从从库中与该数据类型相同的各个子数据库服务器中读取需要的应用数据。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于数据云统一数据采集工具的应用数据处理系统。

背景技术

智能电子设备的应用程序通常配备有应用服务器和数据库服务器，应用服务器经数据云统一数据采集工具从应用程序采集得到应用程序的应用数据，再将该应用数据存储在数据库服务器中，当应用程序在后续运行过程中需要调用这些应用数据时，应用程序就经应用服务器从数据库服务器中读取相应的应用数据。例如，电商应用程序中包含有用户数据、商品数据、交易数据等应用数据，应用服务器从该电商应用程序采集得到这些用户数据、商品数据和交易数据后，再将这些用户数据、商品数据和交易数据存储在数据库服务器中，当电商应用程序在后续运行过程中需要调用交易数据时，电商应用程序就经应用服务器从数据库服务器中读取相应的交易数据。

但是，随着应用程序的用户量增加和业务功能拓展，应用程序的应用数据量也会增加，这会使得应用服务器和数据库服务器在应用数据处理过程中的数据处理负载加重，从而增加了服务器宕机的风险。

发明内容

本发明要解决的技术问题是如何减轻服务器在应用数据处理过程中的数据处理负载。

为解决上述技术问题，本发明提供一种基于数据云统一数据采集工具的应用数据处理系统，包括相互通信连接的应用服务器和数据库服务器，所述应用服务器经数据云统一数据采集工具从应用程序采集得到多种类型的应用数据，所述应用服务器按照应用数据的数据类型划分成多个子应用服务器，各个子应用服务器获取相应数据类型的应用数据；所述数据库服务器包括数据相互同步的主库和从库，所述主库和所述从库各自按照应用数据的数据类型划分成多个子数据库服务器；各个子应用服务器按照其划分时的数据类型，将获取到的应用数据分布写到所述主库中与该数据类型相同的各个子数据库服务器中；各个子应用服务器按照其划分时的数据类型，从所述从库中与该数据类型相同的各个子数据库服务器中读取需要的应用数据。

优选地，包括分别通信连接应用服务器和数据库服务器的缓存集群，若各个子应用服务器在第一预设时段内从所述从库的子数据库服务器中读取某个应用数据的总次数超过预设阈值，则所述缓存集群从所述从库的子数据库中提取该应用数据进行缓存，以供各个子应用服务器下次从所述缓存集群中读取该应用数据。

优选地，在所述缓存集群从子数据库中提取某个应用数据进行缓存之后，若各个子应用服务器在第二预设时段内没有从所述缓存集群中读取该应用数据，则所述缓存集群将缓存在其上的该应用数据清除。

优选地，包括通信连接应用服务器的搜索引擎集群，各个子应用服务器将其获取到的应用数据同步到所述搜索引擎集群中。

优选地，所述应用服务器中，同一数据类型的子应用服务器各有多个。

优选地，所述主库中，同一数据类型的子数据库服务器各有多个。

优选地，所述从库中，同一数据类型的子数据库服务器各有多个。

优选地，所述应用数据的数据类型包括用户数据、商品数据和交易数据。

优选地，所述应用程序是智能电子设备的应用程序。

优选地，所述智能电子设备包括手机、平板电脑、笔记本电脑和/或台式电脑。