[发明专利]一种基于大数据的远程数据信息存储系统

说明书

本发明公开了一种基于大数据的远程数据信息存储系统，包括：总服务器，用于对整个系统的软硬件进行控制、调度；区服务器，作为总服务器的下一级，负责某一区域的数据采集、存储；数据采集装置，用于根据预先设计的数据采集规则采集数据；客户端通过访问接口，利用访问信息及权限模块授予的访问权限获取总服务器中数据库集群的数据；而总服务器采集访问信息，包括与数据相关的特征、规则信息，训练大数据模型，从而根据访问信息的频率、访问量、数据要求生成需要采集存储的数据规则，数据规则包括丢弃规则、筛选规则、分类规则，并根据分别更新现有的丢弃规则、筛选规则、分类规则，以使得最终采集、存储的数据更加贴近用户的实际需求。

技术领域

本发明涉及远程数据存储技术，特别是涉及一种基于大数据的远程数据信息存储系统。

背景技术

在远程数据采集存储的过程中，考虑到带宽、数据传输的问题，一般需要选择性采集，采集后根据需要选择存储，从而实现数据采集、存储尽量精准以降低对系统资源的消耗。

目前这类数据大多通过人为设置条件、阈值进行筛选，其算法简单，但是无法根据数据需求者的实际需求灵活调节需要采集、存储的数据。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于大数据的远程数据信息存储系统，其可以根据用户对数据的访问信息调节对数据的采集、存储条件。

为实现上述目的，本发明提供了一种基于大数据的远程数据信息存储系统，包括：

总服务器，用于对整个系统的软硬件进行控制、调度；

区服务器，作为总服务器的下一级，负责某一区域的数据采集、存储，包括缓冲器、存储系统，缓冲器用于将数据采集器送来的数据包快速缓存，等待后续存储系统分存储器进行存储；

数据采集装置，用于根据预先设计的数据采集规则采集数据，并按照要求将采集的数据按照分类规则预先粗略分类、将未分类的数据粗略关联筛选特征规则，再丢弃不需要的数据，最后将所有需要的数据生成数据包后发送至区服务器处理；

客户端通过访问接口，利用访问信息及权限模块授予的访问权限获取总服务器中数据库集群的数据；而总服务器采集访问信息，包括与数据相关的特征、规则信息，训练大数据模型，从而根据访问信息的频率、访问量、数据要求生成需要采集存储的数据规则，数据规则包括丢弃规则、筛选规则、分类规则，并根据分别更新现有的丢弃规则、筛选规则、分类规则，以使得最终采集、存储的数据更加贴近用户的实际需求。

优选地，总服务器包括：

权限模块，用于控制数据存储、访问权限，以及系统硬件资源的调用权限；

资源管理器，用于控制、调用整个系统的计算资源、存储资源；

数据库集群，用于将各个区服务器的数据库构成一个虚拟单一数据库逻辑映像，像单数据库系统那样，向客户端提供透明的数据服务。

优选地，区服务器接收到数据包并通过缓冲器缓存后会按照预先设定的存储规则形成存储队列，以进行排队存储，使存储系统依次将数据存储；

存储系统将可用的存储资源按照设备分别设为多个存储节点，每个存储节点对应至少一个存储器，而存储系统将一个或多个存储节点进行虚拟分区，每个区对应存储不同类型的数据，而每个区根据实际需要的容量进行容量自动调节；另外在数据的存储、筛选规则发生变化后，根据筛选数据的类型自动分区，以做到不同类型的数据分别存放在不同的虚拟区内，确保数据的快速存储及后续的快速读取。

优选地，存储规则默认按照先入先出原则，对于一些重要数据预先设置优先级，优先级的数据排在没有优先级的数据前，而优先级越高越排在前，以保证重要数据优先存储。