[发明专利]一种用户个人信息的大数据网络验证系统和方法

说明书

技术领域

本发明涉及网络数据验证领域，尤其涉及一种用户个人信息的大数据网络验证系统和方法。

背景技术

以往了解贫困群体信息基本都是通过走访及查看户口本的方式完成贫困群体身份的验证，不能及时有效的获得公安系统中贫困群体的户口信息，验证户口本是否真实有效，是否篡改过，通过以往的经验一看粮、二看房、三看劳动力量强不强、四看家里有没有上学郎，通过民主评议、对象摸底、公平公示等来判断贫困群体是否符合扶贫要求，缺乏数据支撑和科学研判依据。

处理灾难性故障的主要技术是数据库备份。通常情况下，全部数据库和日志要周期性地备份在廉价存储介质上。当系统遇到灾难性故障时，可以从最近的一次备份中重新装入数据库，并启动系统。

为避免丢失自上次备份之后的所有更新，通常要以更高的频率将系统日志备份到备用存储介质。由于系统日志比数据库小得多，因此可以更频繁地备份。这样用户就不会丢失最后一次备份后的所有事务。通过对日志中所有已提交事务进行恢复可把数据库恢复到崩溃时的状态。另外，每次数据库备份后都要开始一个新的日志。因此从备用存储介质故障恢复时，首先根据备用存储介质上最后一次的数据库备份，在主存储介质上创建数据库，然后根据系统日志的备份对已提交事务进行恢复。

由于对交换机的数据库速度要求很高，因此必须采用内存数据库。同样，当主数据库出现故障时，恢复速度是最优先考虑的因素，因此传统的根据系统日志的备份对已提交事务进行恢复已不能满足系统要求，要求能及时有现成的数据库可供使用，这样，主备存储介质应具有相同的性能，而且主备数据库应实时同步。这就必须提出一套高效的主备同步方法，以确保在主数据库出现故障时，备份数据库可以及时使用。

中国专利“CN1437348通信系统中主备板数据实时同步的方法”提供了一种内存数据库的主备同步方法。此专利在主、备板中各设置一数据缓冲区；当主板数据修改时，向其缓冲区中写入主板修改过的数据；缓冲区对数据进行处理；当缓冲区数据量达到一定时，主板实时同步进程从缓冲区中读数据并发送到备板实时同步进程；更新备板数据库，并将操作结果返回给主板；如果操作结果是同步成功，则删除缓冲区中相应的数据，否则重新发送数据，直至缓冲区内记录为空。但是存在如下问题：所述的技术方案在实现主备同步时，将有变化的数据全部写入缓冲区，如果所有数据都有可能变化，为保证不丢失数据，则缓冲区必须与数据库大小相同，如果数据库相当大，缓冲区也一样大，则无疑会浪费空间；如果缓冲区的大小小于数据库，这样又会出现丢数据的可能。

同时，随着Internet的普及和商用化，提供IP接入服务的运营商面对的用户群体不断增多，网上的增值业务类型也不断丰富。当大量的话音/视频和数据业务在同一网络中传输时，只有对业务类型进行划分和对用户的服务等级(QOS)级别进行更有力的控制，才能使运营商能够针对不同用户提供不同服务等级(QOS)等级、具有个性化的宽带数据服务。实现这些差别服务的关键技术之一是对业务类型进行分类，在网络设备中采用线速网络处理器结构，针对不同的业务类型，网络处理器采用不同的带宽管理策略，对用户数据流量进行有效的限速。

在采用网络处理器进行线速数据包处理的网络设备(如路由器、交换机、接入服务器)中，现在大都采用的漏斗算法进行速率控制。漏斗算法的具体实现是，网络处理器开辟一定的数据包缓冲区作为缓冲队列，该队列被称为漏斗。当数据流量输入速率超过设置的最高速率时，将超出部分的包保存在缓冲队列即漏斗中，并在以后合适的时机将它调度出去。

漏斗算法需要网络设备要有比较大的数据缓冲区进行数据包的缓存，才能进行有效的线速。在没有较大缓冲区作缓存的网络设备中，漏斗算法比较难实现，限速效果不好，不能达到增值业务的要求。

发明内容

本发明采用搜索修订模块、数据存储模块和筛选模块的结合设置，解决了因缓冲区的大小限制出现丢数据的可能。

本发明公开了一种用户个人信息的大数据网络验证系统，所述系统包括：

个人信息读取装置,用于读取用户的个人信息存储介质中的初始个人信息，并将初始个人信息发送至搜索修订模块；

实时数据发送平台,用于将产生数据变化参数的后台信息实时自动发送至搜索修订模块；

搜索修订模块，用于接收初始个人信息和后台信息，并根据后台信息中的数据变化参数找出初始个人信息中相应的数据修改位置；再根据数据变化参数将数据修改位置处的数据进行修改，形成实时个人信息并发送至筛选模块和数据存储模块；