[发明专利]一种城市资源整合系统及城市资源整合方法

权利要求书

1.一种城市资源整合系统，包括多个数据接入区和一个数据缓存区，所述数据接入区位于各服务部门的业务系统前置机上，用于接入城市中各类数据源，所述数据缓存区用于缓存各类数据源的增量，其特征在于，

每个数据接入区的终端均设有数据判断模块，所述数据缓存区包括一级缓存库和二级缓存库，所述一级缓存库的类型为本地缓存，所述二级缓存库的类型为服务器分布式缓存，该城市资源整合系统还包括一个智能处理器，所述智能处理器的输出端与所述数据判断模块的输入端相连，每个数据判断模块通过第一数据传输端和第二数据传输端分别与所述一级缓存库和二级缓存库的输入端相连；

该城市资源整合系统还包括一个临时数据资源池和多个客户端，所述一级缓存库的输出端和所述临时数据资源池的输入端电信相连，所述临时数据资源池与所述智能处理器双向连接，所述智能处理器与所有所述客户端双向连接，所述二级缓存库的输出端与一个标准数据资源池的输入端电信相连，所述标准数据资源池的输出端与所述智能处理器的输入端双向连接；

所述临时数据资源池包括快速调用端，所述快速调用端是默认关闭的，所述标准数据资源池的输出端是默认开启的，设置n为同一时间内调用数据的客户端的个数，当n＜100时，所述客户端调用所述标准数据资源池中的数据，但当n≥100或标准数据资源池中的数据没有命中时，所述快速调用端开启，所述标准数据资源池的输出端关闭，所述客户端调用所述临时数据资源池的数据。

2.根据权利要求1所述的一种城市资源整合系统，其特征在于，所述一级缓存库和所述临时数据资源池之间设有重复删除设备，所述一级缓存库中和所述临时数据资源池中的数据有效期限是3小时，当数据超过有效期限后就会被删除。

3.根据权利要求2所述的一种城市资源整合系统，其特征在于，所述标准数据资源池的输出端与一个基础要素数据资源池的输入端电信相连。

4.根据权利要求3所述的一种城市资源整合系统，其特征在于，所述临时数据资源池包括两个分类区，分为字段类型区和数据结构型区，所述字段类型区包括文本类数据区、数值类数据区、时间类数据区，所述数据结构型区包括结构化数据区、半结构化数据区和非结构化数据区。

5.根据权利要求4所述的一种城市资源整合系统，其特征在于，所述临时数据资源池还包括新数据分析模块、数据处理区、数据类型识别区，当临时数据资源池接入新数据时，新数据分析模块会对新数据进行分析，并将分析的结构传送至所述数据处理区进行分析处理，然后所述数据处理区会将新数据传送至所述数据类型识别区进行数据类型的识别，识别完成后将识别出类型的新数据分类传送至所述字段类型区和/或所述数据结构型区。

6.一种城市资源整合方法，其特征在于，包括以下步骤：

S60,数据接入区接入城市中各类数据源；

S61,数据接入区的数据按照级别分流传输到一级缓存库和二级缓存库中；

S62，一级缓存库中的数据经重复删除设备后判别删出重复数据后，转入到临时数据资源池内，临时数据资源池将其内部的数据每隔10-20分钟就执行分类命令，按照字段类型的文本类数据、数值类数据和时间类数据与数据结构型的结构化数据、半结构化数据和非结构化数据分类储存，而二级缓存库中的数据会转入到标准资源数据库中；

S63，临时数据资源池包括快速调用端，快速调用端是默认关闭的，标准资源数据库中的输出端是默认开启的，当在同一时间段内客户端请求调用数据的个数小于100个时，此时，标准资源数据库中的数据输入到基础要素数据资源池中，基础要素数据资源库中的数据传输给所有请求的客户端，当在同一时间段内客户端请求调用同一数据的个数大于等于100个时，快速调用端开启，标准资源数据库中的输出端关闭，客户端调用的数据是一级缓存库中来的，

其中，S62和S63不是必定先后顺序的关系，而是可以同步进行的。

7.根据权利要求6所述的一种城市资源整合方法，其特征在于，所述重复删除设备删除重复数据的步骤为：

S71，获取待处理数据的MD5值和对应的数据标识；

S72，将MD5值存放在redis集群上；

S73,将待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值进行对比，判断待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值是否相同，通过不断比对操作，删除垃圾重复数据，如果待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值相同，则可以认为两条数据互相重复，因此将待处理数据进行删除，同时确定与待处理数据重复的已有数据的数据标识，以确定与待处理数据重复的已有数据。