[发明专利]一种基于大数据的城市信息和服务集成系统及方法

权利要求书

1.一种基于大数据的城市信息和服务集成系统，其特征在于：所述系统包括海量多源异构数据集成模块、多维信息可视化模块、服务注册维护模块和城市服务集成模块；所述城市信息指来自城市多个应用服务数据库的数据，城市数据来源、结构的不同，构成了多源异构的城市数据；

所述海量多源异构数据集成模块，实现海量多源异构数据加载和集成功能；所述数据加载是导入来自分布在不同数据存储平台的数据，进行城市数据集成过程；经过该模块处理后的数据称为集成数据，集成数据将提供给多维信息可视化模块和服务注册维护模块，为多维信息可视化模块和服务注册维护模块提供可用的数据模式和查询通用接口；所述各类多源异构数据包括以数据集的名称作为表名，数据集的字段作为表的属性，建立一一对应关系并存入数据库中；所述数据集成是对于每个数据库基于SQL的结构化数据、半结构化数据进行的集成，通过构造中间件，协调各类多源异构数据，为多维信息可视化模块提供虚拟的集成XML数据视图和基于视图的数据模式和查询通用接口；所述中间件的构造是指，基于XML模式和关系模式之间的转换，实现把关系模式中的相关信息用XML文档的层次关系表示出来，实现对基于SQL的结构化数据、半结构化数据进行集成；在数据集成的过程中，各个数据库的数据称为数据源，数据源仍然相互独立，中间件为异构数据提供检索服务；该模块得到集成数据后为服务注册维护模块和多维信息可视化模块提供数据来源；

所述多维信息可视化模块，基于海量多源异构数据集成模块提供的集成数据，实现以图表呈现集成数据的结构、并对集成数据进行多维度呈现；基于海量多源异构数据集成模块获取的数据，先将数据特征进行多维度提取并形成新的数据特征，再针对提取后形成的数据特征进行数学计算项运算，将运算后的数据进行图形化呈现，最后根据呈现效果判断是否进行数据状态的保存；所述数据多维度提取包括：数据的时间维度，空间维度和多元语义维度；所述数学计算项包括求和、平均、最大值和最小值；所述图形化呈现包括：折线图、柱状图、饼图、漏斗图和地图；对数据进行多维度呈现之后，根据呈现效果判断是否进行数据状态的保存；

所述服务注册维护模块，基于海量多源异构数据集成模块提供的集成数据，实现系统中服务的描述、注册和管理；对于系统中待注册实体服务的接口说明使用语义级别的描述，主要说明包括：服务描述、服务参数和服务协议，将服务描述分为能力和属性两大类；上述服务描述的能力部分包括：服务输入、服务输出、服务类型；所述服务描述的属性部分包括：服务的非功能属性和服务的情景信息；服务的非功能属性包括环境信息、用户信息、平台软硬件信息；服务的情景信息包括服务代价、服务性能、服务可靠性参数；采用结构化分布式方法来管理系统中的注册服务，系统中待注册服务实体的服务描述采用一对二元组表示，二元组由包含服务名称和服务参数两项内容；同时实现对系统中已注册的服务服务实体进行管理，所述管理的操作包括创建、注册、监听、添加、修改、删除和编辑配置文件；

所述城市服务集成模块，基于服务注册维护模块，用于实现系统中服务查找和服务组合；基于语义匹配进行精确服务查找，将用户服务请求和实体服务都抽象成包含属性和操作的本体，利用基于本体的查找算法进行推理，实现了请求分解、子查询管理、感知服务发现、有效性评价管理的功能；处理执行用户请求，通过服务发现找到需要的实体服务和云服务，选择多个服务将它们编排起来形成可运行的物联网系统，以完成指定的应用任务；

所述海量多源异构数据集成模块中：通过构造中间件，协调各多源异构数据，为后续模块提供虚拟的集成XML数据视图和基于视图的数据模式和查询通用接口，对基于SQL的结构化数据、半结构化数据进行集成；所述集成过程的实现依赖中间件的构建；所述中间件的实现基于XML模式和关系模式之间的转换，实现把关系模式中的相关信息用XML文档的层次关系表示出来的功能；构建中间件的过程中，首先通过对于数据库建立JDBC连接，系统自动提取数据库中的视图，完成信息抽取；根据抽取信息的字段名称、类型、主键、外键，构建DOM树，并完成信息合成；生成中间DOM文档；最后对于DOM文档序列化，生成XML文档；对于各数据库进行查询重写，完成统一的数据库查询模式；建立XML文件的解析模式；封装集成数据模式和查询通用接口，输出经过XML解析的SQL查询结果，此结果即为该模块输出的集成数据；

所述服务注册维护模块：对于待注册的服务进行语义层次的说明，说明类型包括服务描述、服务参数和服务协议；服务描述分为能力和属性两类；上述服务描述的能力部分包括：服务输入、服务输出、服务类型；所述服务描述的属性部分包括：服务的非功能属性和服务的情景信息；服务的非功能属性包括环境信息、用户信息、平台软硬件信息；服务的情景信息包括服务代价、服务性能、服务可靠性参数；基于一致哈希表的结构化分布式方法来管理系统中的注册服务，注册信息用一对二元组表示，二元组是由包含了服务名称和服务参数两项内容；其中，服务名称是指该服务在系统中的唯一ID，用于实现一致性哈希表的索引；服务参数包括该服务的物理资源信息和云端资源地址，云端资源地址由IPv4地址和端口号构成，实现服务在分布式提供下的调用；最后实现对于系统中已注册的服务服务实体的管理功能，所述管理功能包括：创建、注册、监听、添加、修改、删除和编辑配置文件。