[发明专利]一种云平台数据获取方法

说明书

技术领域

本发明涉及金融数据处理，特别涉及一种云平台数据获取方法。

背景技术

金融数据是投资者进行投资决策、券商投研部门进行研究的重要依据，为公司客户和投研部门提供及时、准确、易用的金融数据一直是相关部门所面临的一项长期而艰巨的挑战。随着网络富信息化和大数据时代的到来，目前金融数据中已包含大量的结构化和非结构化信息，且增量巨大。在云计算网络科技技术水平飞跃发展的同时，为了避免有用的数据信息流失，就需要建立相应的数据库作为载体来存储这些数据。但云计算环境下的数据检索现状是，检索数据的规范不统一，导致对检索内容的理解不同，需求的偏差导致功能设计不规范，直接影响上下级应用之间的纵向贯通；现有的查询方法对新增需求、需求变更的管理控制效果不明显，在应对数据结构外延的变更等方面，难以拓展查询应用的边界。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种云平台数据获取方法，在基于云计算的金融数据检索系统中进行数据检索和查询，包括：

将分布式环境下的多个查询方法进行集成，将非结构化查询和结构化数据查询均作为执行单元，为用户提供统一的查询界面；将用户的查询请求转换成多个成员查询方法所能识别的格式，最终将查询结果以一定的格式返回给用户。

优选地，在所述非结构化查询中，通过所述基于云计算的检索系统提供资源管理、数据整合、索引存储；并构建非结构化的数据查询服务体系；采用Hadoop开源框架构，依赖ZooKeeper机制进行分布式协调、群集元数据和配置保存，检索层提供索引更新、索引删除、查询、分词、索引库、对外接口模块；数据采集层提供基础设施和数据资源的管理模块；上下层接口用于协调两层级间的数据交互和服务传递，以业务格式标准为依据进行索引库的设计；通过人工预处理的方式将文档内容进行划分，生成不同关键词条相对应的文本段，以作为索引库建立的原始输入，使用开源Servlet技术提供的接口函数，实现索引的建立、添加、更新、删除和查询，形成用户输入关键词-关键词条-文档的倒排索引，并通过定制化的二次开发对外提供HTTP调用接口；

在所述结构化查询中，将关键词查询应用到关系数据库，对数据库结构进行建模，使用图的方式来表征数据库的拓扑结构，形成结构化数据模式图，将数据查询问题转化为图查询问题，所述结构化数据模式图是一个无向图G＝(V，E)，其中V表示顶点的集合，每个顶点对应于数据库中的一个关系表，E表示边的集合，每条边对应于数据表间的一个外键关系，具体查询过程包括：

步骤1：创建节点索引表，所述节点索引表表征结构化数据模式图中各顶点所包含关键字的索引结构，创建方法为：将数据表、关系表中的每列各字段拼接成文档，对该文档抽取关键词，形成关键词到表名、列名的倒排索引；

步骤2：根据关键词定位关系表，对于用户输入的关键词，通过查询节点索引表来定位模式图中包含该关键词的顶点；

步骤3：以关键词为中心进行数据查询；以所述步骤2生成的顶点为中心进行扩展，生成候选的数据查询模式，每个查询模式是结构化数据模式图的子图，且包含了所有的关键词；查询模式的扩展采用广度优先遍历的方法，过程如下：

1)定义队列Q和V，将所有产生的中心节点作为初始模式添加到队列Q和V中；

2)从Q中取出模式P，将P的关联模式{P₁，P₂，…，P_n}添加到队列Q和V中，其中关联模式P_i(i＝1，2，…，n)，满足以下条件：①|P_i|＝|P|+1，其中|P_i|为P_i包含顶点的个数；②P_i为连通图且不存在于V；

3)依次遍历Q中所有的模式，直到Q为空，选取符合如下条件的查询模式作为输出结果：

①输出模式需要包含所有的关键词；

②叶子顶点均包含至少一个关键词；

③输出模式包含的顶点数应小于预定的最大值S_max；

4)根据查询模式拼接结构化查询语言(SQL)语句，对每个候选查询模式均拼接SQL查询语句，通过用户关键词查询所述索引表，得到表名和列名信息写入SQL语句，使用SQL进行数据库查询并返回查询结果。