[发明专利]一种数据整合方法、装置、存储介质和服务器

权利要求书

1.一种资本市场数据整合方法，其特征在于，所述数据整合方法包括：

获取指定信息源的公开数据；

根据所述公开数据的结构特征，选择与所述结构特征对应的预处理方式对所述公开数据进行预处理，得到目标数据，包括：

若所述公开数据为非结构化数据，则根据预定义数据模型，将所述非结构化数据转换为半结构化数据；

对所述半结构化数据进行命名实体识别，具体地，对所述半结构化数据进行中文分词，利用正则表达式提取关键词，对提取的关键词进行命名实体识别；

基于识别的命名实体，提取目标数据；

根据预设业务逻辑，将所述目标数据与数据仓库已存储的自有数据进行整合，生成案例数据，其中，所述自有数据是指根据指定的数据处理规则处理得到的自有专业业务数据，具体地，合规专家根据业务类型规划资产重组、回购、质押、首发上市相关案例数据结构，设立时间窗口，所述时间窗口是指数据的有效时间段，根据所述时间窗口将数据分段，根据业务维度进行数据分类，根据预设的业务逻辑，利用ETL工具对数据进行清洗转换，通过人工补充复核的方式为各案例数据仓库创建自有专业业务数据，对法规添加相应的位阶、适用范围、发文部门、文号的相关属性，并把法规拆分为编、章、节、条进行结构化存储，并通过与相关违规案例相关联、通过发文部门和法规沿革的补充形成存储自有数据的案例数据仓库。

2.根据权利要求1所述的数据整合方法，其特征在于，所述公开数据包括结构化数据和非结构化数据，所述获取指定信息源的公开数据的步骤，包括：

连接业务服务器，定时获取所述业务服务器收集的结构化数据；

监控指定的信息平台，在所述指定的信息平台上爬取非结构化数据。

3.根据权利要求1所述的数据整合方法，其特征在于，所述根据所述公开数据的结构特征，选择与所述结构特征对应的预处理方式对所述公开数据进行预处理，得到目标数据的步骤，包括：

若所述公开数据为结构化数据，则将所述结构化数据进行数据清洗；

按预定义挖掘算法对清洗后的所述结构化数据进行挖掘，得到目标数据。

4.根据权利要求1所述的数据整合方法，其特征在于，所述根据预设业务逻辑，将所述目标数据与数据仓库已存储的自有数据进行整合，生成案例数据步骤，包括：

判断所述目标数据与自有数据是否存在关联；

若所述目标数据与自有数据存在关联，则建立所述目标数据与所述自有数据的映射关系；

将所述目标数据与所述自有数据的映射关系存入所述数据仓库。

5.根据权利要求1所述的数据整合方法，其特征在于，所述数据整合方法还包括：

根据预定义需求维度，将所述案例数据分类存入所述预定义需求维度对应的数据集市；

当检测到搜索指令时，获取所述搜索指令携带的需求维度；

在所述需求维度对应的数据集市中进行检索查询。