[发明专利]基于分词和语义依存分析的异构数据源海量数据梳理方法

权利要求书

1.一种基于分词和语义依存分析的异构数据源海量数据梳理方法，其特征在于：包括以下步骤：

步骤1、抽取异构数据源数据；

步骤2、采用通用数据表示格式对已抽取数据进行格式化；

步骤3、对异构数据源数据进行数据结构梳理；

步骤4、采用分词与语义依存分析的自然语言处理技术对数据进行解析清洗；

步骤5、输出异构数据源数据梳理结果集。

2.根据权利要求1所述的基于分词和语义依存分析的异构数据源海量数据梳理方法，其特征在于：所述异构数据源包括关系型数据库、非关系型数据库及存储于文档类文件中的数据。

3.根据权利要求1或2所述的基于分词和语义依存分析的异构数据源海量数据梳理方法，其特征在于：所述步骤1的具体实现方法包括以下步骤：

⑴采用可配置工具通过ODBC或JDBC的连接方式调用不同驱动程序动态反射连接数据库实例，抽取不同种类数据库实例数据；

⑵采用可配置工具动态识别文件类型，通过不同驱动程序连接读取文档、文本文档和表格文件，抽取不同文件中的数据。

4.根据权利要求1所述的基于分词和语义依存分析的异构数据源海量数据梳理方法，其特征在于：所述步骤2的具体实现方法包括以下步骤：

⑴采用通用数据表示格式xml对抽取数据进行格式化，将异构数据源数据对象转换成为统一的满足通用数据表示格式要求的全局数据对象；

⑵通过识别“ID”、“标识”、“名称”关键字，自动标记对应属性为全局唯一标识属性。

5.根据权利要求1所述的基于分词和语义依存分析的异构数据源海量数据梳理方法，其特征在于：所述步骤3的具体实现方法包括以下步骤：

⑴建立全局数据对象的属性全集，其所含属性为各异构数据源中该全局数据对象所拥有的属性全集；

⑵使用分词与语义依存分析对全局数据对象的属性进行解析处理，如异构数据源下全局数据对象的属性存在重复，则该全局数据对象的属性全集仅保留重复属性中的一例；

⑶采用属性全集作为该类全局数据对象的最终属性集并生成对应数据结构；

⑷采用全局数据对象唯一标识作为记录生成判断标准，进行异构数据源记录整合。

6.根据权利要求1所述的基于分词和语义依存分析的异构数据源海量数据梳理方法，其特征在于：所述步骤4的具体实现方法包括以下步骤：

⑴根据全局数据对象中的唯一标识标记进行记录整合并创建结果集，每条记录保有全局唯一标识属性，不同数据源下全局唯一标识属性如存在重复则结果集只保留一条；

⑵针对异构数据源重复属性进行数据采用优先级排序，排序依据为数据完整性；

⑶参照数据采用优先级，进行全局数据对象数据梳理，根据属性全集进行每条记录的数据重录，每一属性的实际数据按照优先级递减顺序，优先采用优先级高的数据源中全局数据对象的对应属性。

7.根据权利要求1所述的基于分词和语义依存分析的异构数据源海量数据梳理方法，其特征在于：所述步骤5的具体实现方法包括以下步骤：

⑴结构化输出全局数据对象属性全集，形成标准且完整的数据结构；

⑵根据业务具体需要进行输出配置，进行存储格式转换、行列转换，输出全局数据对象属性梳理后的结果集。