[发明专利]一种分布式数据抽取方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了一种分布式数据抽取方法、装置、计算机设备及存储介质。其中方法包括：至少两个独立的数据抽取模块获取至少两个数据源的数据，其中，所述数据抽取模块与对应的数据源相匹配；所述数据抽取模块将所述数据转换为预设格式，并对数据设置数据标识，形成采集数据；所述数据抽取模块将所述采集数据发送至数据接收端；所述数据接收端接收所述采集数据，并根据所述数据标识将所述采集数据存储至预设存储位置。本发明实施例解决了单一数据抽取模块不能对不同类型数据源进行数据抽取的问题，提高数据抽取的范围，同时多个数据抽取模块对多个数据源进行同步数据抽取，提高了数据抽取效率。

技术领域

本发明实施例涉及计算机技术，尤其涉及一种分布式数据抽取方法、装置、计算机设备及存储介质。

背景技术

医疗行业的临床决策需要综合多个平台或者多数据源的患者数据，由于数据源和数据结构的不一致性，导致不同的数据不能直接应用，需要进行二次处理。

目前，对数据的抽取一般是适用于数据库系统，且对于数据库表中数据结构不同数据仅能通过SQL(Structured Query Language，结构化查询语言)进行数据抽取，无法全面覆盖医疗设备数据，同时数据抽取效率低，稳定性差。

发明内容

本发明提供一种分布式数据抽取方法、装置、计算机设备及存储介质，以实现对多种数据源进行高效的数据采集。

第一方面，本发明实施例提供了一种分布式数据抽取方法，该方法包括：

至少两个独立的数据抽取模块获取至少两个数据源的数据，其中，所述数据抽取模块与对应的数据源相匹配；

所述数据抽取模块将所述数据转换为预设格式，并对数据设置数据标识，形成采集数据；

所述数据抽取模块将所述采集数据发送至数据接收端；

所述数据接收端接收所述采集数据，并根据所述数据标识将所述采集数据存储至预设存储位置。

第二方面，本发明实施例还提供了一种分布式数据抽取装置，该装置包括：

至少两个独立的数据抽取模块，用于获取至少两个数据源的数据，其中，所述数据抽取模块与对应的数据源相匹配，将所述数据转换为预设格式，并对数据设置数据标识，形成采集数据，将所述采集数据发送至数据接收端；

所述数据接收端，用于接收所述采集数据，并根据所述数据标识将所述采集数据存储至预设存储位置。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例提供的分布式数据抽取方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的分布式数据抽取方法。

本发明实施例通过设置至少两个适配于不同数据源的数据抽取模块，独立地获取至少两个数据源的数据，将数据转换为统一格式后发送至数据接收端，数据接收端对接收的数据根据数据标识进行分类存储，解决了单一数据抽取模块不能对不同类型数据源进行数据抽取的问题，提高数据抽取的范围，同时多个数据抽取模块对多个数据源进行同步数据抽取，提高了数据抽取效率，数据抽取模块相互独立，互补干扰，提高了数据抽取的稳定性。

附图说明

图1是本发明实施例一提供的一种分布式数据抽取方法的流程图；

图2是本发明实施例二提供的一种分布式数据抽取装置的结构示意图；

图3是本发明实施例三提供的计算机设备的结构示意图。

具体实施方式