[发明专利]一种医疗数据ETL任务同步方法和装置

说明书

本发明提供一种医疗数据ETL任务同步方法和装置，其中方法包括：基于待同步的数据源与目标数据库中目标数据表之间的关联关系，确定待同步的数据源对应的待写入目标数据表；基于待写入目标数据表之间的数据关联性，确定待写入目标数据表对应的中间文件；其中，存在数据关联的待写入目标数据表对应同一中间文件；基于待写入目标数据表，获取待同步的数据源中属性名与待写入目标数据表的字段名称相匹配的待同步数据；将待同步数据写入至待写入目标数据表对应的中间文件中；将中间文件中的数据批量写入至对应待写入目标数据表中。本发明降低了目标数据库的存储空间占用率以及数据库写入的负载，提高了数据同步的效率，同时避免了导入过多无用数据。

技术领域

本发明涉及数据库技术领域，尤其涉及一种医疗数据ETL任务同步方法和装置。

背景技术

随着医疗信息化建设的稳步发展，医疗数据中心可以为临床、科研、药物研发等领域提供优质的数据服务。其中，医疗数据中心离不开ETL（Extract-Transform-Load）数据处理系统的构建。在构建ETL数据处理系统时，由于异构数据源数量较多，如何高效地从大量异构数据源中获取数据并写入至数据中心是核心问题。

在医疗领域下，各个异构数据源（例如病历数据、挂号数据等）的更新频率较快，且单个数据量较小，因此有大量的微批数据需要写入至数据中心的目标数据库中以实现异构数据源和目标数据库的数据同步。目前的数据库读写方案中，通常在产生待同步的微批数据后，会将其一一写入至目标数据库中。如此一来，每一个微批数据的数据库写入均需要打开和关闭数据库事务。因此，医疗场景下存在的海量待同步的微批数据会造成数据库的频繁写入，从而带来大量的资源消耗和时间成本，导致数据库写入和异构数据源同步的效率显著下降。此外，在进行数据同步时，现有的同步方式中通常以全量或增量的形式将数据源中所有字段或节点的更新数据写入至目标数据库中。然而，由于医疗场景下数据源数量级大，各个数据源的字段或节点积累的数量也十分庞大。若将各个数据源的所有字段或节点的更新数据均写入至目标数据库，目标数据库的存储空间会迅速减少，难以应对长期的数据同步需求。

发明内容

本发明提供一种医疗数据ETL任务同步方法和装置，用以解决现有技术中微批数据写入效率低下且存储空间占用大的缺陷。

本发明提供一种医疗数据ETL任务同步方法，包括：

从多个异构数据源中确定若干个待同步的数据源；

基于所述若干个待同步的数据源与目标数据库中目标数据表之间的关联关系，确定所述若干个待同步的数据源对应的若干个待写入目标数据表；

基于所述若干个待写入目标数据表之间的数据关联性，确定所述若干个待写入目标数据表对应的中间文件；其中，任意两个待写入目标数据表之间的数据关联性基于所述两个待写入目标数据表的字段引用关系和/或字段相似性确定得到，且存在数据关联的待写入目标数据表对应同一中间文件；

基于任一待写入目标数据表，获取对应待同步的数据源中属性名与所述任一待写入目标数据表的字段名称相匹配的待同步数据；

将所述待同步数据写入至相匹配的待写入目标数据表对应的中间文件中；

将所述中间文件中的数据批量写入至对应的待写入目标数据表中。

根据本发明提供的一种医疗数据ETL任务同步方法，所述基于任一待写入目标数据表，获取对应待同步的数据源中属性名与所述任一待写入目标数据表的字段名称相匹配的待同步数据，具体包括：

获取所述对应待同步的数据源中的更新数据；

基于映射关系表，确定所述更新数据中属性名与所述任一待写入目标数据表的任一字段名称存在映射关系的数据，作为所述待同步数据；其中，所述映射关系表中存储有所述任一待写入目标数据表各字段名称与所述对应待同步的数据源的数据的属性名之间的映射关系；