[发明专利]一种医疗数据ETL任务同步方法和装置

权利要求书

1.一种医疗数据ETL任务同步方法，其特征在于，包括：

从多个异构数据源中确定若干个待同步的数据源；

基于所述若干个待同步的数据源与目标数据库中目标数据表之间的关联关系，确定所述若干个待同步的数据源对应的若干个待写入目标数据表；

基于所述若干个待写入目标数据表之间的数据关联性，确定所述若干个待写入目标数据表对应的中间文件；其中，任意两个待写入目标数据表之间的数据关联性基于所述两个待写入目标数据表的字段引用关系和/或字段相似性确定得到，且存在数据关联的多个待写入目标数据表对应同一中间文件，所述同一中间文件用于存储与所述存在数据关联的多个待写入目标数据表相匹配的待同步数据；

基于任一待写入目标数据表，获取对应待同步的数据源中属性名与所述任一待写入目标数据表的字段名称相匹配的待同步数据；

将所述待同步数据写入至相匹配的待写入目标数据表对应的中间文件中；

将所述中间文件中的数据批量写入至对应的待写入目标数据表中。

2.根据权利要求1所述的方法，其特征在于，所述基于任一待写入目标数据表，获取对应待同步的数据源中属性名与所述任一待写入目标数据表的字段名称相匹配的待同步数据，具体包括：

获取所述对应待同步的数据源中的更新数据；

基于映射关系表，确定所述更新数据中属性名与所述任一待写入目标数据表的任一字段名称存在映射关系的数据，作为所述待同步数据；其中，所述映射关系表中存储有所述任一待写入目标数据表各字段名称与所述对应待同步的数据源的数据的属性名之间的映射关系；

所述映射关系是对所述待写入目标数据表的数据表描述文件和所述对应待同步的数据源中各数据的属性名进行语义分析，得到所述任一待写入目标数据表各字段名称的语义信息以及所述对应待同步的数据源中各数据的属性名的语义信息后，基于所述各字段名称的语义信息和所述各数据的属性名的语义信息之间的相似度，以及所述任一待写入目标数据表各字段和所述对应待同步的数据源中各数据的取值范围确定得到的。

3.根据权利要求2所述的方法，其特征在于，所述获取所述对应待同步的数据源中的更新数据，具体包括：

基于所述对应待同步的数据源的格式类型，确定所述对应待同步的数据源的解析器；

基于所述解析器对所述对应待同步的数据源进行解析，得到所述对应待同步的数据源中的更新数据。

4.根据权利要求2所述的方法，其特征在于，所述将所述待同步数据写入至相匹配的待写入目标数据表对应的中间文件中，具体包括：

基于所述映射关系表，对所述待同步数据进行名称标准化处理，得到命名规范化数据；其中，所述映射关系表是对所述中间文件的签名信息进行解析后得到的；

基于所述待写入目标数据表的格式类型，对所述命名规范化数据进行格式标准化处理，得到待写入数据；

将所述待写入数据写入至所述中间文件中。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述从多个异构数据源中确定若干个待同步的数据源，具体包括：

确定当前时间与任一数据源的最新同步时间之间的时间间隔；其中，所述最新同步时间是基于所述中间文件的最新修改时间以及所述中间文件的数据读取时长确定的；

若所述时间间隔不小于所述任一数据源的预设更新时长，则确定所述任一数据源为所述待同步的数据源。

6.根据权利要求5所述的方法，其特征在于，所述任一数据源的预设更新时长是基于所述任一数据源的数据类型和/或所述目标数据库的应用场景类型确定的。

7.根据权利要求5所述的方法，其特征在于，所述中间文件的数据读取时长是基于所述中间文件的文件大小计算得到的。

8.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述中间文件中的数据批量写入至对应的待写入目标数据表中，具体包括：

将所述中间文件中的数据写入至内存缓冲区中；

将所述内存缓冲区中的数据批量写入至对应的待写入目标数据表中。