[发明专利]基于DSL的数据映射方法及装置、电子设备、存储介质

说明书

本公开提供了一种基于DSL的数据映射方法及装置、电子设备、计算机可读存储介质，属于数据处理技术领域。该方法包括：获取一个或多个原始数据表；提供DSL指令页面，通过所述DSL指令页面接收针对于所述原始数据表的数据映射指令；根据结构描述规则解析所述数据映射指令，并生成基于数据库语言的数据映射语句；根据所述数据映射语句将所述原始数据表映射为应用数据表。本公开可以减少数据工程师与领域专家的沟通成本，提高数据映射的完成质量，并且能够更好的实现应用需求。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种基于DSL的数据映射方法及装置、电子设备、计算机可读存储介质。

背景技术

随着信息化的发展与公共信息系统的建设，在各个专业领域内，数据处理与管理的业务都扮演着越来越重要的角色。以医疗卫生领域为例，数据管理与大数据技术在临床数据、药企研发、基因研究、健康管理等方面发挥了重要的作用。其中一项基础工作是将医院信息系统输出的原始医疗数据进行适当的转换、整理及归纳等处理，以映射为适合各应用场景的数据形式。

由于医疗数据的复杂度较高、专业性较强，数据工程师一般不具备专业的医学知识，难以独立完成医疗数据的映射工作。现有的解决方法多数是要求数据工程师与医学专家密切合作，以开发相应的数据映射作业系统。然而该方法强烈地依赖于沟通的结果，由于沟通中难以避免的各种问题，数据映射的完成质量通常较低。同样的问题也普遍存在于其他专业领域的数据映射方法中。

因此有必要提出一种新的数据映射方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于DSL(Domain Specific Language，领域特定语言)的数据映射方法及装置、电子设备、计算机可读存储介质，进而至少在一定程度上克服现有的数据映射方法强烈依赖于数据工程师与领域专家沟通的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种基于DSL的数据映射方法，包括：获取一个或多个原始数据表；提供DSL指令页面，通过所述DSL指令页面接收针对于所述原始数据表的数据映射指令；根据结构描述规则解析所述数据映射指令，并生成基于数据库语言的数据映射语句；根据所述数据映射语句将所述原始数据表映射为应用数据表。

在本公开的一种示例性实施例中，所述数据映射指令包括以下语法中的至少一种：Join，用于将所述原始数据表中的字段进行关联；Filter，用于过滤所述原始数据表中的数据；Mapping，用于指定所述原始数据表中的字段到所述应用数据表中的字段的映射关系；Group，用于将所述应用数据表中的字段进行汇总。

在本公开的一种示例性实施例中，所述数据库语言包括SparkSQL(Spark结构查询语言)；所述根据结构描述规则解析所述数据映射指令，并生成基于数据库语言的数据映射语句包括：将所述数据映射指令中包含Join语法的指令转换为SparkSQL的FROM子句；将所述数据映射指令中包含Filter语法的指令转换为SparkSQL的WHERE子句；将所述数据映射指令中包含Mapping语法的指令转换为SparkSQL的SELECT子句；将所述数据映射指令中包含Group语法的指令转换为SparkSQL的GROUP BY子句；在已转换的子句的头部添加SparkSQL的INSERT子句，并将全部子句合并为所述数据映射语句。

在本公开的一种示例性实施例中，还包括：在提供所述DSL指令页面后，在所述DSL指令页面内呈现一函数编辑控件；根据所述函数编辑控件接收到的函数编辑指令生成自定义函数(User Defined Function，UDF)。