[发明专利]数据处理方法、装置、设备、介质及程序产品

权利要求书

1.一种数据处理方法，包括：

响应于接收到数据处理请求，获取待处理数据对应的配置文件，其中，所述数据处理请求用于指示根据所述配置文件对所述待处理数据进行处理；

对所述配置文件进行解析，得到解析结果；

根据所述解析结果的数据处理措施，对所述待处理数据进行处理，包括：根据与所述解析结果的数据处理措施对应的预设的函数体系，对所述待处理数据进行处理；

其中，所述数据处理措施包括：数据映射；其中，所述数据映射用于将所述待处理数据中的结构化数据映射至目标字段上；

所述数据映射基于以下步骤确定：

根据所述函数体系中的数据抽取函数，在所述配置文件中包括的预设的数据抽取位置处抽取待处理数据；

根据所述待处理数据的ID或路径，获取对应的数据源；

根据所述函数体系中下钻对应的筛选函数，根据所述配置文件中的字段之间的预设关系从下钻数据源获取筛选后的数据集；

将筛选后的数据集中的待处理数据映射至目标字段上。

2.根据权利要求1所述的方法，其中，所述根据所述解析结果的数据处理措施，对所述待处理数据进行处理，还包括：

响应于所述解析结果为目标格式的解析结果，根据所述目标格式的解析结果的数据处理措施，对所述待处理数据进行处理。

3.根据权利要求1或2所述的方法，其中，所述数据处理措施还包括以下至少一项：

文本结构化、数据清洗；其中，所述文本结构化用于提取所述待处理数据中文本数据的关键字和值，组成结构化数据，所述数据清洗用于将所述待处理数据中的非标准化数据进行清洗，得到标准化数据。

4.根据权利要求2所述的方法，其中，所述目标格式为JSON、XML，或YAML。

5.根据权利要求1或2所述的方法，其中，所述配置文件的格式为HOCON。

6.一种数据处理装置，包括：

数据获取模块，被配置响应于接收到数据处理请求，获取待处理数据对应的配置文件，其中，所述数据处理请求用于指示根据所述配置文件对所述待处理数据进行处理；

结果解析模块，被配置成对所述配置文件进行解析，得到解析结果；

数据处理模块，被配置成根据所述解析结果的数据处理措施，对所述待处理数据进行处理，进一步被配置成：根据与所述解析结果的数据处理措施对应的预设的函数体系，对所述待处理数据进行处理；

其中，所述数据处理措施包括：

数据映射；其中，所述数据映射用于将所述待处理数据中的结构化数据映射至目标字段上；

所述装置还包括：

数据存储模块，被配置成根据所述函数体系中的数据抽取函数，在所述配置文件中包括的预设的数据抽取位置处抽取待处理数据；

数据筛选模块，被配置成根据所述待处理数据的ID或路径，获取对应的数据源；根据所述函数体系中下钻对应的筛选函数，根据所述配置文件中的字段之间的预设关系从数据源中获取筛选后的数据集；

数据遍历模块，被配置成将筛选后的数据集中的待处理数据映射至目标字段上。

7.根据权利要求6所述的装置，其中，所述数据处理模块，进一步被配置成：

响应于所述解析结果为目标格式的解析结果，根据所述目标格式的解析结果的数据处理措施，对所述待处理数据进行处理。

8.根据权利要求6或7所述的装置，其中，所述数据处理措施还包括以下至少一项：

文本结构化、数据清洗；其中，所述文本结构化用于提取所述待处理数据中文本数据的关键字和值，组成结构化数据，所述数据清洗用于将所述待处理数据中的非标准化数据进行清洗，得到标准化数据。

9.根据权利要求7所述的装置，其中，所述目标格式为JSON、XML，或YAML。

10.根据权利要求6或7所述的装置，其中，所述配置文件的格式为HOCON。