[发明专利]一种数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取消息，识别消息格式；

根据消息格式，调用预定义的配置文件得到所述消息对应的字段信息，以生成相应的数据流；

基于所述配置文件中预设的返回数据结构，将所述数据流进行转换并返回。

2.根据权利要求1所述的方法，其特征在于，获取消息，包括：

使用FlinkKafkaConsumer连接对应的kafka的topic，获取消息。

3.根据权利要求2所述的方法，其特征在于，识别消息格式，包括：

通过fastjson方法解析消息，判断是否解析成功，若是则消息格式为json格式，若否则消息格式为String格式或其他格式。

4.根据权利要求1所述的方法，其特征在于，调用预定义的配置文件得到所述消息对应的字段信息，包括：

通过递归的方式，根据消息格式对应的配置文件对消息进行解析以获得字段信息。

5.根据权利要求4所述的方法，其特征在于，通过递归的方式，根据消息格式对应的配置文件对消息进行解析以获得字段信息，包括：

如果消息格式为json格式，则通过递归的方式使用fastjson方法对消息解析，以根据配置文件获得相应的键值对；或者

如果消息格式为string格式，则根据配置文件获得所述消息相应的字段信息；其中，所述字段信息为json格式的信息，则通过递归的方式使用fastjson方法对该字段信息进行解析获得相应的键值对。

6.根据权利要求1所述的方法，其特征在于，生成相应的数据流，包括：

调用addScource方法，根据所述字段信息生成DataStream数据格式的数据流。

7.根据权利要求1-6任一所述的方法，其特征在于，基于所述配置文件中预设的返回数据结构，将所述数据流进行转换并返回，包括：

获取所述配置文件中预设的返回数据结构；

判断所述返回数据结构是否为table类型，若是则使用toTable方法将数据流转换成table类型的数据流并返回，若否则直接将生成的数据流返回。

8.一种数据处理装置，其特征在于，包括：

获取模块，用于获取消息，识别消息格式；

处理模块，用于根据消息格式，调用预定义的配置文件得到所述消息对应的字段信息，以生成相应的数据流；基于所述配置文件中预设的返回数据结构，将所述数据流进行转换并返回。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。