[发明专利]数据预处理方法及装置

说明书

本发明公开了一种数据预处理方法，在接收到数据预处理指令时，获取待处理的数据；将获取的所述数据映射为预设消息模型对应的输入消息；采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息，其中，所述处理器对所述输入消息进行逻辑处理包括：提取所述输入消息的字段信息，并对所述字段信息进行加工变形，以得到输出消息。本发明还公开了一种数据预处理装置。本发明提高了数据预处理的效率，并降低了数据预处理的操作成本。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据预处理方法及装置。

背景技术

随着计算机、互联网和物联网等技术在各个领域的大规模应用，产生的数据量也随之增多。由于数据源产生的数据类型多样，格式不一，因此，在处理数据之前，要先对数据进行预处理，并在预处理后才执行对数据的具体处理操作，而由于数据的类型多样和格式不一，导致数据的结构各不相同，对于不同的数据，需要开发不同的软件，分别对每种数据进行预处理，并在预处理结束后，才将数据集中到处理器中执行后续的处理操作，而通过不同的开发软件对数据进行预处理，导致数据预处理的过程操作耗时，效率低，操作成本高。

发明内容

本发明的主要目的在于提出一种数据预处理方法及装置，旨在解决传统的处理预处理方式，对数据预处理的过程操作耗时，效率低，操作成本高的技术问题。

为实现上述目的，本发明提供的一种数据预处理方法，所述数据预处理方法包括以下步骤：

在接收到数据预处理指令时，获取待处理的数据；

将获取的所述数据映射为预设消息模型对应的输入消息；

采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息，其中，所述处理器对所述输入消息进行逻辑处理包括：提取所述输入消息的字段信息，并对所述字段信息进行加工变形，以得到输出消息。

优选地，所述采用预设的处理器对所述输入消息进行逻辑处理，以得到输出消息的步骤包括：

确定所述输入消息的类型；

根据预设的类型与消息执行流的映射关系，获取确定的类型对应的消息执行流；

基于获取的所述消息执行流确定所述处理器，其中，确定的所述处理器包括输出消息处理器；

根据确定的所述处理器对所述输入消息进行逻辑处理，以得到输出消息。

优选地，在确定的所述处理器还包括临时消息处理器及/或缓存消息处理器时，所述根据确定的所述处理器对所述输入消息进行逻辑处理，以得到输出消息的步骤包括：

确定所述临时消息处理器及/或所述缓存消息处理器对应的属性；

在所述临时消息处理器及/或所述缓存消息处理器对应的属性为可创建属性时，根据所述临时消息处理器对所述输入消息进行逻辑处理以得到临时消息，及/或根据所述缓存消息处理器对所述输入消息进行逻辑处理以得到缓存消息；

根据所述输出消息处理器对所述临时消息及/或所述缓存消息进行逻辑处理，以得到输出消息。

优选地，所述根据所述输出消息处理器对所述临时消息及/或所述缓存消息进行逻辑处理，以得到输出消息的同时，若接收到临时消息的存储指令，执行以下步骤：

将所述临时消息存储到预设的缓存区域中，以生成缓存消息，以供下次接收到数据预处理指令时，将所述缓存区域中的缓存消息作为新的输入消息的被引用数据。

优选地，所述数据预处理方法还包括：

在所述缓存区域的消息存储容量值达到预设容量值时，删除所述缓存区域中的部分缓存消息，其中，删除的缓存消息的访问时间早于未删除的缓存消息的访问时间；