[发明专利]一种数据文件编码格式转换方法及系统

说明书

本发明涉及一种数据文件编码格式转换方法及系统，该系统包括文件获取模块，用于获取用户上传的输入文件，记录各输入文件的上传时间以及对应的用户名称；线程管理模块，用于为各输入文件的转换任务创建线程任务，并按照上传时间并行取出多个线程任务发送到相应的所述解析模块；解析模块，用于采用原有的编码格式对用户上传的输入文件进行读取，得到与之对应的待转换文件；转码模块，用于采用大数据融合开发系统能够识别的编码格式对待转换文件进行转码，得到新的输入文件；文件输出模块用于将转码后新的输入文件输出到大数据融合开发系统中，用于后续处理。本发明可以广泛应用于数据转码领域。

技术领域

本发明涉及一种数据文件编码格式转换方法及系统，属于数据处理领域。

背景技术

大数据融合开发系统是一款拥有数据接入、数据清洗、数据掌控、自动化分析功能的综合性软件。在大数据平台落地的过程中，数据接入是必不可少的一个关键环节。面对各种来源、各种类型的数据，需要通过数据接入就是将这些零散的数据整合在一起，纳入统一的大数据平台。从数据类型的角度，数据接入主要包括结构化数据(数据库)的接入、日志数据的接入、IoT数据的接入和文件的接入。

然而，不同格式的数据如果不进行转换的话无法导入到数据库中，也就无法进行后续的使用。在现有的大数据融合开发系统中，并没有这个功能的实现，用户如果将格式有误的数据导入，会导致数据库中出现无效的数据。同时数据格式转换也面临以下问题:首先就是数据安全，即，在转换过程中如何保证已有的数据能够完整的保存到新的文件中去，转换过程比较复杂，可能有许多突发状况威胁数据安全；其次,就是转换速度，运行时间长的系统数据文件很庞大，转换所需要的时间也较长；最后，通常用户导入数据库的数据是一个数据量很大的文本，这也给数据转换增加了难度。

发明内容

针对上述问题，本发明的目的是提供一种数据文件编码格式转换方法及系统，能够快速有效地将用户导入的数据转换成有效的数据，在导入乱码文件的时候可以导入正常文件一样，不用担心出现无效的数据。以供大数据融合开发系统的后续分析。

为实现上述目的，本发明采取以下技术方案：

本发明的第一个方面是提供一种数据文件编码格式转换系统，其包括：文件获取模块、线程管理模块、解析模块、转码模块和文件输出模块；所述文件获取模块用于获取用户上传的输入文件，记录各输入文件的上传时间以及对应的用户名称；所述线程管理模块用于为各输入文件的转换任务创建线程任务，并按照上传时间并行取出多个线程任务发送到相应的所述解析模块；所述解析模块用于采用原有的编码格式对用户上传的输入文件进行读取，得到与之对应的待转换文件；所述转码模块用于采用大数据融合开发系统能够识别的编码格式对待转换文件进行转码，得到新的输入文件；所述文件输出模块用于将转码后新的输入文件输出到大数据融合开发系统中，用于后续处理。

进一步的，所述线程管理模块包括线程创建模块、队列表创建和维护模块以及线程取出模块；所述线程创建模块用于当用户上传多个输入文件或不同用户同时上传一个或多个输入文件时，为每一个输入文件的转换任务创建一个线程放入线程池；所述队列表创建和维护模块用于建立并维护一个队列表，该队列表中存储有各任务线程的相关信息，包括线程所包含的输入文件名称、输入文件对应的用户名称、输入文件的上传时间以及输入文件的处理状态；所述线程取出模块用于按照预设的并行处理线程个数以及队列表中记录的输入文件的上传时间，从线程池中取出相应个数的线程任务，并发送到所述解析模块。