[发明专利]一种数据自动化处理方法及系统

说明书

本发明提供了一种数据自动化处理系统及方法，包括：模块M1：根据数据源配置模块对数据源按照预设要求进行配置；模块M2：自动化处理流程模块从已配置的数据源中获取数据源信息和配置信息，通过获取的数据源信息获取相应数据，并将获取的相应数据和配置信息分发至数据解析模块；模块M3：数据解析模块根据配置信息对获取的相应数据进行解析，解析完成后形成标准化数据，并将标准化数据送回自动化处理流程模块；模块M4：自动化处理流程模块将标准化数据发送至数据处理模块，数据处理模块根据配置信息对标准化数据进行数据处理，并将处理后的标准化数据发送至自动化处理流程模块，并对处理后的标准化数据做最终的持久化操作。

技术领域

本发明涉及计算机网络技术领域，具体地，涉及一种数据自动化处理方法及系统，更为具体地，涉及一种数据自动化处理架构。

背景技术

在当今大数据时代业务数据量非常庞大的情况下，使用最小人力和时间投入成为一种挑战。

专利文献CN104320433B(申请号：201410509935.2)公开了一种数据处理方法和分布式数据处理系统，能够克服现有技术中的上述种种不足之处。本发明的数据处理方法包括：分布式系统的中心节点在接收到数据处理任务后，从多个执行节点中确定一个节点作为执行该数据处理任务的任务执行节点，然后将该数据处理任务提供给该任务执行节点；所述任务执行节点在得到所述数据处理任务后，启动任务执行线程，并且监控该任务的执行线程的执行状态，在执行异常的情况下，所述任务执行节点将所述数据处理任务向所述中心节点提交。该专利的只支持单一种类数据源格式处理；无法进行信息通知；以及无法进行配置化、不够灵活、增加运维成本，难以管理。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种数据自动化处理系统及方法。

根据本发明提供的一种数据自动化处理系统，包括：

模块M1：数据源配置模块对数据源按照预设要求进行相应配置；

模块M2：自动化处理流程模块从已配置的数据源中获取数据源信息和配置信息，通过获取的数据源信息获取相应数据，并将获取的相应数据和配置信息分发至数据解析模块；

模块M3：数据解析模块根据配置信息选择相应解析器对获取的相应数据进行解析，解析完成后形成标准化数据，并将标准化数据送回自动化处理流程模块；

模块M4：自动化处理流程模块将标准化数据发送至数据处理模块，数据处理模块根据配置信息选择相应的处理器对标准化数据进行数据处理，并将处理后的标准化数据发送至自动化处理流程模块，并对处理后的标准化数据做最终的持久化操作。

优选地，还包括异常处理模块，自动化处理流程模块将异常数据发送至异常处理模块进行处理，异常处理模块判断异常问题并形成异常日志，同时将异常日志生成异常通知，异常通知通过系统通知模块通知指定方，由指定方对异常数据进行相应处理。

优选地，所述系统通知模块包括：系统通知模块接收发送过来的通知信息，并根据配置信息选择相应的通知配置进行通知发送。

优选地，还包括每一次流程的处理形成一条处理记录，处理记录用于后续审查及异常处理。

优选地，所述数据源配置模块包括：数据源配置模块对数据源按照预设要求进行相应配置，配置包括：IP配置、端口配置、目录配置、解析器配置、处理器配置、通知配置、文件特征配置、邮箱信息配置和登录信息配置。

优选地，所述数据源配置模块包括：数据配置模块对配置进行修改后，根据需求设置为及时生效或延迟生效。

优选地，所述数据解析模块包括多种针对不同格式数据解析的解析器，并根据数据源配置模块中配置的解析器进行相应选择；通过不同的数据解析器解析不同的数据，并在解析后形成标准化数据。