[发明专利]一种多CSV文件的合并和校验的方法及系统

说明书

本发明涉一种多CSV文件的合并和校验的方法及系统，用于实现：对待校验的CSV文件的表单数进行识别，根据识别结果及检查请求创建对应的检查配置，并生成配置文件；将多个CSV文件根据检查配置进行转换合并处理，生成单个CSV文件；用于对得到的单个CSV根据检查配置调用检查接口进行检查，生成检查报告。本发明的有益效果为：做到单表、多表两种情况的规则校验，实现简单化、可配置、报告化，提高了多表关联查找、导出及校验的效率。

技术领域

本发明涉及一种多CSV文件的合并和校验的方法及系统，属于计算机游戏领域。

背景技术

业务上有类需求，需要校验csv形式的文件，如校验文件指定列必须为整数，指定列必须不能为空，指定列必须在指定范围等等规则。

针对这些规则的校验，业界通常使用goodtables-py来实现这一功能。goodtables-py是一个用于验证表格数据的开源框架。它可以检查你的数据的结构，比如所有行的列数相同，所有日期均有效，没有空行，没有空头，等等。

但goodtables-py的最大弊端在于不能支持多表，即多个csv文件的规则检查。而实际业务情况下，两张表甚至更多表的联合检查，是经常遇到的。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种多CSV文件的合并和校验的方法及系统。

本发明的技术方案包括一种多CSV文件的合并和校验的方法，其特征在于，该方法包括以下步骤：S10，对待校验的CSV文件的表单数进行识别，根据识别结果及检查请求创建对应的检查配置，并生成配置文件；S20，将多个CSV文件根据所述检查配置进行转换合并处理，生成单个CSV文件；S30，用于对所述S20得到的单个CSV根据检查配置调用检查接口进行检查，生成检查报告。

根据所述的多CSV文件的合并和校验的方法，其中步骤S10具体包括：对接入进行检查的CSV文件数进行识别，若为单个CSV文件则直接调用检查接口进行文件检查；若为多个CSV文件，则根据多个CSV的检查请求创建对应的检查配置。

根据所述的多CSV文件的合并和校验的方法，其中该方法还包括对执行检查后多个CSV文件的关联合并后的单表，以及，对单个CSV文件的单表进行逻辑检查。

根据所述的多CSV文件的合并和校验的方法，其中检查接口为GoodTables。

根据所述的多CSV文件的合并和校验的方法，其中配置文件具体包括对多个需要检查的文件的指定路径、编码、标题行、分隔符、多表关联条件字段及输出字段进行自定义配置。

根据所述的多CSV文件的合并和校验的方法，其中步骤S20对多个CSV文件的转换合并处理具体包括：S21，读取配置文件，根据配置文件获取并加载待校验的多个CSV文件；S22，对多个CSV文件分别执行转换为UTF-8格式、转换分隔符及增加行号的处理；S23，将进行转换的CSV文件进行关联合并，生成单个CSV文件，并记录合并前多个CSV文件的表的列号；S24，删除无用表行。

根据所述的多CSV文件的合并和校验的方法，其中步骤S23具体包括：根据请求对多个CSV文件对应的多表SQL语句进行拼接处理，进一步生成拼接后的单表，并对单表规则校验。

根据所述的多CSV文件的合并和校验的方法，其中步骤S30具体包括：将校验后一条或多条校验失败的表单记录进行显示，进一步，显示对应的行号和列号。