[发明专利]一种多身份字段大数据的自动化快速对比系统及方法

说明书

本发明公开了一种多身份字段大数据的自动化快速对比系统，包括前端显示模块、数据存储读取模块和后端封装接口模块，所述前端显示模块采用HTML+AngularJS框架构造可视化页面，所述数据读取采用pandas类库实现，所述后端封装接口模块采用python+flask框架封装接口。本发明属于大数据自动化测试技术领域，具体是提供了一种基于数据对比支持字段映射，即使两个文件中列顺序不一致也不影响对比结果，与现有技术相比更加的灵活高效，数据对比按身份字段精准查找，更加的准确、高效，后台可进行数据对比，对比完成后将对比结果返回前端并支持错误日志下载的多身份字段大数据的自动化快速对比系统及方法。

技术领域

本发明属于大数据自动化测试技术领域，具体是指一种多身份字段大数据的自动化快速对比系统及方法。

背景技术

现有技术进行大数据对比，通常为上传两个数据excel或csv文件，后逐行对两个文件的内容进行对比，对比后将不一致内容进行展示。

现有大数据对比具有以下缺点：

1)两个数据文件内容按行号进行对比，需保证两个文件数据顺序一致，不够灵活；

2)两个数据问卷内容同一行数据按照列顺序进行对比，需保证两个文件列顺序一致，不够灵活；

3)数据对比速度慢；

4)数据对比结果无法导出，错误信息不够清晰。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于数据对比支持字段映射，即使两个文件中列顺序不一致也不影响对比结果，与现有技术相比更加的灵活高效，数据对比按身份字段精准查找，更加的准确、高效，后台可进行数据对比，对比完成后将对比结果返回前端并支持错误日志下载的多身份字段大数据的自动化快速对比系统及方法。

本发明采取的技术方案如下：本发明一种多身份字段大数据的自动化快速对比系统，包括前端显示模块、数据存储读取模块和后端封装接口模块，所述前端显示模块采用HTML+AngularJS框架构造可视化页面，所述数据读取采用pandas类库实现，所述后端封装接口模块采用python+flask框架封装接口。

本发明还公开了一种多身份字段大数据的自动化快速对比方法，包括以下步骤：

步骤一：在前端显示模块的前端页面上选择待对比的两个excel文件，并获取列名；

步骤二：后端封装接口模块接收到获取列名接口请求后，通过pandas.read_excel方法分别读取两个excel的列，并将两个表格的列名转换为数组形式返回到前端显示模块；

步骤三：前端接收到返回的列名数组后进行字段展示，并自动将两个表同名的列字段进行映射，支持复选身份字段(身份字段用于两个文件数据对比时的唯一键)，点击开始验证向后端发起数据对比请求；

步骤四：后端接收到数据对比请求后，采用pandas类库对两个excel数据进行读取，读取成两个二维数组；后将两个二维数组中的数据进行二次封装，封装为两个字典，字典的key为多个身份字段的拼接值，value为所有非身份字段的拼接，字典长度与excel数据行数一致；再之后循环遍历第一个字典的key、value，在第二个字典中按key查找，若查找到相同key则对比value是否一致，value不一致记录到错误日志文件中，若在第二个字典中查找不到相同的key，也记录到错误日志文件中，最后对比结束后返回对比结果成功或失败，若失败附带错误日志文件链接到前端；

步骤五：前端接收到对比结果和错误日志文件，支持点击文件名称进行下载，对比结果成图显示出来。

本方案一种多身份字段大数据的自动化快速对比系统及方法，取得的有益效果如下：