[发明专利]一种表格分析数据集的配置方法、系统及介质

说明书

本发明公开了一种表格分析数据集的配置方法、系统及介质，所述方法包括以下步骤：获取源文档，识别源文档的文档类型，基于文档类型获取源文档的源代码数据；设定识别码，基于识别码对源代码数据进行筛选处理操作，得到结构源码，基于结构源码创建逻辑关系库；基于表格样式数据库和源代码数据获取第一样式信息和第二样式信息；基于第一样式信息、第二样式信息、大数据分析程序和基准频率创建高频样式库和低频样式库；基于逻辑关系库、高频样式库、低频样库集和结构树模板构建表格结构树；获取算法模型，基于表格结构树、格式转换程序和算法模型配置分析数据集；本发明能够构建一个质量更高、规模较大且具有较高鲁棒性的表格分析数据集。

技术领域

本发明涉及人工智能数据集配置技术领域，特别是涉及一种表格分析数据集的配置方法、系统及介质。

背景技术

现有技术中所采用的表格分析数据集的鲁棒性较差，其无法对于表格的布局变化和格式变化相应作出正确的检测和准确的分析，因此，需要一种效率高、准确性高、适用性强以及具有鲁棒性的表格分析数据集来配合深度学习算法对表格进行数据分析。

发明内容

本发明主要解决的是现有技术中所采用的表格分析数据集的鲁棒性较差，其无法对于表格的布局变化和格式变化相应作出正确检测和准确分析的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种表格分析数据集的配置方法，包括以下步骤：

获取源代码：

获取源文档，识别所述源文档的文档类型，基于所述文档类型获取所述源文档的源代码数据；

创建表格结构树：

设定识别码，基于所述识别码对所述源代码数据进行筛选处理操作，得到结构源码，基于所述结构源码创建逻辑关系库；

配置表格样式数据库，基于所述表格样式数据库和所述源代码数据获取第一样式信息和第二样式信息；

配置大数据分析程序，设置基准频率，基于所述第一样式信息、所述第二样式信息、所述大数据分析程序和所述基准频率创建高频样式库和低频样式库；

配置结构树模板，基于所述逻辑关系库、所述高频样式库、所述低频样库集和所述结构树模板构建所述表格结构树；

配置分析数据集：

配置格式转换程序，获取算法模型，基于所述表格结构树、所述格式转换程序和所述算法模型配置所述分析数据集。

作为一种改进的方案，所述基于所述文档类型获取所述源文档的源代码数据的步骤进一步包括：

若所述文档类型为编辑类文档，则获取所述源文档的数据层代码，并设定所述数据层代码为所述源代码数据；

若所述文档类型为排版类文档，则获取与所述源文档对应的排版文件，访问预打印数据库中与所述排版文件相匹配的文件源码，并设定所述文件源码为所述源代码数据。

作为一种改进的方案，所述筛选处理操作包括：

调用解压缩算法对所述源代码数据进行解压处理，得到解压文件；

在所述解压文件的数据包中提取与所述识别码相匹配的标识性文件；

识别所述标识性文件的标识源码，并在所述标识源码中提取若干表格格式代码段，整合若干所述表格格式代码段，得到所述结构源码。

作为一种改进的方案，所述基于所述结构源码创建逻辑关系库的步骤进一步包括：

识别所述结构源码中的行源码和列源码，提取所述行源码的第一位置标记参数和所述列源码的第二位置标记参数，基于所述第一位置标记参数和所述第二位置标记参数计算表格位置数据；