[发明专利]数据处理方法、系统、计算机设备及可读存储介质

说明书

本发明公开了一种数据处理方法，包括：根据预设的血缘分析工具，对数据资产表的逻辑代码进行解析，生成与所述数据资产表对应的数据全链路结构；将所述数据全链路结构的服务结点及数据结点的存储资源及计算资源分摊至各使用部门；分别统计所述各使用部门的资源使用情况及所述各使用部门的资源访问情况，并对统计结果进行分析，将低于预设值的数据资产进行归档或下线。本发明实施例杜绝跨部门的不合理访问情况，极大提高了数据资产使用的安全性，而且数据资产展示直观全面，数据资产价值明确，用户能够及时释放存储空间大且低价值的数据资产，减少了存储空间的浪费，不仅降低了计算资源的消耗，也极大节省了企业的数据资产管理成本。

技术领域

本发明涉及大数据技术领域，具体涉及一种数据处理方法、系统、计算机设备及可读存储介质。

背景技术

随着经济的不断发展，企业的业务不断扩大，数据资产日积月累，随之管理数据的成本也在增加。

传统的数据资产管理方法是通过对数据资产进行登记及分类，形成资产目录树，仅能支持数据的搜索定位，数据登记需要依赖人工操作，无用或者访问量低的数据也主要通过人工进行判别。

然而，针对上述做法，发明人发现，传统的数据资产管理方法登记时容易造成错漏现象且效率低下，数据分散，没有形成完整的管理系统，不仅容易造成跨部门的不合理访问，而且数据价值不明确，数据展示不直观，造成存储资源、计算资源及管理成本的多重浪费。

发明内容

本发明的目的在于提供一种数据处理方法、系统、计算机设备及可读存储介质，用于解决现有技术中登记时容易造成错漏现象且效率低下，数据分散，没有形成完整的管理系统，不仅容易造成跨部门的不合理访问，而且数据价值不明确，数据展示不直观，造成存储资源、计算资源及管理成本的多重浪费的缺陷。

根据本发明的一个方面，提供了一种数据处理方法，该方法包括如下步骤：

对获取的数据资产表进行解析，得到所述数据资产表的逻辑代码；

根据预设的血缘分析工具，对所述逻辑代码进行解析，生成与所述数据资产表对应的数据全链路结构，所述数据全链路结构包括服务结点及数据结点；

获取所述服务结点的使用用户，并根据所述服务结点的使用用户，确定所述数据全链路结构中所述数据结点的使用用户；

根据所述服务结点的使用用户及所述数据结点的使用用户，确定所述服务结点的使用部门及所述数据结点的使用部门，并将所述服务结点及所述数据结点的存储资源及计算资源分摊至各使用部门；

分别统计所述各使用部门的资源使用情况及所述各使用部门的资源访问情况，并根据统计结果生成与所述资源使用情况对应的资产使用状况仪表盘及与所述资源访问情况对应的资产价值分析仪表盘；

对所述资产使用状况仪表盘及所述资产价值分析仪表盘分别进行统计分析，并分别将统计出的低于第一预设值的所述资源使用情况对应的服务结点中的数据及低于第二预设值的所述资源访问情况对应的服务结点中的数据进行归档或下线。

可选地，所述根据预设的血缘分析工具，对所述逻辑代码进行解析，生成与所述数据资产表对应的数据全链路结构，包括：

根据所述预设的血缘分析工具，对所述数据资产表的逻辑代码进行解析，生成所述数据资产表相关联的所有结点以及各个结点之间的关联关系，所述关联关系包括父结点与子结点；

根据所述各个结点之间的关联关系将所述各个结点进行连接，连接后的所有结点构成所述数据资产表的数据全链路结构。

可选地，所述各个结点之间的关联关系的生成方法，包括：

根据所述预设的血缘分析工具，对所述数据资产表的逻辑代码进行解析，得到所述数据资产表的树形结构代码；