[发明专利]基于标识解析的数据治理方法及相关设备

说明书

本发明涉及数据处理技术领域，公开了一种基于标识解析的数据治理方法及相关设备，该方法通过对从各业务系统上采集到的数据进行筛选后，存储到中台上，从提取待治理数据的行业标识，基于行业标识从标识解析平台上调取对应的数据标识化模板，基于模板对待治理数据进行标识化转换，得到标识化结构数据，最后统一存储在标识解析平台中，由于不同的业务系统通过在标识解析平台上注册了数据标识化模板，获取数据时通过对不同类型的数据进行区分获取，即可获取到需要使用的结构化数据，实现了大范围的工业大数据获取和管理，弥补工业大数据目前仅能获取内部信息系统数据，无法获取行业数据的问题，实现了跨越不同系统之间的数据采集。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于标识解析的数据治理方法及相关设备。

背景技术

随着智能科学的发展，大数据分析以成为一种需求，通过对大数据分析，将隐藏于海量数据中的信息和知识挖掘出来，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。

对于目前工业大数据分析方案中，其对数据的采集主要是通过传感器采集机器设备的运行状态、环境指标等，以及采集软件抓取的企业内部的软件中的数据、互联网上与企业相关的信息，然后对采集到的数据进行清洗、格式整理、滤除脏数据等。而在数据采集时，只能从本企业或者本地业务系统上进行采集，对于跨域系统的则通过爬虫的方式在互联网爬取一些与企业相关的非业务类型的数据，对此，在多业务系统时，无法实现统一的数据采集和管理，并且目前的数据清洗过程中，其完成一个数据的清洗挖掘过程，需要根据不同的业务系统单独设置清洗流程，这样消耗的时间成本过大，尤其是对工业数据来说，其难度更大。

发明内容

本发明的主要目的在于解决现有的大数据采集分析，难以实现跨越不同系统采集的技术问题。

本发明第一方面提供了一种基于标识解析的数据治理方法，所述基于标识解析的数据治理方法包括：

获取各个业务系统上的数据，对各个所述数据进行筛选，剔除其中的不合理的数据，得到待治理数据，并发送至预设的中台进行存储；

解析各个所述待治理数据对应的行业标识；

根据所述行业标识，从标识解析平台查询出对应的数据标识化模板，其中所述数据标识化模板为各业务系统基于其所在的行业标识在所述标识解析平台上进行标识注册，得到数据存储模板；

基于所述数据标识化模板中设置的字段信息，对所述待治理数据中内容进行提取，将提取到的内容存储到所述数据标识化模板中，得到标识化结构数据，并存储于所述标识解析平台中。

可选的，在本发明第一方面的第一种实现方式中，在所述根据所述行业标识，从标识解析平台查询出对应的数据标识化模板之前，还包括：

获取所述业务系统的身份信息，识别所述身份信息中是否存在注册标识，其中所述注册标识为所述业务系统在所述标识解析平台中进行标识注册成功后，下发的身份标志；

若所述身份信息中存在所述注册标识，则执行对所述待治理数据进行标识化处理存储的步骤；

若所述身份信息中存在所述注册标识，则根据所述行业标识从所述标识解析平台中选择对应的数据模板，基于所述数据模板录入标识数据，对所述业务系统进行标识注册。

可选的，在本发明第一方面的第二种实现方式中，所述根据所述行业标识从所述标识解析平台中选择对应的数据模板，基于所述数据模板录入标识数据，对所述业务系统进行标识注册包括：

根据所述行业标识，从所述标识解析平台中查询相似标识的数据模板；

调取标识注册表格，并提取所述注册表格中的主体子表；