[发明专利]一种对多元数据的处理插入方法

说明书

本发明提出了一种对多元数据的处理插入方法，包括：步骤S1，发布公开的数据接口；步骤S2，接收各方通过所述公开的数据接口发送来的数据；步骤S3，将各方发送来的数据进行数据格式化，转换为统一的格式；步骤S4，对格式化后的数据进行数据清洗，以过滤掉无用数据；步骤S5，对清洗后的数据进行拆分重组，分别插入至相应的数据库中。通过本发明对数据库进行添加操作，使得所有流程工作交给了程序完成，不仅减少了操作时间，同时也增加了数据的可靠稳定性。

技术领域

本发明涉及知识图谱领域，特别涉及一种对多元数据的处理插入方法。

背景技术

在任何软件项目中，对数据库的增删改查是必不可少的基本操作。但是在某些项目中，根据甲方要求不能有对数据的添加页面。这使得项目对实现添加操作变得更繁琐，甲方想要对数据添加操作，只能另聘图谱中涉及的数据库的操作人员，来专门进行对数据库的添加操作，但是在整个项目中，很少只涉及到一个数据库，大多数情况都是多库联合使用，也就有可能需要聘请多名数据库操作人员，增大了甲方的开销，浪费了资源。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种对多元数据的处理插入方法。

为了实现上述目的，本发明的实施例提供一种对多元数据的处理插入方法，包括如下步骤：

步骤S1，发布公开的数据接口；

步骤S2，接收各方通过所述公开的数据接口发送来的数据，将所接收的数据统一以一个Key值存到Redis数据库中，以便后期对数据的提取；

步骤S3，将各方发送来的数据进行数据格式化，转换为统一的格式；

步骤S4，对格式化后的数据进行数据清洗，以过滤掉无用数据，包括：以当前的字段表为基准，遍历数据中所有的Key，当此key在字段表中存在，则说明当前数据为可用数据，如果此key并不在字段表中，则说明当前键值对为无用数据，滤除掉并留下可用数据；

步骤S5，对清洗后的数据进行拆分重组，分别插入至相应的数据库中。

进一步，所述统一的格式为：单数位为属性名，双数位为属性值，提取所有信息，以Key-value的格式存储。

进一步，所述对格式化后的数据进数据清洗，包括：从预设数据库中提取所有属性字段，并作为基准字段，将步骤S2中格式化后的数据与所述基准字段进行对比，将未存在于所述基准字段中属性的数据进行过滤。

进一步，对所述清洗后的数据进行拆分重组，包括：对清洗后保留的数据以键值对的形式对应传输，多组键值对之间通过预设符号相分隔，在进行拆分时，通过以所述预设符号为分割符进行拆分，根据对应的字段信息插入到相应的数据库中。

进一步，所述相应的数据库包括：图数据库、ES数据库和Mysql数据库；

其中，将过滤后的数据，分别以MySQL、图数据库、ES数据库和Mysql数据库中的字段为基准，进行数据拆分，区分数据流向。

进一步，在所述步骤S1中，采用http方式或webService方式发布公开的接口。

进一步，在所述步骤S3中，将存放到Redis数据库中的数据提取出来，去除多余的包装符号。

根据本发明实施例的对多元数据的处理插入方法，提供一种跨编程语言和跨操作系统平台的远程调用技术来接收多元数据的处理，实现远程对数据库的添加操作，减少了甲方人力、财力的开销，降低成本。通过本发明对数据库进行添加操作，使得所有流程工作交给了程序完成，不仅减少了操作时间，同时也增加了数据的可靠稳定性，减少了人工在进行插入的时候出现漏输、错输的情况，同时也减少了甲方对人员的开销，节约了资源，降低了成本。