[发明专利]基于图网络的数据处理系统

说明书

本发明实施例公开了一种基于图网络的数据处理系统，所述基于图网络的数据处理系统包括：数据收集装置，利用爬虫技术从公开网页中爬取各个个体的基本信息，并存储于数据库；图网络构建装置，从所述数据库中抽取信息，并以一个个体为一个节点构建图网络，连接具有关联关系的节点，个体的基本信息作为节点的属性，并将所述若干个属性编码为一个向量，作为节点的表征向量。通过本发明系统构建的图网络，可以极大地简化基于图网络的运算量，提高计算效率和计算结果准确度。

技术领域

本发明属于大数据技术领域，具体的，本发明涉及一种基于图网络的数据处理系统。

背景技术

企业在经营过程中不可能是独立存在的，必然会与其他企业或个人或组织产生关联关系，建立企业之间的相互关系，在后续应用分析时不仅基于企业本身的数据，还可基于具有关联关系的企业的数据，进而可以提高分析结果的准确性。目前建立企业间的相互关系的方法是建立企业的关系网络图（或称为企业的知识图谱，或图网络），也就是图中的每一个节点为一个企业，将具有关联关系的节点连接构成边，更完善的处理是在每条边上展示出具体关系，或者将企业在经营活动中产生的全部或部分数据展示在节点上。然而，通过这种方式构建的图网络存在一定的技术缺陷，例如，同一节点上展示的各种数据（短文字、长文本、表格等）之间是相互独立的，离散的，就导致在利用图网络时存在两个问题，一个是运算量太大（因为网络结构通常非常复杂），导致节点中的部分甚至全部数据都利用不上，继而影响计算结果的准确性；另一个是当需要对节点中的多种数据进行计算时，需要分别基于多种数据进行多次计算，不仅增加了计算量，而且极大地降低了处理效率。

发明内容

本发明的目的是解决如何降低基于图网络的计算量，提高计算结果的准确性以及处理效率的技术问题，为此，提供了一种基于图网络的数据处理系统。

为了达到上述目的，本申请的实施例所采用的技术方案如下：

一种基于图网络的数据处理系统，所述基于图网络的数据处理系统包括：

数据收集装置，利用爬虫技术从公开网页中爬取各个个体的基本信息，并存储于数据库；

图网络构建装置，从所述数据库中抽取信息，并以一个个体为一个节点构建图网络，连接具有关联关系的节点，个体的基本信息作为节点的若干个属性，并将所述若干个属性编码为一个向量，作为节点的表征向量。

上述方案中，数据收集装置利用爬虫技术可以从公开网页中获取各个个体的基本信息，然后图网络构建装置以个体为节点，以个体的基本信息作为节点的属性，构建由各个企业节点组成的图网络，用图网络来表征（表达）企业及企业间的关系。一个节点包含若干个属性，通过将节点编码为表征向量，也就是将节点所具有的各种信息用一个向量表达，一方面将各种散乱的数据统一了起来，计算时可以实现同时引入，进而可以提高计算结果的准确性；另一方面，计算时直接基于一个向量进行计算，这样又带来两个好处，一个是相比于原始数据的计算，极大了简化了计算过程，降低了运算量，另一个好处是同时可以实现对多种数据的计算，避免了多次计算，进一步提高了处理效率。

即是说，用户终端要应用时，可以直接基于该图网络进行相应的图计算，由于计算时直接是基于表征向量进行，因此可以极大简化应用终端的运算过程，不仅可以提高处理效率，而且可以降低应用终端的硬件性能，继而降低硬件成本，对于大数据应用，这是非常具有积极意义的。

所述图网络构建装置在构建图网络时，针对于每个节点，将所述若干个属性中的每一个属性编码为向量，得到若干个属性向量，再聚合所述若干个属性向量，得到该节点的表征向量。

所述图网络构建装置通过等权叠加方式聚合所述若干个属性向量，得到节点的表征向量。这种方式计算简单，可以降低运算量化，也可以保留每个属性的特点。

所述图网络构建装置采用图神经网络模型，基于指定的学习任务聚合所述若干个属性向量，进而得到节点的表征向量。