[发明专利]一种图计算装置

说明书

本发明提供一种图计算装置，包括存储层、逻辑层、列控制器，所述存储层用于原始数据以及中间数据的存储；所述逻辑层包括树创建模块、动态构图模块以及图创建模块；以及所述列控制器用于控制数据在存储层和逻辑层之间迁移。本发明是针对动态图构建进行优化的专用硬件加速器架构，针对动态图更新的性能和吞吐量进行了优化，更贴近现实应用的需求。

技术领域

本发明涉及加速器和处理器体系结构领域，具体涉及一种图计算装置。

背景技术

图作为一种数据结构，被广泛地应用于机器学习以及现代处理系统中，多用来表示非线性对象之间的联系。当大量随机、关联的数据以图的形式表示之后，很多图学习或者图处理的方法可以被用来分析并找出这些数据之间存在的关联性。比如，在现代推荐系统中，用户、物品以及他们之间的联系可以被描述成一个有着上亿结点的图，这样，机器学习或者数据挖掘应用能够很方便地在图中搜索到他们的目的结点。因此，在对数据进行分析前，将大规模的数据转化成包含点、边及其高维特征的图是一个比较常见、有效的步骤。目前最流行的图的组织形式是k最近邻(K-Nearest Neighbor，简称KNN)图，KNN图中每个结点都和它最近邻的k个结点相连。在创建了这些图之后，物体之间的相似度和联系就被保存下来了，这也极大地方便了对图的访问和检索。

然而，创建一个KNN图需要计算每个点与数据集内其余点的距离并比较排序得到点的k个最近邻点，其时间复杂度为O(n²d)，其中n代表数据集中点的数量，d代表点的维度。对于大规模的数据集，建立一个KNN图是一个相当费时的过程，因此实际应用中常常用近似K近邻(Approximate Nearest Neighbor，简称ANN)图来代替KNN图。目前已有大量的方法用于降低图创建的时间开销，其中基于树的算法能极大地减少计算量，成为了主流的图创建算法之一。该算法主要包括两个阶段：树创建阶段和图创建阶段。树创建阶段递归地将整个数据集划分为很多个小的数据集并组织成树的形式，这样具有空间局部性的点就能被放在同一个或者相近的叶子结点中；在图创建阶段，对于每个点，在整棵树中进行搜索，找到点所在的叶子结点或者子树，然后在这些叶子结点中进行暴力查找，从而找到每个点的k个最近邻结点。

尽管好的算法设计能够极大地减少计算的时间复杂度来降低计算所带来的功耗和提升性能，但是当数据量过大时，算法带来的改进有限，无法满足实时性能和功耗的要求。比如在线交易平台中，通常会涉及到上亿结点的图创建和更新操作，造成极大的数据随机访问，导致严重的性能和功耗问题，这时通常会采用图形处理器(GPU)来代替中央处理器(CPU)来提升其处理性能。即使GPU能提供充足的计算资源，但是在内存中大量、随机且复杂的图数据访问仍然会导致严重的资源浪费和功耗问题。专用的硬件加速器通过使数据流适应硬件架构，增加数据重用，减少计算和内存之间的数据迁移，在保证性能提升的同时也能很大程度上降低功耗。但现存的图处理和图学习的专用硬件加速器方案主要集中在图搜索和树搜索，无法直接应用到KNN图的创建中。或者针对特殊的应用场景，比如3D点云进行加速，有着其专用的硬件加速器设计，这样得到的图的规模以及应用场景仍然受到了很大的限制。

通常来说，实际应用中图创建的硬件加速器设计主要受到三个方面的限制：1)在图的相似度建立的过程中会存在大量的随机数据读取，需要很大的内存带宽；2)先前的工作未能充分探索高维数据重用，造成同一个数据多次在计算侧和存储侧之间的迁移，带来较多的带宽浪费；3)现有的图创建方案一次将所有的数据都组织成一张图，但是在实际生产中，图是动态产生的，而且新增的点与原有数据集中的大多数点没有连接关系，简单的重复建图会带来大量不必要的计算，严重影响建图效率。

发明内容

为解决上述现有技术中存在的问题，提供一种种图计算装置，包括存储层、逻辑层、列控制器，

所述存储层用于原始数据以及中间数据的存储；

所述逻辑层包括树创建模块、动态构图模块以及图创建模块；以及

所述列控制器用于控制数据在存储层和逻辑层之间迁移；