[发明专利]一种高维向量不等长序列相似度快速计算系统

说明书

本发明涉及一种高维向量不等长序列相似度快速计算系统，包括数据库模块、高维向量序列数据集输入模块、查询向量序列输入模块、高维向量不等长序列相似度快速计算模块、计算结果输出模块。数据库模块用于存储数据，高维向量不等长序列相似度快速计算模块对原始数据进行处理生成摘要，基于全局索引和二分查找在保证计算精度的同时实现相似度的快速计算，通过计算结果输出模块生成报告。

技术领域

本发明涉及计算机技术领域，为一种基于全局索引和二分查找的高维向量不等长序列相似度快速计算系统。

背景技术

随着互联网时代的到来，互联网信息数据正以极快的速度增长。随着大数据的发展，及人工智能的应用，也迫切的需要一种快速、准确对海量高维数据进行相似度计算的系统，因此高维向量不等长序列的相似度快速计算系统有着非常广泛的应用前景。传统的高维向量不等长序列的相似度计算系统主要利用神经网络算法，该算法的有点是计算精度高，但是缺点是实时性差。而传统的非神经网络算法，则存在计算精度低、计算复杂度高的问题，难以在数据量大，维度高的复杂业务场景中使用。

发明内容

有鉴于此，本发明提供一种解决或部分解决上述问题的一种高维向量不等长序列相似度快速计算系统。

为达到上述技术方案的效果，本发明的技术方案为：一种高维向量不等长序列相似度快速计算系统，其特征在于，包括数据库模块(A)、高维向量序列数据集输入模块(B)、查询向量序列输入模块(C)、高维向量不等长序列相似度快速计算模块(D)、计算结果输出模块(E)；高维向量不等长序列相似度快速计算模块(D)，包括数据处理模块(1)、自定义控制模块(2)、摘要生成模块 (3)、相似度快速计算模块(4)；

数据库模块(A)接收高维向量序列数据集输入模块(B)传输的大量高维向量序列数据集，并转换为统一的数据格式存储至数据库模块(A)，每一个高维向量序列数据集与数据库中的表名一一对应，表名是唯一值；数据库模块(A) 与高维向量不等长序列相似度快速计算模块(D)进行通信，高维向量不等长序列相似度快速计算模块(D)通过接口访问数据库模块(A)中的数据，并通过接口访问数据库模块(A)中的不同表中的数据并进行增、删、改、查操作；

高维向量序列数据集输入模块(B)为用户提供了高维数据快速导入的接口，用户根据高维向量序列数据集输入模块(B)要求的文件格式，将任意长度任意维度的高维向量序列数据集导入到高维向量序列数据集输入模块(B)；导入数据集的时候，用户根据自己的需求，选择新建表名导入，即在数据库模块(A) 中创建一张新的表存储数据集，也可选择将数据集插入或部分插入数据库模块 (A)中；

查询向量序列输入模块(C)与高维向量不等长序列相似度快速计算模块(D) 进行通信，用户通过查询向量序列输入模块(C)输入其需要查询的高维向量不等长序列，查询到的高维向量不等长序列会被传输至高维向量不等长序列相似度快速计算模块(D)进行相似度计算；

高维向量不等长序列相似度快速计算模块(D)，接收查询向量序列输入模块(C)输出的待查询数据，也可通过数据接口对数据库模块(A)进行数据的增、删、改、查操作，并将相似度快速计算的结果输出至计算结果输出模块(E)；高维向量不等长序列相似度快速计算模块(D)，包括数据处理模块(1)、自定义控制模块(2)、摘要生成模块(3)、相似度快速计算模块(4)；

数据处理模块(1)，定义与数据库模块(A)进行通信的数据接口，通过数据接口实现对数据库模块(A)的所有表中的所有数据的增、删、改、查操作；在进行相似度计算时，数据处理模块(1)将数据传输至摘要生成模块(3)；

自定义控制模块(2)与摘要生成模块(3)进行通信，通过摘要生成模块 (3)修改向量映射的整数长度，默认长度是64位，在相似度计算精确度要求高的场景下，对长度进行调整，长度为128位或256位，长度会输出到摘要生成模块(3)；