[发明专利]基于数据列的数据检索方法及系统

说明书

本发明公开了基于数据列的数据检索方法及系统，该方法包括：对接入的源系统数据库表中每一行的每一个字段数据进行提取区分，并放置在Elasticsearch新增的数据列中；从数据列的多个字段中过滤出索引数据；利用Elasticsearch的倒排索引算法，根据索引数据把用户输入的查询内容模糊匹配至数据列中，获取对应的字段数据。通过实施本发明，提升了搜索性能，实现了模糊查询的分词应用的探索创新，支撑在一键搜索时的需求条件，满足用户在进行查询时的业务需求，符合用户的搜索习惯，做到亿级数据中精准命中，不漏查，耗时短的效果，同时实现了亿级数据秒级响应。

技术领域

本发明涉及计算机开发技术领域，尤其涉及一种基于数据列的数据检索方法及系统。

背景技术

Elasticsearch适合亿万级别数据量快速检索，主要得益于倒排索引，通过关键查找对应文档。而词索引的确定，依赖于分词器自动匹配解析，但分词器作为Elasticsearch的插件，是需要单独额外下载，方可使用。当资源环境受限，分词器无法安装使用时，如果弃用Elasticsearch，现有系统需要接入数十个源系统，部分源系统从建厂初期就一直运行，数据量相当庞大，数据保有量从几千万到亿级都有，如附图1所示，而且有的表中列数可达数百，列数多且复杂如附图2所示，现有技术无法满足当前需求。但如果使用Elasticsearch，自身功能又受限。因此就会导致在进行一键搜索或者进行查询时，无法根据条件查询出所需数据或者查询情况错乱且查询性能不达标。

发明内容

本发明要解决的技术问题在于，针对现有技术存在的至少一个缺陷，提供一种基于数据列的数据检索方法及系统。

本发明解决其技术问题所采用的技术方案是：构造一种基于数据列的数据检索方法，包括以下步骤：

S10：对接入的源系统数据库表中每一行的每一个字段数据进行提取区分，并放置在Elasticsearch新增的数据列中；

S20：从所述数据列的多个字段中过滤出索引数据；

S30：利用Elasticsearch的倒排索引算法，根据索引数据把用户输入的查询内容模糊匹配至所述数据列中，获取对应的字段数据。

优选地，在本发明所述的基于数据列的数据检索方法中，步骤S10之前还包括：

S01：对接入的源系统数据库进行数据分析后，从数据库中获取所需的供查询分析的数据，形成源系统数据库表。

优选地，在本发明所述的基于数据列的数据检索方法中，步骤S10之前还包括：

S02：对所述源系统数据库表中的数据进行加工转换后并存储。

优选地，在本发明所述的基于数据列的数据检索方法中，步骤S10的区分方式为：利用预设标识符进行提取区分。

优选地，在本发明所述的基于数据列的数据检索方法中，步骤S20包括：

S201：根据预设的业务需求，从所述数据列的多个字段中选取出关键字段；

S202：根据关键字段过滤出索引数据，包括索引词及其索引对应的数据列位置。

优选地，在本发明所述的基于数据列的数据检索方法中，步骤S30包括：

S301：根据用户输入的查询内容匹配对应的索引词；

S302：利用Elasticsearch的倒排索引算法，把用户输入的查询内容匹配至索引对应的数据列位置，输出对应的字段数据。

本发明还构造了一种基于数据列的数据检索系统，包括：

在Elasticsearch中新增的数据列；