[发明专利]一种基于数据库的中文全文本搜索方法

说明书

技术领域

本发明涉及数据识别；数据表示；记录载体；记录载体的处理的技术领域，特别涉及一种基于数据库的中文全文本搜索方法。

背景技术

随着互联网技术的持续快速发展，人类社会进入了一个前所未有的信息化时代，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素，大数据时代已经来临。在大数据时代，人们掌握的数据在以爆炸性的速度增长，同时，数据的形态也在发生着根本性的变化，大数据的存储和分析方法成为处理大数据的关键，研究如何处理大规模数据成为解决人们在大数据时代如何快速获取有效信息的必由之路。

全文检索是信息检索领域一个非常重要的研究方向，它在数据处理方面具有无可比拟的优势，其核心就是索引技术。

目前的主流数据库在实现文本的搜索上主要有两种方法。第一种是通过Like关键字，利用通配操作符匹配文本，查找包括特殊值和部分值的行；第二种是通过正则表达式，编写查找所需数据的非常复杂的匹配模式。虽然这两种搜索机制都非常有用，但存在几个重要的限制：首先，是性能上的限制，通配操作符和正则表达式的匹配通常要求数据库尝试匹配表中所有的行，因此，随着被搜索的行数的不断增加，这些操作可能会非常耗时；其次，是查找控制上的限制，使用通配操作符和正则表达式匹配，很难明确地控制匹配什么和不匹配什么，例如指定这次搜索必须匹配某些关键词，或者搜索不包含该关键字的信息，或者是在匹配成功第一个关键词后，搜索不包含第二个关键字的信息，在部分场景下很难发挥作用；最后，是对于结果的处理，虽然基于通配操作符和正则表达式的搜索都提供了非常灵活的搜索，但是它们都不能提供智能化的选择结果的方法，例如，一个特殊词的搜索将不会找出不包含该词但是包含其他相关词的数据。

事实上，以上所有的限制以及更多的限制都可以使用全文本搜索来解决，在使用全文本搜索时，数据库不需要分别查看每个行，不需要分别分析和处理每个关键词，数据库会创建指定列中各个词对应的索引，搜索可以针对这些词进行，基于此，数据库可以快速有效地决定哪些词匹配、哪些词不匹配以及它们匹配的频率等。然而，现有的主流数据库，例如MySQL和PostgreSQL数据库，均不支持中文的全文本搜索方法，同时，SCWS作为目前使用最方便的开源免费中文分词插件之一，能将一整段的汉字切分成词，但是该插件本身并不支持检索功能，只提供了中文分词的功能。

发明内容

为了解决现有技术中存在的问题，本发明提供一种优化的基于数据库的中文全文本搜索方法，有效组合数据库的全文本搜索优势和分词的模块，实现了中文的全文本搜索。

本发明所采用的技术方案是，一种基于数据库的中文全文本搜索方法，所述方法包括以下步骤：

步骤1：为所述数据库集成中文分词模块；

步骤2：根据搜索需求，利用中文分词模块生成解释器，对所述数据库中要搜索的中文数据进行分词；

步骤3：将分词后的中文数据和分词前的中文数据存入数据库，建立分词后的中文数据和分词前的中文数据间的关联，并在数据库中用于存储分词后的中文数据的字段上建立索引；

步骤4：通过搜索函数对分词后的中文数据进行搜索；

步骤5：获得分词后的中文数据的搜索结果，经过分词后的中文数据和分词前的中文数据间的关联，获得分词前的中文数据，获得全文本搜索的结果。

优选地，所述步骤1包括以下步骤：

步骤1.1：连接数据库；

步骤1.2：下载中文分词插件；

步骤1.3：将中文分词插件安装至数据库，集成为数据库中的中文分词模块。

优选地，所述步骤2中，解释器通过配置设定分词，针对长词进行复合切分。

优选地，所述解释器分词中忽略标点符号。

优选地，所述步骤3中，在数据库中用于存储分词后的中文数据的字段上建立索引后，建立触发器，当原始数据发生变化时，更新对应的存储分词后的中文数据的字段。