[发明专利]一种中文机构名称实时分析方法及系统

摘要

本发明公开了一种中文机构名称实时分析方法及系统。首先集合中文机构库和中文机构自动提取算法构建准全量中文机构词典，然后使用快速匹配算法将相关文本与准全量中文机构名称库进行匹配，并实时获取文本中相关机构的具体信息，同时使用热加载的方式对海量机构名称库进行实时维护。本发明可以准确的从文本内容中快速提取机构名称，并实时获取相关机构的详细内容，运算效率高，资源消耗小，准确率高，可以广泛应用于金融领域。 1

主权项

1.一种中文机构名称实时分析方法，其特征在于，包括如下步骤：

步骤1.构建金融机构名称词典，并存入数据库；

步骤2.将金融机构名称映射到多个Hash Table中，以减少资源空间的占用；

步骤3.加载待分析的文本内容，并将文本内容进行预处理，具体是将待分析的文本进行分词，并生成分词后的文本内容；

步骤4.判断预处理后的文本内容是否存在机构名称，如果存在则返回机构id；具体是使用n个bloom filter从未分词的文本内容中匹配机构名称，如果filter机构名称中存在相关内容，则返回机构id，并使用步骤3的分词结果确定返回机构id是否有效；

步骤5.根据机构id获取数据库中检索匹配机构的信息。

2.根据权利要求1所述的一种中文机构名称实时分析方法，其特征在于，步骤1的金融机构名称获取方法是：

(1)海量中文机构库，该数据库中包含了相关机构全称、约定简称和机构的工商基础信息和相关名称的可信度；

(2)中文机构自动提取算法自动从文本中提取海量中文机构库中不存在的机构全称和简称。

3.根据权利要求1所述的一种中文机构名称实时分析方法，其特征在于，步骤1的具体实现方法包括：

步骤1.1.计算文档集中词汇C左边词的信息熵，计算公式为：IE_l(C)＝‑∑_s∈lP(aC|C)/log₂P(aC|C)，其中aC表示文档集中词汇C左边的首个词汇a，P(aC|C)表示在文档集中当C出现时aC出现的概率；

步骤1.2.计算文档集中词汇C右边词的信息熵，计算公式为：

IE_r(C)＝‑∑_s∈rP(Cb|C)/log₂P(Cb|C)，其中Cb表示文档集中词汇C右边边的首个词汇b，P(Cb|C)表示在文档集中当C出现时Cb出现的概率；

步骤1.3.计算词汇序列W₁W₂...W_n的互信息，计算公式为：

其中，W_i表示分词后得到词汇集中的第i个词汇单元；

步骤1.4.根据互信息和左右邻界熵度量信息序列W₁W₂...W_n，计算公式为：

其中，FRE(W₁W₂...W_n)为词汇在文本集中的频率分布统计，根据设定的MIX_value阈值找出候选机构名称词；

步骤1.5.根据候选机构名称在工商信息查询网站上确认最终需要加入机构词典的机构名称。

4.根据权利要求1所述的一种中文机构名称实时分析方法，其特征在于，所述步骤2将千万级别金融机构名称映射到一个Hash Table中，实现快速机构别的功能，具体步骤如下：

步骤2.1.使用k个相互独立的哈希函数(Hash Function)，分别将数据库中机构名称映射到{1，...，m}的范围中；

步骤2.2.对任意一个机构名称，当插入时，第i个哈希函数映射的位置h_i(x)加1，当删除时，第i个哈希函数映射的位置h_i(x)减1，重复操作，直至将数据库中的所有机构名称都遍历完，生成n个Bloom Filter。

5.一种中文机构名称实时分析系统，其特征在于，包括：

词典构建模块：构建金融机构名称词典，并存入数据库；

名称映射模块：将金融机构名称映射到多个Hash Table中，以减少资源空间的占用；

文本内容预处理模块：加载待分析的文本内容，并将文本内容进行预处理，具体是将待分析的文本进行分词，并生成分词后的文本内容；

文本内容判断模块：判断预处理后的文本内容是否存在机构名称，如果存在则返回机构id；具体是使用n个bloom filter从未分词的文本内容中匹配机构名称，如果filter机构名称中存在相关内容，则返回机构id，并使用步骤3的分词结果确定返回机构id是否有效；

检索匹配模块：根据机构id获取数据库中检索匹配机构的信息。