[发明专利]语言无关的概率内容匹配

说明书

背景

诸如英语等许多语言使得词语由文本中的空格间隔。在这些类型的语言中，需要词语在文本中得到标识的任何技术是相当直接的。这些空格被称为相邻词语之间的分隔符。这些类型的语言被称为空格分隔语言或分割语言。

然而，诸如汉语、日语、韩语和越南语等其它语言仅被写为均匀隔开的文字的序列。这些语言在词语之间没有清楚的间隔，因为它们在词语之间没有空格。这些类型的语言被称为非分割语言。在非分割语言中缺乏已知的分隔符导致对例如关键词的精确检测相当困难。

类似地，在非分割语言中，完全相同的文字基于周围的上下文可意味着不同的东西。作为示例，以下文本：

输入信用卡号码。

具有词语分割，这在以下表1中翻译：

表1

输入信用卡号码输入信用卡号码

然而，以下文本

周信用卡车运货。

具有在以下表2中所示的翻译：

表2

周信用卡车周信(人名)驾驶他的卡车

可见，表2中的文本包含与第一示例中被翻译成“信用卡”的相同的文字序列(突出显示)，但该文字序列具有完全不同的意思并且与信用卡无关。

此外，在非分割语言中，换行符可出现在各种地方，使得更难以标识文字序列中的关键词。

这在各种不同领域中可能是成问题的。例如，当前存在管控个人信息的传播的各种不同来源的政策和规定。需要处理某些类型的信息的组织需要遵循全部这些规定。规定可以是例如来自政府的外部规定，或者是管控某种类型的信息能如何在公司内传播的内部规定。

通常受到这些规定和政策的约束的内容由信息工作者操作，信息工作者具有包含大量规定或政策(内部和外部两者)的手册，且该工作者预期了解并遵循全部规定或政策。在实施这些政策时，某些系统试图标识正由信息工作者工作的文档中的敏感信息。为此，这些系统通常试图检查文档中的词语以确定给定文档是否是敏感的。例如，诸如“信用卡”的关键词被认为是敏感内容的指示。然而，如上所述，这在非分割语言中非常难以标识。

提供以上讨论仅用作一般的背景信息，并不旨在帮助确定所要求保护的主题的范围。

概述

内容被接收，并针对用于标识一类型的内容的规则来进行比较。每一规则具有分割和非分割的模式两者。内容针对模式进行匹配，并被分配置信分数，如果内容匹配分割模式则置信分数较高，如果内容匹配非分割模式则置信分数较低。