[发明专利]用于神经语言行为识别系统的词法分析器

说明书

公开了用于从基于输入数据生成的符号的组合构建单词的词典的技术。神经语言行为识别系统包括生成描述从源输入的数据(例如，视频数据、SCADA数据等)的语言模型的神经语言模块。为了生成用于语言模型的单词，神经语言模块中的词法分析器组件接收符号流，每个符号基于从输入数据生成的标准化向量的有序流而生成。词法分析器组件基于具有一个或多个级别的分级学习模型从符号的组合确定单词。每个级别指示要在该级别处识别的单词的长度。为在每个级别处识别出的单词评估统计信息。词法分析器组件识别单词中具有统计显著性的一个或多个单词。

技术领域

本文描述的实施例一般而言涉及数据分析系统，并且更具体而言，涉及基于输入数据来构建要在神经语言行为识别系统中使用的单词的词典。

背景技术

许多当前可用的监控和监视系统(例如，视频监控系统、SCADA系统等)被训练成观察特定的活动并且在检测到这些活动之后向管理员发出警报。然而，这种基于规则的系统需要提前了解要观察的动作和/或对象。这些活动可以被硬编码到底层应用中，或者系统可以基于任何提供的定义或规则对自己进行训练。换句话说，除非底层代码包括某些行为或规则的描述以用于为给定观察结果生成警报，否则系统不能识别这些行为。然而，这种基于规则的方法是死板的。即，除非给定的行为符合预定义的规则，否则该行为的发生可能不会被监视系统检测到。即使系统训练自己来识别行为，系统也需要为要识别的内容提前定义规则。

此外，许多监控系统(例如，视频监控系统)需要大量的计算资源，包括处理器能力、存储和带宽。例如，由于视频数据的典型尺寸，典型的视频监控系统每相机馈送需要大量的计算资源。考虑到资源的成本，这样的系统难以扩展。

发明内容

本文给出的一个实施例包括用于从基于输入数据的符号的组合构建单词的词典的方法。该方法一般地包括接收符号流。每个符号与从输入数据生成的向量簇相关联。该方法还包括基于具有一个或多个级别的分级学习模型从流中的符号的组合确定单词。每个级别指示要在该级别处识别的单词的长度。为在每个级别处识别出的单词评估统计信息。该方法还包括基于所评估的统计信息识别单词中具有统计显著性(statisticalsignificance)的一个或多个单词。

本文给出的另一个实施例包括存储指令的计算机可读存储介质，当指令在处理器上执行时，执行用于从基于输入数据生成的符号的组合构建单词的词典的操作。该操作本身一般地包括接收符号流。每个符号与从输入数据生成的向量簇相关联。该操作还包括基于具有一个或多个级别的分级学习模型从流中的符号的组合确定单词。每个级别指示要在该级别处识别的单词的长度。为在每个级别处识别出的单词评估统计信息。该操作还包括基于所评估的统计信息识别单词中具有统计显著性的一个或多个单词。

本文给出的还有的另一个实施例包括具有处理器和存储器的系统，存储器存储一个或多个应用程序，这一个或多个应用程序被配置为执行用于从基于输入数据生成的符号的组合构建单词的词典的操作。该操作本身一般地包括接收符号流。每个符号与从输入数据生成的向量簇相关联。该操作还包括基于具有一个或多个级别的分级学习模型从流中的符号的组合确定单词。每个级别指示要在该级别处识别的单词的长度。为在每个级别处识别出的单词评估统计信息。该操作还包括基于所评估的统计信息识别单词中具有统计显著性的一个或多个单词。

附图说明

因此，可以详细理解本公开的上述特征的方式、对以上简要概括的本公开的更具体的描述可以通过参考实施例而获得，其中一些实施例在附图中示出。然而，应当注意的是，附图仅仅示出示例性实施例，并且因此不应当被认为是限制其范围，可以承认其它同等有效的实施例。

图1示出根据一个实施例的用于神经语言行为识别系统的示例计算环境。

图2示出根据一个实施例的神经语言行为识别系统的系统体系架构。

图3示出根据一个实施例的用于收集要用在神经语言行为识别系统中的传感器数据的方法。