[发明专利]通过确定输入数据中的模式进行数据挖掘

说明书

技术领域

本发明一般地涉及数据挖掘。具体地说，本发明涉及确定输入数据中 的模式。

背景技术

数据挖掘一般指用于从输入数据提取信息的数据驱动的方法。其他用 于从输入数据提取信息的方法通常是假设驱动的(hypothesis driven)，其 中从输入数据的角度证明一组假设是正确还是错误。

输入数据量可能很庞大，因此数据挖掘技术通常需要考虑如何有效处 理大量数据。考虑制造产品作为一个实例。其中，输入数据可以包括各种 与组件的起源和功能、组件在制造厂中的处理、组件如何装配在一起相关 的数据。在制造上下文中，数据挖掘的目的可以是解决与质量分析和质量 保证相关的问题。数据挖掘可以例如用于根本原因分析、制造厂内的预警 系统，以及减少索赔。作为第二个实例，考虑各种信息技术系统。其中， 数据挖掘可进一步用于入侵检测、系统监视和问题分析。数据挖掘还具有 各种其他用途，例如在零售和服务领域可以分析典型客户行为，以及在医 学和生命科学领域用于发现临床研究中的因果关系。

模式检测是数据挖掘科目，其中输入数据包括多个事务集合，而每个 事务包括一个项目集合。事务还可以被排序。可以根据时间排序，但是备 选地可以定义任何排序。例如，可以为每个事务提供顺序号。关联规则是 描述项目如何在事务内出现的模式。另一方面，顺序规则指顺序事务中项 目集合的特定顺序。

考虑一个项目集合I＝{I₁，I₂，...I_m}。假设D是一个事务集合，其中每 个事务T是一个属于I的项目集合，T⊆I]]>。因此，如果A⊆T]]>，则事务T在 I中包含项目集合A。关联规则蕴含形式A⇒B,]]>其中A⋐I]]>，B⋐I]]>，并且 A被称为规则体而B被称为规则头。如果D中包含A的c％事 务也包含B，关联规则A⇒B]]>在置信度c的事务集合D中为真。换言之， 置信度c是条件概率p(B|A)，其中p(S)是在D中发现作为事务T的子集的 S的概率。当D中s％的事务包含A∪B时，规则A⇒B]]>在事务集合D中具 有支持度(support)s。换言之，支持度s是在事务中出现集合A和集合 B中的项目的并集的概率。

通常，数据挖掘的目的是准确发现所有满足用户定义的准则的关联规 则和顺序规则。用户可以针对规则定义最小支持度或置信度，因为极少的 或松散相关的事件可能对某些应用而言并不重要。用户还可能只对特定项 目感兴趣并且只希望搜索包含这些感兴趣项目中的至少一个项目的模式。

存在多种用于根据输入数据确定关联规则和顺序规则的技术。通常， 基于候选模式的生成来搜索关联规则和顺序规则，然后相对于输入数据评 估候选模式。然后通过向规则添加新项目来扩展这些被发现适用的候选模 式，从而产生新的更复杂的候选模式。