[发明专利]一种数据过滤、构造数据滤波器的方法及装置

说明书

本发明公开了一种数据过滤方法，用于较好的实现数据滤波。所述方法包括：将待测向量进行分段，获得k个待测子向量；将所述k个待测子向量分别与预设的k个检测向量中相应的检测向量进行内积运算，获得k个第一运算结果；确定其中值最大的第一运算结果，获取该第一运算结果所对应的检测向量的标识；其中，检测向量与标识为一一对应的关系；将所述待测向量按照获取的、与值最大的第一运算结果所对应的检测向量的标识映射到预设的数据滤波器中，通过所述数据滤波器确定是否将所述待测向量滤除。本发明还公开了构造数据滤波器的方法，及相应装置。

技术领域

本发明涉及通信领域，特别涉及一种数据过滤、构造数据滤波器的方法及装置。

背景技术

流数据(stream data)可被视为一个随时间延续而无限增长的动态数据集合。数据滤波(data filtering)，也称为数据过滤，其目标是根据事先制定的规则，识别出符合要求的数据并加以拦截或者丢弃。数据过滤是流数据处理中的一种重要操作。例如，对于一些互联网视频分享网站，用户不断提交的视频，组成了大规模视频流数据。系统需要在极短时间内完成对视频流数据的分析、过滤、索引和存储等操作，过滤掉不符合规定的数据流。又例如，对于电子邮件来说，根据实验室数据表明，2012年，垃圾邮件占所有电子邮件平均比例为72.1％，因此，互联网邮件服务提供商为了保证服务质量，需要从邮件流中滤掉垃圾邮件。

针对如何进行数据滤波的问题，现有技术中一般是预先设置多个检测数据，当有数据需要检测时，按照类似于字符串匹配的方式来确定数据间的相似度，若待检测的数据与其中一个或多个检测数据之间的相似度较高，则确定需将该待检测的数据进行剔除。

该方法的缺点是：该方法仅能够按照类似于字符串匹配的方式来确定数据之间的相似度，因此无法处理具有复杂语义的数据。

发明内容

本发明实施例提供一种数据过滤、构造数据滤波器的方法及装置，用于解决现有技术中尚无较好的数据滤波方法的技术问题。

本发明的第一方面，提供一种数据过滤方法，包括：

将待测向量进行分段，获得k个待测子向量；

将所述k个待测子向量分别与预设的k个检测向量中相应的检测向量进行内积运算，获得k个第一运算结果；

确定其中值最大的第一运算结果，获取该第一运算结果所对应的检测向量的标识；其中，检测向量与标识为一一对应的关系；

将所述待测向量按照获取的、与值最大的第一运算结果所对应的检测向量的标识映射到预设的数据滤波器中，通过所述数据滤波器确定是否将所述待测向量滤除。

结合第一方面，在第一方面的第一种可能的实现方式中，在将待测向量进行分段，获得k个待测子向量之后，所述方法还包括：对所述k个待测子向量分别进行归一化操作；

将所述k个待测子向量分别与预设的k个检测向量中相应的检测向量进行内积运算，获得k个第一运算结果，包括：将归一化操作后的所述k个待测子向量分别与所述k个检测向量中相应的检测向量进行所述内积运算，获得所述k个第一运算结果。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，在将待测向量进行分段，获得k个待测子向量之前，所述方法还包括：构造所述数据滤波器。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，构造所述数据滤波器，具体包括：