[发明专利]安全检测的时序数据实时异常发现方法及电子装置

说明书

本发明提供一种安全检测的时序数据实时异常发现方法及电子装置，该方法步骤包括：根据配置文件，创建或读取TimescaleDB时序数据库表；将所述时序数据实时插入所述TimescaleDB时序数据库表，并经哈希函数计算处理进行分桶，邻居数据被哈希到相同的桶中；计算每个桶内数据数量与所有桶内的桶内数据数量的平均值，并根据一设定阈值判断所述时序数据是否异常。本发明提高了异常检测应用的写入与查询性能，不需要存储所有的历史数据，能够大幅度节省空间，在发生意外如断电的情况时不会发生数据丢失和应用失效，不需要对样本进行标注，也无需进行模型训练。易于部署和降低开发成本。

技术领域

本发明属于时序数据挖掘、流数据分析、异常发现技术领域，具体提出一种安全检测的时序数据实时异常发现方法及电子装置。

背景技术

随着5G网络、LTE-V2X和802.11p等通信技术的快速推广，车联网、物联网及其相关技术得以快速发展。同时安全监测问题也日益突出。例如，5G下的车联网系统或者联网车辆一旦被攻击或者发生异常，如未被及时发现，轻则导致车毁人亡，可能引发重大的交通事故，甚至大规模的交通瘫痪，给社会甚至国家安全造成严重威胁。

安全监测数据中的异常发现技术，是对产生的数据进行实时汇聚、计算与分析，以实现异常状态的实时监测与发现。实时安全监测数据是一种典型的时序数据：其最典型的特征就是每条数据具有时间属性(一般以时间戳标识)，且数据不间断的持续到达。例如传感器监测数据、车辆运行状态监测数据、车载OS运行日志数据以及网络通信监测数据等。针对时序数据的特点，面向安全检测的时序数据中异常发现技术必须满足以下几个要求：

1)插入性能，时序数据的插入是一个强需求，因此对于插入性能要求较高。

2)查询性能，异常检测的查询频率高且实时性需求高，因此对于查询性能要求较高。

3)时间分区功能，时序数据的异常检测查询，往往都会带上对时间区间的过滤，支持数据分区存储能够大大提高查询效率。

4)分区可删除功能，时序数据往往不需要存储全部历史数据，而是存储最近经常访问的时间区间内的数据，因此需要旧数据分区可删除以提高空间效率。

传统的异常检测分为监督的和无监督的检测。监督异常检测利用机器学习算法(例如分类)对标记为异常/非异常的数据集进行检测。然而时序数据往往缺少关于异常与否的标签信息，因此监督方法不适合时序数据。无监督异常检测可以大致分为三类：1)基于统计，2)基于聚类和3)基于最近邻。基于统计的方法需要关于数据集的基础分布的先验知识，对于随时间动态变化的时序数据不适用；基于聚类的算法需要足够长的学习过程才能得到较为准确的聚类结果，他们都不能满足上述性能要求。

例如中国专利申请CN105205112A公开了一种时序数据异常特征的挖掘系统及方法，其获取周期性数据，提取傅里叶特征、主成分分析特征、统计特征和小波特征，运用KT-means方法进行聚类表示成特征字符。但该申请如上所述，需要学习训练，需要足够长的过程。基于最近邻的方法通常基于其自身行为与其近邻的行为之间的差异来定义点的离群程度。既不需要数据先验信息也不需要长时间的训练，因此更适合时序数据。