[发明专利]一种内存过载下面向重复数据删除的内存优化系统

摘要

本发明公开了一种内存过载下面向重复数据删除的内存优化系统，包括数据页筛选模块、读写请求处理模块、全零数据页过滤模块、重复数据页删除模块和数据管理模块。其中，数据页筛选模块用于发现内存中适合去重的稳定数据页，读写请求处理模块用于地址转化和读写分类，全零数据页过滤模块是对筛选出的去重数据页进行过滤，剔除其中全零数据页以节省内存开销，重复数据页删除模块对全零页过滤剩余页面进行去重操作，数据管理模块负责元数据和去重后的内存数据页的组织和管理。本发明通过筛选内存全零页和删除重复数据页，提高内存利用率，在内存过载下避免缓慢的外存交换操作，有效提高系统整体性能。

主权项

1.一种内存过载下面向重复数据删除的内存优化系统，以块设备驱动的形式存在，向操作系统注册一个块设备，该块设备以交换区的形式向操作系统系统服务，当内存过载时，对交换出数据页进行数据去重，去重后的数据页存储在内存中，以减少不必要的外设读写，其特征在于，所述内存优化系统包括：数据页筛选模块、读写请求处理模块、全零数据页过滤模块、重复数据页删除模块和数据管理模块，上述各模块顺序连接，其中，所述数据页筛选模块，利用页框回收算法，在内存不足时扫描内存数据页，筛选出暂不使用的稳定内存页，并换出到交换缓存中；所述读写请求处理模块，用于对换入换出请求进行应答和处理，对读写请求分类，并交由不同的接口处理，当写数据达到时，检测写入请求逻辑是否合理，以内存页为块大小对数据进行切分，把写入数据的扇区地址转化为页地址和偏移量，当读请求达到时，同样进行逻辑合理性分析和请求切分；所述全零数据页过滤模块，用于对换出的内存页进行全零页检测和过滤，数据页进入该模块时，检测页面数据是否全部为零，对全零数据页进行标记代替存储以节省内存；所述重复数据页删除模块，对所述全零数据页过滤模块剩余的页面进行二次过滤，计算页面指纹作为页面的唯一标识，将指纹散列至哈希表中，进行指纹比对判断页面是否为重复，若重复则删除，相同数据页只保留一份，存储彼此不相同的唯一数据页；所述数据管理模块，该模块与其他个各模块相互交互，用于对所述内存优化系统数据的管理，以便对读写请求进行快速响应；所述数据管理模块包括元数据管理子模块和页面存储池管理子模块，其中，所述元数据管理子模块负责页面指纹索引以及数据页索引，所述页面存储池管理子模块负责对去重后数据页进行存储管理、动态伸缩存储池大小。