美光开源世界首个针对SSD和SCM设计的异构内存存储引擎-冯金伟博客园

  美光于昨晚公开了一个针对固态硬盘(SSD)和存储级内存(SCM)设计的键值式存储结构异构内存存储引擎(Heterogeneous-Memory Storage Engine),简称 HSE。这套引擎通过在 DRAM 和其他多种 SSD 中统筹安排数据的存放方式,对存储系统的性能和耐用性都做出了相当程度的优化。

  在美光的新闻稿中,他们举出了一些 HSE 引擎能够带来的性能提升,比如它能够将特定类型的存储应用的吞吐量提高 6 倍,将延迟降低 11 倍,并将 SSD 的寿命延长 7 倍。因为是异构内存架构,它还可以利用不同类型介质的优势,比如将 NAND SSD 和 3D XPoint 闪存结合在一起,提高吞吐量并降低延迟,他们实测了在美光 5210 QLC SSD 中添加自家的 X100——也就是那款使用 3D XPoint 闪存的产品后,系统的吞吐量增加了一倍以上,而读取延迟被优化了接近四倍。

  HSE 可以驱动各类数据库应用,还有在高性能计算、大数据、IoT 和 AI 等领域中也能够起到相当有效的作用。随着新闻稿的发布,美光也同步将这套系统开源到 GitHub 上去了,页面上还给出了它在业界标准测试中产生的对比数据。

美光开源世界首个针对SSD和SCM设计的异构内存存储引擎-冯金伟博客园

美光开源世界首个针对SSD和SCM设计的异构内存存储引擎-冯金伟博客园

  可以看到当 MongoDB 切换到 HSE 作为引擎之后,其性能有大幅度的提升,而面对 Facebook 家的 RocksDB 时它也有很大的优势。

  由于 3D XPoint 等存储级内存或者叫持久性内存在性能上有很大优势,但又较为昂贵,如果能更好的利用它的长处来为整个存储系统做贡献,那收益还是相当可观的,这套 HSE 引擎就是采用了这种理念。