你看不见的技术仍在演进。在这样的深海领域,一旦出现颠覆性创新,就将带来新一轮浪潮。

「十年之前如果谁说,以后 PC 里不会有硬盘,可能没有人会相信。但事实上现在的 PC 很多都没有硬盘,而是 SSD。我认为五年之后 PC 里可能连 SSD 都没有了,全部会变成内存。」

「大内存」软件公司 MemVerge 的 CEO 范承工这样预测,这家公司于今年 5 月宣布新一轮战略融资,投资方包括英特尔、思科等行业巨头级公司,融资金额 1900 万美元。

范承工口中的「大内存」对于很多人来说可能会有些陌生,但它却与每个人都息息相关。它是 MemVerge 提出的一个概念,关于将要到来的一个计算新时代。

大内存是什么?

要了解大内存,首先要理解计算机的体系架构。简而言之,数据在计算机内的存储是分等级的,经常用的数据被放在比较贵的内存里,不经常用的数据被放在硬盘、SSD 等更便宜的硬件设备里(这些设备被专业人士统称为「存储」,与内存对应)。原因很简单,无非是「让计算更经济」。

内存贵,是因为它存取速度快,适合放在靠近 CPU 的位置,供 CPU 读写经常用的数据。但制造内存的介质断电易失,所以不能作为永久的数据储存硬件。存储虽然存取速度慢,但它便宜,能永久保存数据。因此,适合存放不经常用到的数据。当 CPU 想要访问存储中的数据时,存储把数据交给内存,内存再交给 CPU。

大内存的源头是一种名为 PMem(Persistent memory)的内存介质的诞生,用这种介质制造的硬件能够很好地融合内存及存储的优点,低延迟快速存取、断电不易失,且相较于内存而言储存同样大小的数据价钱更低。这样一来,PMem 硬件就能既完成计算的作用,也肩负存储的责任。

可以预计的是,在未来的存储架构中,PMem 介质硬件将会替代内存,并挤压存储的存在价值,MemVerge 称之为大内存时代。范承工预计,未来,应用程序将全部运行在大内存之上,存储可能将会被很少用到。

英特尔是在 PMem 方面的先行者,早在 20 年前就开始实验,并于 2019 年推出基于 PMem 的硬件「傲腾」。英特尔并非孤独的尝鲜者,除英特尔外,美光、海力士等其他硬件公司也在加紧布局。出于竞争条款限制或研发周期的原因,目前市场上只有英特尔一个玩家,但预计 2 年后 PMem 硬件市场将会迎来一轮爆发。

MemVerge 的软件就是服务于这一爆发趋势的。更精确地说,MemVerge 提供的是针对 PMem 数据中心的企业级解决方案,让现有的软件更好地运行在即将来到的新的内存架构之上。

范承工介绍,首先,新的硬件需要新的编程模式,但对于现有的企业级软件来说,重新编写带来的成本是巨大的,因此需要中间层的迁移工具;其次,尽管目前 PMem 介质已经能够提供较大的容量,但要完全胜任储存大规模数据,还是需要跨机联动,因此需要软件将硬件池化;另外,基于存储产生的数据服务一直是存储行业的重要组成部分,它也构成了新架构的一大重要需求。

对标上述三种需求,MemVerge 发布了一款名为 Memory Machine 的产品,基于英特尔傲腾硬件为企业提供软件服务。目前,Memory Machine 已经被一些金融、AI 领域客户使用。

谁在吃螃蟹对于企业来说,尝试新技术的动力往往源于实际业务中的痛点,在大内存这样一个新的架构上更是如此。MemVerge 的客户中,有一家位于华尔街的投资银行最为典型。

每日股市盘中,这家投资银行以平均每秒五万笔交易的频率进行股票买卖,这些交易数据需要被实时地分发到两百多个账户。这些账户有些是交易相关,比如对冲基金、银行、其他交易员,有些是系统相关,比如合法化管理、风险评估等。

在投行的这项业务中,系统延迟影响的是真金白银的得失,因此在降低延迟这件事情上,他们不遗余力。在傲腾出现之前,银行系统内有一个非常成熟的解决方案,名为「发布/订阅」(Pub/Sub),通过 SSD 加传统网络的解决方案,延迟在几百微秒的量级。MemVerge 为这家银行构建了傲腾加 RDMA 的解决方案,配合 Memory Machine 的软件技术,能够将延迟降低至 3 微秒左右。

同样在金融领域,数据中心的宕机恢复一直是一个比较头疼的问题。由于实时高并发的特性,目前而言,在交易过程中,数据难以被实时储存到非易失的存储中,也就是俗称的难以「落盘」,而是被暂存在内存里,等交易日结束后再统一落盘。

出于安全因素考虑,在交易过程中落盘的只有一个日志。这样一来,如果在交易中系统宕机,内存中的数据丢失,要想恢复就需要根据日志从上一次「落盘」的时间节点开始回滚,也就是前一天晚上。这样的宕机恢复往往在小时级,而交易却在分秒进行。

PMem 介质的存储能有效解决这一问题,因为所有的数据都被储存在大内存中,断电不易失,因此不存在落盘这一动作。通过高频快照快速回滚,分钟级解决宕机带来的数据恢复问题。

另外,在近年来大热的 AI 领域,大内存也能发挥作用。范承工介绍,在深度学习的模型训练中,当模型的大小大于内存的大小时,AI 模型的训练速度会被数据的传输速度掣肘。影视动画、游戏等行业同理,也会遇到这样的问题,大内存的应用能够有效解决。

大内存改变了什么?

目前,在 MemVerge 的客户中,除金融机构外,还有 LinkedIn、腾讯云等互联网公司,以及一些 AI 公司。这些对计算的效率及可靠性有要求的公司,成了大内存时代的尝鲜者。

在存储架构的升级所带来的变化中,MemVerge 所做的业务只是其中一个很小的部分。基于新架构的数据服务、网络服务目前还处于蓝海阶段。另外,存储架构的升级也为应用层面提供了更多的想象。比如更快的游戏体验是否能催生新的游戏品类;AI 计算速度的提高带来了成本的降低,是否有助于 AI 技术在行业中的普及。

像内存介质这样普通消费者看不见的技术仍在演进。在这样的深海领域,一旦出现颠覆性创新,就将带来新一轮浪潮。就像移动互联网的催生来自电容屏的发明,AI 的广泛应用得益于对冯·诺依曼架构瓶颈的突破,PMem 介质内存带来的惊喜还未被揭开,这其中隐藏的机会也正等待被开启。

如果说未来不需要硬盘了 你会不会感到惊讶?-冯金伟博客园