黄仁勋在CES展会上拿起一杯水,慢慢地说,“如果所有数据都能装进口袋,谁还需要仓库?”这句话无意间点破了当前AI芯片内存之争的核心-2

内存这玩意儿,好比是你大脑的短期记忆。咱们今天不整那些虚头巴脑的理论,就唠唠为啥SRAM在某些地方就是比DRAM得劲儿。

别以为这跟你没关系,你手机上每个APP秒开、游戏加载快慢,甚至AI跟你聊天时的反应速度,都跟这俩内存的较劲脱不开关系。


01 内存竞技场

现在的电子产品,内存就像汽车的发动机一样关键。市场上主要有两大阵营:DRAM和SRAM。DRAM,也就是动态随机存取存储器,是目前计算机系统中最常见的主内存-1

这东西结构简单,就一个晶体管加一个电容器,所以能做得很密集,成本也相对较低-4。你电脑里的内存条、手机里的运行内存,基本都是DRAM的天下。

但DRAM有个致命缺点——它是“动态”的。因为那个小小的电容器会不断漏电,所以必须每隔大约32毫秒就刷新一次电荷,否则数据就没了-7

这个刷新的过程不仅耗电,还拖慢了速度。每次读写数据前,系统都得先确认电容里的电荷还够不够,这就像你要从书架上拿本书,得先检查书有没有被虫蛀一样麻烦。

SRAM则完全是另一副面孔。静态随机存取存储器,听名字就知道它更“稳当”。它用六个晶体管组成一个存储单元,结构复杂得多,但也因此不需要不断刷新-8

数据一旦存进去,只要不断电就能一直保持。这种稳定性让SRAM的速度比DRAM快了一个数量级——DRAM访问延迟大约100纳秒,而SRAM只需要1纳秒-2

02 速度与激情

说到SRAM比DRAM快,这可不是闹着玩的。咱们打个比方:DRAM就像你家楼下的大超市,东西多又便宜,但每次去买瓶酱油都得排队结账,还得走段路。

SRAM则像你冰箱门上的饮料格,伸手就能拿到,但容量有限,放不了多少东西。

在计算机系统里,SRAM通常被用作CPU的高速缓存,直接集成在处理器核心旁边-1。当你打开一个软件时,CPU会先把最可能用到的数据从DRAM搬到SRAM里,这样后续访问就快多了。

这种设计思路在AI芯片上玩出了新花样。Groq公司搞了个LPU(语言处理单元),完全抛弃了传统的HBM(高频宽内存,本质上还是DRAM),改用几百MB的片上SRAM存放模型权重-2

结果呢?在需要快速反应的AI推理场景,比如人机对话或实时控制,延迟成了关键因素。传统GPU架构在处理单个请求时,性能会大幅下降,而基于SRAM的设计几乎感受不到延迟。

03 稳定压倒一切

你可能不知道,SRAM比DRAM强的不仅是速度,更重要的是稳定性。在DRAM系统中,由于需要定期刷新和复杂的存取流程,每次数据访问的时间其实不太稳定。

有时候快一点,有时候慢一点,这种波动在普通应用中可能感受不明显,但在对实时性要求极高的场景下,就是天壤之别了。

想象一下自动驾驶系统正在判断要不要刹车,如果内存访问突然慢了那么几微秒,后果可能不堪设想。SRAM的访问延迟是确定性的,每次都是1纳秒左右,不会忽快忽慢-2

这种确定性在工业控制、金融交易、科学研究等领域特别宝贵。Groq在阿贡国家实验室的核聚变反应堆预测任务中,能在0.6毫秒内完成19.3万次推理,性能比传统GPU高出600倍以上-2

这不只是数字游戏,而是实实在在的能力差距。

04 功耗的隐形战场

谈到功耗,SRAM又扳回一城。DRAM因为要不断刷新,即使什么也不干也在耗电。研究表明,刷新操作能占到DRAM总功耗的10%以上-7

而SRAM在没有读写操作时,静态功耗几乎可以忽略不计,只有在实际工作时才会消耗较多能量。

在移动设备和物联网领域,低功耗就是生命线。你肯定不希望手机待机一晚上就没电了吧?SRAM的低功耗特性使其在嵌入式系统和物联网设备中表现优异-1

虽然SRAM每比特的制造成本高于DRAM,但在某些对功耗敏感的应用中,长期使用的总成本可能反而更低。

05 AI推理的新宠儿

人工智能的浪潮把SRAM推到了风口浪尖。过去十年,AI训练是主角,需要处理海量数据,这时DRAM的大容量优势明显。

但进入AI推理阶段,情况就不同了。推理更看重实时响应,这时候SRAM的低延迟特性就大放异彩-2

传统GPU在处理单个请求时,需要频繁从HBM(一种DRAM)加载模型权重,导致计算断断续续。这就好比ChatGPT回消息时那种“思考”的停顿感,其实很大程度上是内存延迟造成的-2

而基于SRAM的芯片,因为模型权重直接放在片内存储器中,几乎可以做到实时响应。这种差异在需要快速反应的AI应用中特别明显,比如智能客服、实时翻译、交互式游戏等。

黄仁勋看得明白,他说辉达收购Groq不是为了全面转向SRAM,而是为了补足“极低延迟推理”的技术短板-2。未来的AI芯片市场,很可能会根据不同的应用场景,灵活搭配SRAM和DRAM。


当芯片制造商在先进制程上争得头破血流时,黄仁勋轻轻抛出一句:“如果一切都能装进SRAM,那确实不需要HBM。”-2 半导体巨头的仓库里堆满了高带宽内存芯片。

办公室的灯光下,工程师们正重新绘制芯片蓝图,那片小小的SRAM区域被一再扩大,而曾经占据主导的DRAM区块正在重新寻找自己的位置。这不是简单的替代,而是一场围绕“速度与容量”的永恒平衡。