那么这一轮的内存疯涨又是啥原因呢?
其实本质上依旧是内存的供给和需求失衡所导致的,但这次的罪魁祸首并非是上游的那几大巨头,而是现在大热的 AI 人工智能。
许多人可能觉得训练 AI 大模型,消耗最多的不应该是算力吗?和内存有啥关系?
事实上,对于生成式 AI 大模型的训练以及推理,算力只是其中一方面,它对于内存同样有着很高的需求。更要命的是训练 AI 大模型,用的不是普通的内存,因为普通内存的带宽实在是太小了,根本无法满足 AI 大模型海量的数据吞吐,它需要的是高带宽的 HBM 内存,而且这种大型的 AI 服务器对内存的需求量也是普通服务器和 PC 的 3 到 8 倍。