Panmnesia推出CXL协议允许AIGPU以最小延迟利用DRAM或SSD内存

韩国科学技术研究院(KAIST)的一家初创公司Panmnesia推出了一款尖端IP，可使用PCIe上的CXL协议为AIGPU添加外部内存，打破了内存容量的障碍。

目前的AI加速器仅限于板载内存，因为制造商只能塞入有限数量的HBM。随着数据集的不断增长和对功率的需求，业界正专注于积累更多的AIGPU，但考虑到它所占用的财务和制造资源，这种方法在长期内是不可持续的。有鉴于此，由韩国KAIST支持的Panmnesia公司推出了一款CXLIP，它可以让GPU利用来自DRAM甚至SSD的内存，从内置HBM扩展。

为了实现连接，CXL使用PCIe链路，确保在消费者中得到大规模采用。然而，有一个问题。传统的AI加速器缺乏连接和直接利用CXL进行内存扩展所需的子系统，而UVM(统一虚拟内存)等解决方案速度非常慢，这首先违背了目的。

不过作为解决方案，Panmnesia开发了自己的符合CXL3.1标准的RootComplex，该有多个端口，可通过PCIe总线将GPU连接到外部存储器，而HDM(主机管理设备存储器)解码器则充当连接之间的桥梁，管理存储器分配和转换。

有趣的是，Pamnesia决定将他们的解决方案(CXL-Opt)与三星和Meta开发的原型进行对比，他们将其标记为“CXL-Proto”。令我们惊讶的是，CXL-Opt实现了明显更低的往返延迟，即数据从GPU传输到内存并返回所需的时间。CXL-Opt的延迟为两位数纳秒，而CXL-Proto的延迟为250纳秒。除此之外，CXL-Opt的执行时间远低于UVM解决方案，因为它的IPC性能速度是UVM的3.22倍。

Panmnesia的解决方案可以在市场上取得巨大进步，因为它充当了堆叠HBM和转向更高效解决方案之间的中介。鉴于该公司是首批拥有创新CXLIP的公司之一，如果这一技术获得成功，Pamnesia将受益匪浅。