四台MacStudio合体打造AI集群！1.5TB内存加持，硬件成本直逼30万

12月25日消息，近日知名工程师Jeff Geerling完成了一项挑战，借助macOS 26.2最新的系统特性，将四台M3 Ultra Mac Studio成功整合，构建出一台配备1.5TB统一内存的AI计算集群。

这次集群能够成功，关键在于macOS 26.2所引入的核心功能——RDMA over Thunderbolt 5。借助Thunderbolt 5接口，该功能可让一台Mac直接读取另一台Mac的内存，且整个过程无需CPU介入。

在Geekbench 6的多核测试环节，这个集群毫无压力地超过了Dell Pro Max with GB10与Framework Desktop；其双精度浮点数性能甚至突破了1TFLOPS，同时闲置状态下的功耗还不到10W。

在AI推理性能测试中，单机部署Llama 3.2 3B模型时，每秒token处理量可达154.6个；而运行更大规模的Llama 3.1 70B模型时，每秒仍能稳定维持14.1个token的处理速度，这两项测试结果均显著领先于同类竞品。

另外，在尝试运行DeepSeek R1 671B超大型模型的过程中，其他系统都没办法正常工作，不过Mac Studio集群依靠它1.5TB的统一内存，成功应对了这一挑战。

在这个AI集群里，RDMA over Thunderbolt 5起到了关键作用，开启RDMA后，内存访问延迟从TCP的300微秒降到了50微秒以内。

在利用exo系统对Qwen3 235B进行测试的过程中，四台设备每秒能够处理31.9个token，这一速度相较于llama.cpp TCP提升了一倍还多；而DeepSeek V3.1的表现更为出色，每秒可处理的token数量达到了32.5个。

尽管RDMA性能优异，不过在负载较高的情况下，偶尔还是会发生系统崩溃的现象

另外需要留意的是，由Mac Studio搭建的AI集群整体硬件成本大约是40000美元（折合人民币约28万元），和另外两个平台比起来，这个价格要更高一些。