首页 > 教程资讯 > 教程详情

苹果展示 MLX 多机推理:四台 Mac Studio 运行 8160 亿参数模型

AI 与前沿 老K说软件 2026-10-18
文章分享

苹果在机器学习研究博客中介绍,借助文章发布当天推出的新版 MLX,四台搭载 M5 Ultra 的 Mac Studio 可联合运行 Muse Spark Open。苹果自测显示,在 8192 token 上下文下,该模型生成速度达到每秒 36.73 token。此次展示的重点,是通过多机协作运行单台 Mac Studio 无法容纳的大模型,并将其接入本地 AI 编程工具。

为什么需要多台 Mac

据苹果介绍,Muse Spark Open 采用混合专家(MoE)架构,总参数为 8160 亿,激活参数为 420 亿。模型原生精度为 BF16,仅参数就需要超过 1.6 TB 内存;此次测试采用 4 位 NVFP4 格式,模型内存占用降至约 493 GB,但加上推理中间计算所需内存,仍无法放入最高配备 512 GB 统一内存的单台 Mac Studio。

MLX 支持两种拆分方式:流水线并行按模型深度分配不同层,由机器依次执行;张量并行则按模型宽度拆分,让多台机器共同计算每一层。后者需要更频繁地交换数据,对通信延迟要求更高。

苹果称,macOS 26.2 引入了基于 Thunderbolt 5 的低延迟 RDMA 驱动,MLX v0.30.1 及后续版本通过通信组件 jaccl 使用该能力。测试中的张量并行集群采用网状连接,每两台机器之间以两根 Thunderbolt 线直连,以增加链路带宽。

四机生成速度达到每秒 36.73 token

苹果公布的自测数据显示,在 8192 token 上下文下,Muse Spark Open 使用两台 M5 Ultra 进行流水线并行时,生成速度为每秒 15.74 token;改为两台张量并行后为每秒 24.99 token;四台张量并行则达到每秒 36.73 token。三种配置的首 token 时间分别为 8.4 秒、8.2 秒和 4.8 秒。

连接方式也会影响长上下文表现。据苹果测试,四台 M5 Ultra 在 65536 token 上下文下运行该模型时,每条链路使用两根线,首 token 时间约为 40.6 秒;使用单根线则约为 50.5 秒。

苹果同时指出,多机张量并行并非在所有环节都更快:在 65536 token 上下文下,Muse Spark Open 的两机张量并行预填充表现落后于两机流水线并行,原因是额外通信抵消了部分计算收益;增加至四台机器后,这一方案才体现出收益。

接入本地编程工具

文章还演示了使用 mlx_lm.server 启动模型服务,并通过 mlx.launch 将计算分配到多台 Mac Studio,再配置 OpenCode 连接本地服务,运行本地 AI 智能体。

文中性能数据均由苹果使用 mlx_lm.benchmark 测得,生成速度以处理上下文后生成 128 个 token 的过程计量。

相关下载

来源