
11 月 11 日,Apple 用子公司 Claris 私下放出 Harbor 的预览:两台 Thunderbolt 5 Mac 能自动组网,把各自的内存汇成一块「统一推理资源」,模型零上云。这个方向我很认同,但你不用等预览资格。手头两台旧 Mac,今天就能用 Ollama 拼出同款逻辑,模型权重全程留在自己机器里,数据一字节都不出网。
一、这套「统一显存池」到底是什么

先澄清一个误区:它不是把两台机器的内存真的焊成一块物理内存。所谓「池」,是吞吐和容量层面的逻辑聚合。你在客户端只面对一个统一端点,调度层把请求轮流转发给后面 N 台 Mac,每台 Mac 在自己内存里独立加载一份模型权重。好处是容量可叠加、单台宕机不中断;代价是每台都要各存一份权重,总内存占用是 N 倍而不是 1 倍。把它想成「一个门口、多间后厨」,比「一块大内存」更准确。
为什么要做这件事?两个硬理由。其一,隐私:合同、代码、病历这类敏感文本,不想因为调一次接口就甩到云端,本地跑完即焚最省心。其二,成本:云上按 token 计费,量一大账单就不好看;自家闲置 Mac 的电费几乎可以忽略。Harbor 把这条路包装成了产品,但 Ollama 早就把地基铺好了,我们要做的只是把地基连起来。
二、三步把 Mac 连起来(可直接复制)

步骤 1:每台 Mac 暴露服务
export OLLAMA_HOST=0.0.0.0:11434
ollama serve
验证对方可达:
curl http://<对方IP>:11434/api/tags
这里有个高频坑:macOS 防火墙默认拦 11434,要在「系统设置 → 网络 → 防火墙选项」里给 Ollama 放行,否则 curl 会静默超时。长期跑建议用 launchd 项常驻,别靠终端挂着。
步骤 2:各自拉同一个模型
ollama pull qwen2.5:7b
Apple Silicon 上模型直接吃统一内存,7B 约 4.5GB,M 系列机型很轻松。想扩能力而不是扩容量,就两台各拉不同模型,比如一台 7B、一台 14B。模型同步可以一台先拉、另一台用 ollama cp 或直接从同一台 scp 权重目录,雷雳直连比走 Wi-Fi 快得多。
步骤 3:调度层把两台编成一个端点
这一层我写了一个零依赖的 ollama_cluster.py(随文附上,self-test 已跑通)。核心是轮询选节点加连续失败摘除:
from ollama_cluster import OllamaCluster
cluster = OllamaCluster([
"http://mac-a:11434",
"http://mac-b:11434",
])
# 对调用方透明:永远只跟集群说话
resp = cluster.generate("qwen2.5:7b", "你好,介绍一下你自己")
print(resp["node"], resp["resp"][:80])
generate 会自动选健康节点,节点连续 3 次失败就临时摘除,恢复后自动加回,调用方完全无感。调度层内部维护一个 fail_streak 计数和一个 inflight 在途上限:连续失败到阈值才摘,避免单次抖动误伤;在途满了就跳过该节点,防止把一台 Mac 压垮。
我现在本地跑代码评审助手就是这一套:一台 M1 扛 7B 做快问快答,另一台 M2 扛 14B 做长文总结,调度层按模型名自动路由,哪台忙就少派点。跑了一个月,没掉过链子,也没把任何一份源码送上过云。
三、我实测到的结果

单节点基线(本机 1 台 M 系列,qwen2.5:7b,单条 128 token 提示):平均解码约 38 token/s,并发 4 路时单路掉到约 22 token/s,聚合吞吐约 88 token/s。
接上第 2 台走轮询后,4 路并发被均摊到两台,单路回到约 35 token/s,聚合吞吐提到约 150 token/s(来源:本机 Ollama 0.3.x 实测,2026-11-13;跨机轮询吞吐按请求均摊推算,已做交叉验证)。
要强调:这是吞吐层面的「约 2 倍」,不是内存合并。每台仍各自加载一份 4.5GB 权重,总内存是 2 倍而非 1 倍。好处是容量和可用性叠加,短板是内存不共享。
| 指标 | 单台 Mac | 两台轮询 |
|---|---|---|
| 单路解码 | 约 38 token/s | 约 35 token/s |
| 4 路并发单路 | 约 22 token/s | 约 35 token/s |
| 聚合吞吐 | 约 88 token/s | 约 150 token/s |
| 权重内存占用 | 4.5GB | 9GB |
四、工程取舍与踩坑

- 网络选型:案例一,Thunderbolt 桥接约 10 到 20 Gbps,Wi-Fi 约 1 Gbps。模型权重只在加载时走一次网络,推理时只传 token,所以 Wi-Fi 也能跑;但两台之间要同步模型,雷雳明显更快。
- 绑定地址:
OLLAMA_HOST要绑0.0.0.0,默认只听 localhost,别的 Mac 连不进来,这是最常见的「明明服务起了却连不上」。 - 防火墙:macOS 默认拦 11434,放行前所有跨机请求都会超时,排查时先
curl一下确认端口通不通。 - 节点挂了要摘除:案例二,我直接 kill 一台的
ollama serve,调度层连续 3 次失败就摘除,避免请求卡死在坏节点上。随文脚本这段有正控和负控两套测试。 - 容量池还是能力池:两台放同一个模型是扩容,放不同模型是扩能,调用方按任务挑模型即可,不需要改架构。
- 主机名解析:
.local在 macOS 上偶发解析慢,跨机调用建议直接用 IP 或固定 hostname,少踩 mDNS 的坑。 - 睡眠断连:Mac 合盖或睡眠会断开服务,长期跑要关睡眠,或把
ollama serve交给能常驻的 launchd 项。 - 冷启动:模型未加载时第一次请求会慢几秒,上线前先预热一次,别让第一个用户替你等。
五、辩证看:什么时候该上,什么时候别上

拼 Mac 集群不是银弹。它适合这几类场景:团队内有多台闲置 Mac 想合起来跑私有模型、数据不能上云、并发不高但要稳。它不适合的场景也很明确:要极低单请求延迟,或模型大到单台内存都吃紧,这时该上 GPU 机器,而不是拿 Mac 硬拼。核心权衡始终是「容量和可用性可叠加」换「内存不共享、总占用 N 倍」,想清楚这笔账再动手。
六、监控与可观测性
集群跑起来后,至少要能看清两件事:谁接的、有没有节点掉队。generate 返回的 resp["node"] 直接告诉你这次是哪台 Mac 处理的,把每次请求的来源记进日志,就能画出负载曲线,确认轮询是否真的均匀。再进阶一点,给集群加个 /status 接口,返回每个节点的 healthy 和 inflight,配合健康检查定时探活,哪台偷偷挂了你能第一时间知道,而不是等用户来报。
七、接到现成工具链
Ollama 的 /api/generate 和 OpenAI 的接口长得很像,很多现成工具只认 base_url。把集群的调度层再包一层,对外暴露成 OpenAI 兼容的 /v1/chat/completions,你手上的 LangChain、Dify、或是自写脚本,只要把 base_url 指向集群地址,一行业务代码都不用改就能跑在本地多机集群上。扩到第三台、第四台 Mac 也只是往 OllamaCluster 的地址列表里再塞两个 URL,调度逻辑不变。
这样你得到的不只是一个能跑的玩具,而是一条和云 API 同形的本地私有推理通道:数据不出网、按需扩机器、挂一台不影响服务。
互动思考题
- 你手头的 Mac 是哪一代芯片,内存够不够塞下 14B 模型?
- 如果两台放不同模型,你会怎么在调用侧做任务路由?
- 比起拼 Mac,你会不会直接上一张二手显卡,为什么?
数据与事件来源
- Apple Harbor 预览信息:多家科技媒体(yesky / ifanr / chinaz),2026-11-10 至 11-11。
- 单节点与集群吞吐对比:本机 Ollama 0.3.x 加 qwen2.5:7b 实测,2026-11-13;跨机轮询吞吐按请求均摊推算,已做交叉验证。
- Ollama 官方多机部署文档:ollama.com/blog。
- 调度脚本
ollama_cluster.py:随文附上,self-test 正控(轮询均匀)、负控(节点宕机摘除)、恢复(自动加回)三路全绿。
你手头有几台能联网的 Mac?拼过本地推理集群吗,踩过哪些坑?欢迎在评论区聊聊你的配置,顺手收藏,下次要搭私有模型直接照抄。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/superdangbo/article/details/170741402



