192GB贵2.6万,带宽只多7%:双11的AI迷你主机怎么选

源自336位全网作者

08:02

11 月 10 日,Reddit 的 r/LocalLLM 上有人晒了个狠活:40 台迷你主机用 USB 线组网,跑起 GLM 5.3 Flash,单用户对话实测 14 tok/s。小红书

这一排盒子总成本约 5000 美元,单台去年的工厂价约 85 美元,整机峰值功耗约 740W。小红书

同一天,国内电商上 192GB 统一内存的 AI 迷你主机标着 51999 元。知乎

一边是 40 个便宜盒子,一边是一个贵盒子。双 11 想拿迷你主机跑本地大模型的人,卡住的就是这道题:钱该买容量,还是买别的?

容量决定“装不装得下”,带宽决定“跑得多快”。而详情页只写容量。

192GB贵2.6万,带宽只多7%:双11的AI迷你主机怎么选

奇虎南夏自费用铭凡 MS-S1 Max(锐龙 AI Max+ 395 / 128GB LPDDR5X-8000)做过一组对照:把 BIOS 里分给 GPU 的 UMA 从 64GB 调到 96GB,跑 gpt-oss 120B,热推理速度几乎一样,都是约 33 tok/s,差异不到 2%。他的结论很干脆——统一内存下没有“显存大了就快”的线性关系,只有“装得下”和“装不下”两个状态,一旦跨过门槛,多出来的空间对推理速度零贡献。知乎

带宽一动,速度立刻动。AIPC煜森把这件事说得最直白:统一内存带宽 256GB/s,不管 32G、64G 还是 128G 版本都一样——容量翻倍,带宽不动。哔哩哔哩

给个参考系:395 的内存位宽是 256-bit,LPDDR5X-8000 规格下理论带宽约 256GB/s,是普通双通道 DDR5 台式机(约 90GB/s)的近三倍。太平洋的水还把同一张 12GB 的 RTX 3060 插进雷电 4 显卡坞,在这个平台上跑 Qwen3.8-Flash-Next,稳定输出 45–51 tok/s;同一张卡换到一台老 Xeon 四通道 DDR3 机器(实测 35–42GB/s),差三倍,卡一点没变。Strata 引擎自己的 profile 写得更硬:解码阶段绑定的是主机内存带宽,不是 PCIe。知乎

192GB贵2.6万,带宽只多7%:双11的AI迷你主机怎么选

双 11 的三档,实际长这样

三千档,双通道 DDR5。AIPC煜森测过 29 个模型,最快的每秒 63 个字,最慢的每秒 2 个字,差 30 倍。他给的分档很实在:一千五到三千跑 8B、三千到六千跑 14B、六千以上才敢碰 27B。哔哩哔哩

这一档还有两件事比换芯片型号管用。第一件,内存插两条比插一条快一倍。第二件,别信标称,标称 64G 的机器实测能给模型的只有约 46.7G,少的那 17G 是系统先占了。哔哩哔哩哔哩哔哩

两万五档,395 / 128GB / 256GB/s,现在的甜点位。OPEN-HMI 的选购评测给的判断是:用 DGX Spark 约一半甚至更低的价格,换来同样 128GB、只慢约 6% 的推理速度,功耗只有 120W——DGX Spark 是 240W,Mac Studio 是 480W。知乎

价差也在往这边倒:上一代 395 的 128GB+2TB 机型只比新平台少 64GB 内存,价格却下降到 25999 元,直接削去了一半。知乎

这档的双 11 新面孔是阿迈奇 F9A:不到 2L 的体积里塞进锐龙 AI Max+ 395 和 128GB 统一内存。三围 158.5mm×158.5mm×81.5mm,标配单硬盘时整机实测约 1.31kg。烤机能稳定在 120W 一条直线上,单烤时用户侧噪音大约 42 分贝,OcuLink 可以无损外接 RTX4070 级别的桌面显卡,前后双 USB4 还能把多台机器高速互联、分段加载更大的模型。哔哩哔哩知乎

五万档,PRO 495 / 192GB / 273GB/s。铭凡 MS-S1 MAX-P495 用上了 192GB LPDDR5X-8533 统一内存,其中最高 160GB 可以分给核显当显存。但容量加了 50%,带宽只从 256GB/s 挪到 273GB/s,多出来的钱主要买的是那 64GB,不是速度。知乎知乎

买它的理由只有一个——装得下。极摩客发布会现场实测,DeepSeek-V4-Flash(284B)在 395 上根本启动不了,权重太大,128GB 内存装不下。换到 192GB 的 495 上,Q4 量化的 284B DeepSeek V4 Flash、320B 的 GLM-5.3-Flash 都能在本地跑通。但速度只有 12 到 15 token/s。轻量的 Qwen3.6-35B 倒是从 62 t/s 拉到了 90 t/s,日常对话已经接近云端的输出速度。知乎哔哩哔哩知乎知乎

192GB贵2.6万,带宽只多7%:双11的AI迷你主机怎么选

十四五 token/s,叫“能用”,不叫“快”。

那 40 个便宜盒子呢

那个 14 tok/s 是单用户对话口径,批处理解码最高能到约 40 tok/s,预填充约 85 tok/s,两回事。AIPC煜森算过账:双机互联只能走网络,万兆网约 1.25GB/s,比片内带宽低约 200 倍。集群只补容量、不补带宽,适合离线批处理,不适合你坐在屏幕前等它回话。小红书哔哩哔哩

真要走这条路,金猪升级包摸出了更聪明的解法:RDMA over USB4,一根雷电线连两台 Strix Halo,延迟从 130µs 压到 7µs,张量并行实测提升明显。社区后续的加速方案还把他最头疼的 Prefill(395 原本只有 300 多 token/s)提了三倍。前提是机器得有 PCIe 或 USB4——这也是铭凡 MS-S1 一直卖得动的原因。知乎

192GB贵2.6万,带宽只多7%:双11的AI迷你主机怎么选

下单前只问一句:你要跑的模型,128GB 装得下吗?

装得下,两万五这档就是答案,多花的钱买不到速度。装不下,比如 284B、320B 这种,再上 192GB,同时接受十几 token/s 的节奏。只想花三千尝鲜,先把内存插满两条,跑 8B 到 14B,别碰 27B。

最后提一句:这些统一内存全是板载焊死的,八颗芯片直接焊在主板上,容量下单即定终身。

内容由AI生成

精选参考来源

1. 40台小主机GLM14tok/s

2. 内存多64G,价格直接翻倍到五万二!铭凡推出P495新款miniPC

3. 96GB 显存比 64GB 快多少?实测结果:几乎零提升,但我发现了更有意思的事

4. 迷你主机跑本地大模型:64G×2换不来128G的速度

5. 带宽为王:AI Max 395 这类平台,让 RTX 3060 也能跑 Qwen3.8-Flash-Next

6. 3000 块的迷你主机,能跑本地大模型吗?能,但只够跑小的

7. 你这台64G内存,能跑本地大模型,别按标称算

8. 本地大模型「AI 主机」选购评测

9. 16核CPU+128GB内存塞进2L迷你主机,阿迈奇F9A主机体验

10. 锐龙AI Max+ 395加持 阿迈奇F9A迷你工作站评测

11. AMD 锐龙 AI Max+ 495 迷你主机上市:192GB 超大内存

12. 极摩客发布Evo-X5 Pro:采用Ryzen AI Max+ Pro 495,售价5万元的AI迷你主机

13. 本地跑3200亿参数大模型的迷你主机,是营销噱头还是真能干活?

14. 192GB显存,装进一台小主机!320B大模型真能跑?——极摩客GMK EVO-X5 PRO 评测

15. 现在怎么没有人提用AMD MAX395去跑本地大模型了?

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
最新文章 热门文章