开发者 Devon Bray 用 3 张 2017 年发布的 Tesla V100 数据中心显卡搭建本地 AI 主机,在 llama.cpp 框架下跑 Qwen 3.6 35B 大模型推理测试,长上下文场景下 token 生成速度超过苹果 M5 Max,让这款已经退役 9 年的 NVIDIA 老卡再次受到关注,这套方案成本很低,整套硬件合计大约 7000 元左右,适合预算有限、想玩本地大模型的玩家。每张 V100 自带 16GB HBM 显存,3 张卡加起来总显存 48GB,刚好可以放下量化后的 35B 参数大模型,平台选用双路主板搭配老至强 E5 处理器,没有使用 NVLink 互联,依靠 PCIe 来做多卡拆分推理。这里要分清,这个优势只局限在本次指定的 AI 推理测试场景,不是说 3 张 V100 在游戏、渲染、通用计算所有项目都强于 M5 Max,M5 Max 在统一内存、软件生态、功耗控制上依然有优势,V100 集群的短板是功耗高、体积大、搭建复杂、日常使用噪音大。这套测试也证明,老款专业计算卡只要显存足够,依然可以在本地大模型推理上发挥价值,很多淘汰的二手服务器卡有不错的性价比。
硬件核心参数清单
- 显卡型号:NVIDIA Tesla V100(2017 发布)
- 单卡显存:16GB HBM2,3 卡合计 48GB
- 测试模型:Qwen 3.6 35B
- 推理框架:llama.cpp
- 峰值 token 速度:100.8 token/s
- 对比对象:苹果 M5 Max(Mac Studio)
- 平台:Supermicro X10DRG-Q 双路主板 + Xeon E5-2687W
- 整套硬件成本:约 1042 美元(折合 6951 元)
- 互联方式:PCIe,无 NVLink
3 张 V100 vs M5 Max 对比表
| 项目 | 3 张 Tesla V100 集群 | 苹果 M5 Max |
|---|---|---|
| 测试场景 | 长上下文大模型推理 | 长上下文大模型推理 |
| 推理表现 | 本次测试更快 | 同场景更慢 |
| 显存形式 | 独立 HBM 显存,多卡拆分 | 统一内存 |
| 功耗 | 整机功耗很高 | 整机功耗低 |
| 优势 | 二手便宜、总显存充足 | 开箱即用、生态成熟、安静 |
| 短板 | 搭建麻烦、噪音高、功耗爆炸 | 显存上限固定,扩容困难 |
这套 V100 集群的亮点
- 性价比突出:二手 V100 单价很低,几千块就能拿下能跑 35B 模型的算力集群
- 显存总量充足:48GB 显存,能承载不少中大型开源模型,不用重度压缩
- 老硬件复用:淘汰服务器卡不用直接报废,适合 DIY 本地 AI 玩家折腾
- 开源框架友好:llama.cpp 对老 CUDA 卡兼容性不错,不需要新架构专属指令集
明显短板,新手要留意
- 仅限特定 AI 推理场景,游戏、剪辑渲染性能不如 M5 Max
- 功耗巨大,需要大功率电源,散热噪音大,不适合放桌面
- 搭建门槛高,需要双路主板、服务器机箱,调试多卡推理配置复杂
- 二手卡风险高,V100 是服务器退役卡,长期高负载,有暗病风险
- 没有 NVLink 的版本,多卡通信延迟高,模型吞吐上限有限
【相关 FAQ】
问题 1:3 张 9 年前 NVIDIA V100 老卡合力,为什么 AI 推理性能胜过苹果 M5 Max?
回答 1:3 张 9 年前 NVIDIA V100 老卡合计 48GB 显存,在 llama.cpp 跑 Qwen3.6 35B 长上下文推理测试里拿到更高 token 速度,所以这个特定场景下胜过苹果 M5 Max,不是全场景碾压。
问题 2:3 张 Tesla V100 集群玩游戏也会比 M5 Max 更强吗?
回答 2:不会,3 张 9 年前 NVIDIA V100 老卡是专业计算卡,没有游戏优化,3 张 V100 合力只是 AI 推理特定测试胜过苹果 M5 Max,游戏性能远不如 M5 Max。
问题 3:想复刻这套 3 张 V100 方案跑本地大模型,难度高不高?
回答 3:难度偏高,3 张 9 年前 NVIDIA V100 老卡需要双路服务器主板、大功率电源,还要调试 llama.cpp 多卡拆分参数,虽然 AI 推理测试胜过苹果 M5 Max,但搭建和维护门槛远高于 Mac Studio。
问题 4:V100 是 9 年前的 NVIDIA 老卡,二手 V100 用来跑本地 AI 靠谱吗?
回答 4:显存足够,在本次测试里 3 张 V100 合力 AI 推理胜过苹果 M5 Max,但是属于退役服务器卡,长期高负载老化风险高,功耗噪音大,只适合折腾玩家,不适合普通用户。
【参考资料】
[2026-11-20](9 年前老卡翻身!3 张 Tesla V100 跑 AI 推理超过 M5 Max)太平洋科技
[2026-11-20](3 张 V100 llama.cpp 实测 Qwen3.6 35B,对比 M5 Max)快科技
[2026-10-12](4 张 V100 NVLink 集群 AI 基准测试领先 M5 Ultra)Tom's Hardware
[2017-05-10](NVIDIA 发布 Tesla V100 GPU)NVIDIA 官网
【免责声明】
本文仅为 DIY 玩家公开测试资讯整理,不构成硬件采购建议。3 张 V100 胜过 M5 Max 仅针对指定模型、指定推理框架的长上下文 AI 测试场景,不代表全部场景性能领先;二手服务器卡存在老化、故障风险,功耗和散热成本高,请自行评估。
本文来自作者[暗海驻点]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/kjyw/202611/2462.html
评论列表(4条)
我是岳鹿科技网的签约作者“暗海驻点”!
希望本篇文章《九年前的NVIDIA显卡翻身3张老卡合力性能胜过苹果M5 Max》能对你有所帮助!
本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:开发者 Devon Bray 用 3 张 2017 年发布的 Tesla V100 数据中心显卡搭建本地 AI 主机,在 llama.cpp 框架下跑 Qwen 3.6 35B 大模型推理测试,长上下文场景下 token 生成速度超过苹果 M5 Max,让这款已经退役 9 年的 NVIDIA 老卡再次受到关注,这套方案成本很低,整套硬件合计大约 7000 元左右,适合预算有限、想玩本地大模型的玩家。每张 V100 自带 16GB HBM 显存,3 张卡加起来总显存 48GB,刚好可以放下量化后的 35B 参数大模型,平台选用双路主板搭配老至强 E5 处理器,没有使用 NVLink 互联,依靠 PCIe 来做多卡拆分推理。这里要分清,这个优势只局限在本次指定的 AI 推理测试场景,不是说 3 张 V100 在游戏、渲染、通用计算所有项目都强于 M5 Max,M5 Max 在统一内存、软件生态、功耗控制上依然有优势,V100 集群的短板是功耗高、体积大、搭建复杂、日常使用噪音大。这套测试也证明,老款专业计算卡只要显存足够,依然可以在本地大模型推理上发挥价值,很多淘汰的二手服务器卡有不错的性价比。