Home AI lab: 2× DGX Spark + RTX PRO 6000 Local LLM deploy · tuning · benchmarks · OSS contributor 本地大模型部署调优|AI 工具实测教程

Atlanta, GA
Pinned Tweet
我真的在家里装了一个数据中心。 Rackmate T1 机柜里放着两台 DGX Spark,再加一台 M4 Mac mini。 256GB 统一内存,TP=2,接近 Opus 的性能。 这几位随时都能听我调遣: GLM-5.3-Flash EXL3 Qwen3.8-Flash-Next DeepSeek V4 0731 Flash 没有机房噪音,没有五小时限额,也不会按 token 从银行卡里匡匡扣钱。 只有机柜、网线和电费。 它们随时接受我的命令,不会因为地区、账号和额度突然拒绝工作,也不会把我的代码、数据和隐私送上云端。 Codex 何时 reset 跟我无关,不用跪求 Tibo。 Claude 何时封号跟我无关,不用看 Dario 脸色。 可以把专注力集中起来, build 自己的东西。 模型出错了我自己修,机器和数据都掌握在自己手里。 从今天起,我的 AI 跑在自己家里。
207
41
787
83,982
锁频之前:GPU 跑在 2200MHz,老板说满血才叫专业 锁频之后:1800MHz,decode 只掉个位数,功耗降了一大截 老板看完报告,决定人也这么锁,工资锁在实习生那档,产出按满频算
1
81
Cursor 扩展市场里的 Claude Code 扩展 2.1.313 被人改过,装上会留 SSH 后门。这个版本不是 Anthropic 发的,最多影响 5,000 个用户。 时间窗口是太平洋时间 10 月 29 日凌晨 2:27 到下午 1:35。这段时间在 Cursor 里装过或更新到 2.1.313 的,要查一下。 扩展一加载就会执行,不用打开它,会做这几件事: 1. 往 ~/.ssh/authorized_keys 里加一把备注为 svc-telemetry 的公钥 2. 尝试打开本机 SSH,再建一条反向 SSH 隧道 3. macOS 用 LaunchAgent、Windows 用计划任务做持久化,大约每 60 秒重连一次 4. 把主机名、用户名、Git 邮箱、公网 IP 和环境变量名发回攻击者的服务器 macOS 上这样查有没有中招: grep svc-telemetry ~/.ssh/authorized_keys 只卸载扩展不够,它留下的脚本会继续跑。Cursor 给了 macOS 和 Windows 的清理脚本,中招的跑完脚本,再把这台机器上能拿到的密钥和 token 全换掉。 攻击者的服务器已经被下线。没有管理员权限的 Mac 和 Windows 上,打开 SSH 这一步会失败,但加公钥、持久化和上报照样会做。
3
1
250
同一个 GLM-5.3-Flash,我两台 DGX Spark 单路 62.2 tok/s,4 路合计 104.6。 两张 RTX PRO 6000 限到 400W,单路 196.2,4 路合计 347.9,都是我的 3 倍多。 我手上只有一张 PRO 6000,看完有点想再买一张。
Absolutely insane decode numbers on 2x RTX PRO 6000s with GLM 5.3 Flash on TensorFold. Haven't even optimized it really... faster than API I think. This is with power capped at 400w per card.
1
146
DeepSeek-V4.1-Flash-1017 的 Unsloth GGUF 出了。总参数 748B,其中 552B 是主干,196B 是 Engram,Engram 这部分可以放到 SSD 上。 Unsloth 的硬件表里,RAM 加显存从 1-bit 的 128GB 起步: 1. 1-bit 128 到 145GB 2. 2-bit 176 到 205GB 3. 3-bit 256 到 290GB 4. 4-bit 305GB 5. 8-bit 315GB 光靠一张 RTX PRO 6000 的 96GB 显存,1-bit 都放不下,得靠系统内存补。我两台 DGX Spark 加起来 256GB,放 2-bit 有余量,3-bit 就卡在边上了。 官方说 64GB 内存也能跑,那是把更多东西压到 SSD 上,速度会慢很多。
2
1
3
1,231
DGX Spark 最近一次 Dashboard 系统更新会把内核从 7.0.0-1019 升到 7.0.0-1024,升完之后有的机器会反复重启。 两种症状都是升到 1024 之后才出现的: 1. 登录界面输完密码直接弹回来,不登录也是大约 1 分钟重启一次 2. 空闲时自己重启,而且一次比一次快 驱动还是 580.178.04 没变,日志里也没有 kernel panic。关机时能看到 watchdog 没停下来的记录,像是系统先卡死,再被硬件看门狗重置。问题多半出在新内核上。 先看自己有没有装上: dpkg -l | grep 7.0.0-1024 临时办法是在 GRUB 里选回 7.0.0-1019 启动,再用 apt-mark hold 把内核相关的包锁住,等 NVIDIA 出修复版。 我两台 Spark 买回来就没升级过,这次更新先不点。
2
279
RTX Spark 笔记本和 DGX Spark 用的是同一颗 GB10 芯片,内存反而是笔记本快。 笔记本的 LPDDR5X 跑 9,400 MT/s,DGX Spark 是 8,533。实测 GPU 读带宽 282.9 对 239.8 GB/s,笔记本高 18%。本地跑模型,生成速度主要看的就是这个数。 不过我不会拿它换掉两台 DGX Spark。 1. 笔记本没有 ConnectX-7,没法两台连起来跑 TP=2。GLM-5.3-Flash 我就是靠两台合起来的 256GB 才放下 2. Windows 上 CUDA 最多能用到 109.7GB,DGX Spark 在 Linux 下整块内存都能给 GPU 3. 笔记本的功耗上限是 45 到 80W,GB10 整颗芯片是 140W,长时间满载撑不住 单机跑 Qwen3.8-Flash-Next 这种小一点的模型,笔记本带宽占优,还能带着走。要跑两台起步的大模型,还是得 DGX Spark。
8
3
20
3,800
Claude Code 2.1.314 加了一个开关,让 Claude 只能在工作目录里写文件。 在 settings.json 里加一行: {"permissions": {"blockWritesOutsideWorkingDirectories": true}} 打开以后,Write、Edit、NotebookEdit 碰到工作目录以外的路径会直接拒绝,所有权限模式下都生效。 读取那边早就有对应的开关 blockReadsOutsideWorkingDirectories,2.1.257 起就能用。两个一起开,读写都只在项目里。 要放行别的目录,用 --add-dir 或 /add-dir 加进工作目录。 这个开关只管 Write、Edit、NotebookEdit 这几个文件工具,Bash 里的写操作要靠沙箱去限。
162
Anthropic 把 Claude 的 $200 档改名叫 Ultra,已验证的账号取消 5 小时限额,先从大部分老订阅用户开始。周限额不变。$100 档改叫 Max。 用 Claude Code 跑长任务,最常见的是周额度还剩一大半,人却卡在 5 小时窗口上。Ultra 现在可以按自己的节奏用完一周的量。
We’re renaming our Max plans: Max 5x → Max Max 20x → Ultra Max is still $100/month, and Ultra is still $200. If you’re a subscriber, there’s nothing you need to do. We’re also removing the 5-hour limit for verified Ultra accounts, starting today with most existing subscribers. Newer accounts keep a temporary limit until they’re verified, which helps us prevent fraud and abuse. You'll get an email when it's removed. Weekly limits remain unchanged. View our plans here: claude.com/pricing
2
203
量化模型的跑分,只看模型卡上一个数,很难当真。 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化版,模型卡写着三个尺寸 AIME25 全是 100 分。Unsloth 把同样的文件每道题跑 16 遍再平均,最高的 IQ2_XXS 是 95.21,最小的 IQ1_M 只有 91.88。 前几天我拆 GSQ-RCO 的时候,引用的就是这组 100 分。现在看,这个数要打折扣。 两边差在哪,我看下来主要是四件事。 1. 题太少 AIME25 一共 30 道题,错一道就少 3.3 分。 GPQA-Diamond 是 198 道。模型卡上 IQ1_M 比原版低 2.53 分,换成题数就是差了 5 道。 模型卡上的 90.91、89.71、88.38,乘回去正好是 180/198、157/175、175/198 这样的整题数。我推测每道题只跑了一遍,模型卡没写采样次数。 2. 温度 1.0,每次答案都不一样 DeepSeek 推荐温度 1.0。同一道题,这次对、下次错很正常。 粗算一下,假设每道题答对的概率都是 97%,跑一遍 30 道全对的概率大约 40%。随手跑一次拿到 100 分,并不稀奇。 Unsloth 的做法是 AIME25 每题 16 遍,30 × 16 = 480 个答案取平均。GPQA 每题 8 遍,LiveCodeBench 每题 3 遍。 3. 基线要用同一套方法测 Unsloth 拿自己的 8-bit 版 UD-Q8_K_XL 当参照,AIME25 平均 97.08,也不是满分。模型卡上原版是 100。 测法不同,绝对分数没法直接比。Unsloth 把基线按比例换算之后,GSQ-RCO 在 AIME25 上保住的是基线的 94.64%。 4. 低位量化会想得更久 每道题上限 32K token,想太久没写完就算错。8-bit 版有 1.48% 的答案被截断,最小的 UD-IQ1_S 是 4.15%,GSQ-RCO IQ1_M 是 4.69%。 用 1-bit、2-bit 量化,推理预算要留宽一点,有一部分丢分只是没写完。 除了跑分,Unsloth 还看 KLD,也就是量化版和原版在下一个 token 上的概率分布差多远。KLD 是 0,输出就和原版完全一样。 它不受采样运气影响,但量的是一步一步的偏差,长推理里一路累积下来的影响,还得靠跑分看。 同样大小放在一起比,Unsloth 的 UD-IQ1_M 是 250.4 GB,六项平均 85.55。GSQ-RCO 的 IQ2_XXS 是 248.8 GB,平均 83.68。 Unsloth 自己也发量化版,等于对手测对手。我更看重的是它把方法全写出来了:题目版本、随机种子、每题跑几遍、怎么判分,都能照着复现。 以后看量化跑分,我先看三样: 1. 每道题跑了几遍 2. 基线是不是用同一套方法测的 3. 有没有 KLD 或 top-1 一致率 Unsloth 的完整表格和 GSQ-RCO 模型卡链接放在第 2 条。
5
16
1,520
这段话原本讲的是本地推理:个人电脑里的内存 95% 的时间闲着,放进数据中心利用率更高。 单算利用率没毛病,私家车大部分时间也停在车库里。 我在家放两台 DGX Spark,图的就是这辆停着的车。额度不会说改就改,模型不会被悄悄换掉,数据也不出门。
OpenAI CEO Sam Altman believes people owning RAM is wasteful, and that it belongs in data centers instead. "From a global allocation perspective, actually, it’s quite terrible to have everyone have a bunch of the world’s limited supply of DRAM sitting in their own computer."
3
6
641
你想追女神小雨,但情敌阿杰长得比你帅太多。 于是你开了 100 个美女小号,同时给阿杰发私信。阿杰的私信直接爆了,回都回不过来。 小雨发的消息淹没在里面,等了一天没回音,直接下头,转身投入你的怀抱。 这就是臭名昭著的 DDoS 攻击。同时发海量请求,把对方服务器占满,真实用户就连不上了。
2
4
442
多台 Spark 跑大模型,我现在最看重的一个数是长 prompt 在 prefill 的时候,别的请求要等多久。单路 tok/s 反而排在后面。 DeepSeek V4.1 Flash 的 Spark 配方这两天连着更新了两次: 1. 四台 Spark:51K token 的长 prompt 跑着的时候插一个短问题,等待从约 13 秒降到 0.3 秒 2. 两台 Spark:70K token 冷 prompt 跑着的时候插一个短请求,从 26 秒降到 3.8 秒,回复逐位一致 一个人聊天基本碰不到这个问题。同时开几个 agent,或者家里几个人共用一台机器,总有一个任务在吃长上下文,其他请求全排在它后面。decode 再快,首字等 26 秒,用起来就是卡。 所以看本地速度测试,我会多看一项:有长 prompt 在跑的时候,短请求的首字延迟是多少。
5
6
1,975
两台 Spark 配方更新:nitter.siddz.com/MiaAI_lab/status/21159… 四台 Spark 配方更新:
Important updates and fixes have been pushed to DeepSeek V4.1 Flash for 4x DGX Sparks ⚡️ This update includes 7 community PRs! Performance - Chats with images: resending a 35-image chat dropped from 20 s to 1 s (20x faster) - No more waiting: a short question asked during a long 51k-token prompt now answers in 0.3 s instead of ~13 s - CPU use per machine dropped from ~310% to ~0.2% (about 12 CPU cores freed) when on idle More reliable - Long prompts no longer time out clients (a keep-alive signal every 15 s) - Safer start/stop scripts - The test tools can’t report a false “pass” anymore Also, /metrics now shows how many prompt tokens came from the cache (prompt_tokens_cached_total), so dashboards can tell cache hits from real prefill work Thanks to @easthambuilds, @krunkosaurus, @uchkw, Manuel (manuel1618), and SvangenStudios, plus upstream TensorFold work by @jayleaton, @ashxhart and @BobClawblaw 🙏 Get it here: mia-ai.net/models/DeepSeek-V…
1
147
Pro 100、200、500 和 Business Premium 的用量额度已经翻倍,之前说要下调的 Pro 200 也不降了。Plus 不在这次名单里。 我平时的用量要两三个 $200 订阅才盖得住,这次翻倍对重度用户最实在。
Day 25/ We are doubling all usage limits for all Pro 100/200/500 tiers and Business Premium, effective today. We heard your kind feedback and won’t be reducing usage limits for Pro 200, so your Work and Codex usage will stay the same. We’re also going to continue offering extended limits for dots for now, and usage of your dot will still continue to be separate from your default usage. And we'll of course also keep shipping better models and other efficiency improvements that increase your effective usage over time.
1
459
TensorFold 1.1.9 这版主要提 prefill,Qwen3.8-27B 在 GB10 上快了 9% 到 11%,所有模型输出和 1.1.8 逐 token 一致。两台 GB10 跑 GLM-5.3-Flash 基本没变化,在用的可以直接更新。
TensorFold 1.1.9 is out 🙌 A few results against 1.1.8 from the release tests: - Qwen3.8-27B on GB10 with an MLX 4-bit checkpoint: 9% to 11% faster prefill. - Kolibri-1 on GB10: 3% to 8% faster prefill. - Qwen3.8-27B on M5 Ultra: 3.7% to 4.5% faster prefill. - Flash Next on M3 Ultra: sampled prose went from 122.5 to 136 tok/s. Copy-heavy edits ran between 212 and 257 tok/s. Every model in the release comparison matched 1.1.8 token for token. There's also better follow-up reuse for Qwen3.8-27B on Macs with limited memory, opt-in Qwen3.5-2B conversation caching, Nemotron and GLM improvements, clearer drafter reporting and a fix for automatic compaction on small context windows. Huge thanks to everyone who helped with this release: @Bizuayeu @jishvenugopal @grantoverton And on GitHub: jschmied, yguanrong, akol1, RS91Dev, Deesha08, laudney and ppardus. To everyone contributing, testing, sharing hardware access and supporting TensorFold, thank you. Apologies if I've missed anyone. @volatilemarkts @plotarmordev @petruspennanen @MiaAI_lab tensorfold.dev
1
8
1,129