已收录文章摘要,完整内容可前往原文阅读。
一台笔记本上,270 亿参数的模型跑到了每秒 70 个 token。最近流出的演示里,一台 M5 Max 芯片的 MacBook Pro 跑着 4bit 量化的 Qwen3.8-27B,速度就是 7