已收录文章摘要,完整内容可前往原文阅读。
本地跑大模型这条路上,这两天冒出两组挺扎眼的数字:一组把解码速度推到每秒 72 token,另一组显卡一张没换,只换了运行引擎,速度照样往上蹿一大截。两条路子完全不同,一个靠堆机器,一个靠抠细节。堆