已收录文章摘要,完整内容可前往原文阅读。
816B 参数的模型需要多大的机器才能跑?Meta 给出的答案跨度很大:BF16 原版要 4 台 8×H200 的节点,而 2-bit 量化版能在一台 512GB 内存的 Mac M3 Ultra 上