Jetson Orin上推理加速最高5.3倍!北大开源端侧MoE自推测解码方案

智猩猩AI 2026年09月05日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

智猩猩AI整理编辑:BugMaker大模型参数规模不断增长,但真正部署到终端设备时,一个问题始终存在:如何让这些模型离开数据中心,直接运行在手机、边缘设备甚至本地GPU上?近年来,Mixture-of