淘宝MNN团队开源0.3B手机模型,iPhone 18 Pro上离线跑出350 token/s

量子位 2026年11月05日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

MNN团队 投稿量子位 | 公众号QbitAI把大模型运行在手机上,已经有了不少探索。从1B、4B到27B量级的稠密模型,再到总参数约30B、激活参数约3B的MoE模型,不同规模与架构正在拓展端侧部署