已收录文章摘要,完整内容可前往原文阅读。
MNN团队 投稿量子位 | 公众号QbitAI把大模型运行在手机上,已经有了不少探索。从1B、4B到27B量级的稠密模型,再到总参数约30B、激活参数约3B的MoE模型,不同规模与架构正在拓展端侧部署