揭秘小红书自研稀疏训练引擎 SparseGear：面向搜广推模型 Scaling Up 的资源协同与 HBM-Friendly 架构

已收录文章摘要，完整内容可前往原文阅读。

为支持搜广推模型持续 Scaling Up，小红书自研稀疏训练引擎 SparseGear 重新设计了稀疏参数的计算、存储与通信方式，构建 HBM-Friendly 高性能多级稀疏参数存储架构，提升参数供给效率，为 Dense 扩展释放显存空间。