已收录文章摘要,完整内容可前往原文阅读。
(本文阅读时间:10 分钟)结构化稀疏被认为是提升大模型推理效率的重要方向之一。为了支持这类计算模式,如今的GPU 中引入了稀疏张量核(Sparse Tensor Core),能够为 2:4 结构化稀