已收录文章摘要,完整内容可前往原文阅读。
钛度要点:京东广告面临生成式推荐带来的千倍算力需求与300毫秒时延红线之间的尖锐矛盾,真正的瓶颈在通算侧而非GPU。为此,京东与华为鲲鹏合作,通过灵衢互联将四级缓存压成两级,建成300TB共享内存池,并重构RPC通信,使端到端推理时延降低15%。
已收录文章摘要,完整内容可前往原文阅读。
钛度要点:京东广告面临生成式推荐带来的千倍算力需求与300毫秒时延红线之间的尖锐矛盾,真正的瓶颈在通算侧而非GPU。为此,京东与华为鲲鹏合作,通过灵衢互联将四级缓存压成两级,建成300TB共享内存池,并重构RPC通信,使端到端推理时延降低15%。