提速不降智,小红书DoSA将首token延迟无损减少近一半

小红书技术REDtech 2026年10月21日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

百万 token 输入,首字还要等多久?小红书 DoSA 保持原始评分函数下的精确 Top-K,在三款模型上将首字等待缩短约 37%~48%。