已收录文章摘要，完整内容可前往原文阅读。
论文导读Tandemn、伊利诺伊大学厄巴纳-香槟分校、加州大学伯克利分校、纽约大学、字节跳动和英伟达的研究者提出Koi，为共享GPU的大模型服务自动选择硬件、运行配置与副本数量。在持续3小时、共104