已收录文章摘要,完整内容可前往原文阅读。
WebLLM 是浏览器内高性能 LLM 推理引擎,用 WebGPU 本地加速,无需服务器,兼容 OpenAI API,支持流式输出、JSON 模式与多种开源模型,可经 npm/CDN 接入,亦可自定义模型。