近2w颗star!浏览器里直接跑大模型的高性能推理引擎

GitHubStore 2026年09月09日 查看原文

已收录文章摘要,完整内容可前往原文阅读。

WebLLM 是浏览器内高性能 LLM 推理引擎,用 WebGPU 本地加速,无需服务器,兼容 OpenAI API,支持流式输出、JSON 模式与多种开源模型,可经 npm/CDN 接入,亦可自定义模型。