浏览器里的LLM: web-llm，高性能浏览器内...

浏览器里的LLM: web-llm，高性能浏览器内 LLM 推理引擎ai程序员

它通过硬件加速将语言模型推理直接引入 Web 浏览器。所有内容都在浏览器内运行，无需服务器支持，并通过 WebGPU 加速。

WebLLM与OpenAI API完全兼容。 也就是说，你可以在本地对任何开源模型使用相同的 OpenAI API ，其功能包括流式传输、JSON 模式、函数调用（WIP）等。

访问：github.com/mlc-ai/web-llm

ChatGPT