WebLLM là bộ máy chạy model AI ngay trong trình duyệt web, không cần máy chủ: mở web lên là chat được với AI, mọi tính toán chạy trên card đồ họa của máy bạn qua WebGPU. Dân làm web dùng nó gắn AI vào trang web mà không tốn tiền máy chủ, vẫn giữ riêng tư cho người dùng. Người mới thử ngay trên chat.webllm.ai mà không cần cài gì. Lưu ý: trình duyệt cần hỗ trợ WebGPU (Chrome, Edge bản mới).
WebLLM là bộ máy chạy model AI ngay trong trình duyệt web, không cần máy chủ: mở web lên là chat được với AI, mọi tính toán chạy trên card đồ họa của máy bạn qua WebGPU. Dân làm web dùng nó gắn AI vào trang web mà không tốn tiền máy chủ, vẫn giữ riêng tư cho người dùng. Người mới thử ngay trên chat.webllm.ai mà không cần cài gì. Lưu ý: trình duyệt cần hỗ trợ WebGPU, Chrome và Edge bản mới đều có.
git clone https://github.com/mlc-ai/web-llm.git