SGLang là bộ khung chạy model AI phục vụ nhiều người cùng lúc với tốc độ rất cao, đặc biệt tối ưu cho ứng dụng agent (AI làm nhiều bước liên tiếp) và huấn luyện AI bằng học tăng cường. Đội làm sản phẩm AI quy mô lớn dùng nó thay cho giải pháp chậm hơn. Người mới thường chưa cần đến, nhưng nếu bạn muốn tự host model cho nhiều người dùng thì nên biết đến nó. Lưu ý: cần card đồ họa và máy chủ Linux.
SGLang là bộ khung chạy model AI phục vụ nhiều người cùng lúc với tốc độ rất cao, đặc biệt tối ưu cho ứng dụng agent, AI làm nhiều bước liên tiếp, và huấn luyện AI bằng học tăng cường. Đội làm sản phẩm AI quy mô lớn dùng nó thay cho giải pháp chậm hơn. Người mới thường chưa cần đến, nhưng nếu bạn muốn tự host model cho nhiều người dùng thì nên biết đến nó. Lưu ý: cần card đồ họa và máy chủ Linux.
git clone https://github.com/sgl-project/sglang.git