vLLM là thư viện giúp chạy model AI phục vụ nhiều người cùng lúc vừa nhanh vừa rẻ: một máy chủ có thể trả lời hàng trăm người cùng lúc mà không bị chậm. Công ty làm sản phẩm AI dùng nó để dựng API chatbot cho hàng nghìn người dùng. Người mới thường chưa cần đến, nhưng nếu bạn muốn tự host model AI cho nhiều người dùng thì đây là lựa chọn hàng đầu. Lưu ý: cần card đồ họa NVIDIA và máy chủ Linux.
vLLM là thư viện giúp chạy model AI phục vụ nhiều người cùng lúc vừa nhanh vừa rẻ: một máy chủ có thể trả lời hàng trăm người cùng lúc mà không bị chậm. Công ty làm sản phẩm AI dùng nó để dựng API chatbot cho hàng nghìn người dùng. Người mới thường chưa cần đến, nhưng nếu bạn muốn tự host model AI cho nhiều người dùng thì đây là lựa chọn hàng đầu. Lưu ý: cần card đồ họa NVIDIA và máy chủ Linux.
git clone https://github.com/vllm-project/vllm.git