Nền tảng chuẩn hóa để chạy các mô hình AI dự đoán và AI tạo sinh trên Kubernetes, theo kiểu phân tán và có thể mở rộng. Repo này dành cho đội ngũ đã biết Kubernetes và cần triển khai mô hình từ nhiều framework trong môi trường máy chủ.
Nền tảng inference AI phân tán cho Kubernetes. Hỗ trợ triển khai mô hình dự đoán và mô hình tạo sinh ở quy mô lớn.
Người có kinh nghiệm — cần hiểu sâu về kiến trúc và tự cấu hình theo nhu cầu.
git clone https://github.com/kserve/kserve.git
| Repo | Sao | Ngôn ngữ | Giấy phép |
|---|---|---|---|
| kserve/kserve (repo này) | ★ 6k | Go | Apache 2.0 |
| ollama/ollama | ★ 187k | Go | MIT |
| mudler/LocalAI | ★ 50k | Go | MIT |
| huggingface/transformers | ★ 169k | Python | Apache 2.0 |
| open-webui/open-webui | ★ 159k | TypeScript | Không rõ giấy phép |
Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.
Xem Top repo LLM & Chatbot để so sánh với các repo cùng chủ đề.