Xinference là nền tảng mã nguồn mở để chạy và phục vụ nhiều loại model như ngôn ngữ, ảnh, embedding, âm thanh và video. Bạn có thể dùng từ laptop đến cụm máy phân tán và gọi model qua API tương thích OpenAI; phù hợp với người biết Python và triển khai AI.
Nền tảng triển khai nhiều loại model AI trên phần cứng khác nhau, cung cấp API tương thích OpenAI.
Người đã biết cơ bản về lập trình — hiểu cách cài đặt và cấu hình.
git clone https://github.com/xorbitsai/inference.git
| Repo | Sao | Ngôn ngữ | Giấy phép |
|---|---|---|---|
| xorbitsai/inference (repo này) | ★ 10k | Python | Apache 2.0 |
| huggingface/transformers | ★ 169k | Python | Apache 2.0 |
| vllm-project/vllm | ★ 97k | Python | Apache 2.0 |
| unslothai/unsloth | ★ 80k | Python | Apache 2.0 |
| hiyouga/LlamaFactory | ★ 76k | Python | Apache 2.0 |
Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.
Xem Top repo LLM & Chatbot để so sánh với các repo cùng chủ đề.