CreatorFlow / Kho Repo / xorbitsai/inference

xorbitsai/inference

Xinference

LLM & ChatbotPythonApache 2.0🟡 Biết cơ bản★ 10k🕐 Cập nhật 18/11/2026✨ MỚI

📖 Mô tả

Xinference là nền tảng mã nguồn mở để chạy và phục vụ nhiều loại model như ngôn ngữ, ảnh, embedding, âm thanh và video. Bạn có thể dùng từ laptop đến cụm máy phân tán và gọi model qua API tương thích OpenAI; phù hợp với người biết Python và triển khai AI.

📝 Tóm tắt README

Nền tảng triển khai nhiều loại model AI trên phần cứng khác nhau, cung cấp API tương thích OpenAI.

🎯 Khi nào nên dùng repo này

👤 Phù hợp với ai

Người đã biết cơ bản về lập trình — hiểu cách cài đặt và cấu hình.

✨ Tính năng nổi bật

▶ Dùng thử

▶ Dùng thử:
  1. B1: Mở trang GitHub của repo, đọc phần README/Quickstart và chọn engine phù hợp phần cứng
  2. B2: Cài đặt theo hướng dẫn, khởi động Xinference rồi tải một model mẫu
  3. B3: Gửi thử request tới API tương thích OpenAI và cấu hình model trên máy hoặc cụm máy
git clone https://github.com/xorbitsai/inference.git

⚖️ So sánh nhanh với repo tương tự

RepoSaoNgôn ngữGiấy phép
xorbitsai/inference (repo này)★ 10kPythonApache 2.0
huggingface/transformers★ 169kPythonApache 2.0
vllm-project/vllm★ 97kPythonApache 2.0
unslothai/unsloth★ 80kPythonApache 2.0
hiyouga/LlamaFactory★ 76kPythonApache 2.0

🛠 Cần hỗ trợ triển khai?

Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.

🔗 Repo tương tự

Xem Top repo LLM & Chatbot để so sánh với các repo cùng chủ đề.

← Quay lại Kho Repo