Thư viện inference nhanh để chạy LLM ngay trên máy cá nhân có GPU phổ thông hiện đại. Repo này hợp với người muốn chạy LLM local, nhưng cần GPU tương thích và biết dùng Python cùng dòng lệnh.
Thư viện inference hiệu năng cao cho LLM chạy local trên GPU máy cá nhân. Phù hợp để thử mô hình mà không cần gửi dữ liệu lên dịch vụ ngoài.
Người đã biết cơ bản về lập trình — hiểu cách cài đặt và cấu hình.
git clone https://github.com/turboderp-org/exllamav2.git
| Repo | Sao | Ngôn ngữ | Giấy phép |
|---|---|---|---|
| turboderp-org/exllamav2 (repo này) | ★ 5k | Python | MIT |
| huggingface/transformers | ★ 169k | Python | Apache 2.0 |
| vllm-project/vllm | ★ 97k | Python | Apache 2.0 |
| unslothai/unsloth | ★ 80k | Python | Apache 2.0 |
| hiyouga/LlamaFactory | ★ 76k | Python | Apache 2.0 |
Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.
Xem Top repo LLM & Chatbot để so sánh với các repo cùng chủ đề.