bitsandbytes
bitsandbytes giúp chạy các model ngôn ngữ lớn nhẹ hơn bằng cách lượng tử hóa model xuống số bit thấp hơn trong PyTorch. Repo này hợp với người đã biết Python và PyTorch, muốn tiết kiệm bộ nhớ GPU khi dùng hoặc tinh chỉnh LLM; khả năng chạy còn phụ thuộc vào phần cứng và cấu hình hỗ trợ.
Thư viện lượng tử hóa k-bit cho PyTorch, giúp model ngôn ngữ lớn dễ chạy hơn trên phần cứng hạn chế.
Người đã biết cơ bản về lập trình — hiểu cách cài đặt và cấu hình.
git clone https://github.com/bitsandbytes-foundation/bitsandbytes.git
| Repo | Sao | Ngôn ngữ | Giấy phép |
|---|---|---|---|
| bitsandbytes-foundation/bitsandbytes (repo này) | ★ 9k | Python | MIT |
| huggingface/transformers | ★ 169k | Python | Apache 2.0 |
| vllm-project/vllm | ★ 97k | Python | Apache 2.0 |
| unslothai/unsloth | ★ 80k | Python | Apache 2.0 |
| hiyouga/LlamaFactory | ★ 76k | Python | Apache 2.0 |
Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.
Xem Top repo LLM & Chatbot để so sánh với các repo cùng chủ đề.