Bộ công cụ giúp nén, triển khai và chạy mô hình ngôn ngữ lớn (LLM) nhanh hơn. Repo này hợp với người đã biết Python và muốn đưa LLM vào ứng dụng hoặc máy chủ; thường cần máy có GPU khi chạy mô hình lớn.
Toolkit cho việc nén, triển khai và phục vụ LLM. Phù hợp khi cần đưa mô hình vào sử dụng thực tế.
Người có kinh nghiệm — cần hiểu sâu về kiến trúc và tự cấu hình theo nhu cầu.
git clone https://github.com/InternLM/lmdeploy.git
| Repo | Sao | Ngôn ngữ | Giấy phép |
|---|---|---|---|
| InternLM/lmdeploy (repo này) | ★ 8k | Python | Apache 2.0 |
| huggingface/transformers | ★ 169k | Python | Apache 2.0 |
| vllm-project/vllm | ★ 97k | Python | Apache 2.0 |
| unslothai/unsloth | ★ 80k | Python | Apache 2.0 |
| hiyouga/LlamaFactory | ★ 76k | Python | Apache 2.0 |
Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.
Xem Top repo LLM & Chatbot để so sánh với các repo cùng chủ đề.