Repo triển khai AWQ, một phương pháp nén trọng số LLM có xét đến mức độ quan trọng của activation để mô hình nhẹ và chạy nhanh hơn. Nó phù hợp với người làm machine learning muốn tối ưu LLM, nên cần kiến thức về mô hình và môi trường chạy AI.
AWQ giúp nén và tăng tốc LLM bằng cách chú ý đến activation quan trọng. Đây là lựa chọn cho người muốn tối ưu mô hình trước khi triển khai.
Người có kinh nghiệm — cần hiểu sâu về kiến trúc và tự cấu hình theo nhu cầu.
git clone https://github.com/mit-han-lab/llm-awq.git
| Repo | Sao | Ngôn ngữ | Giấy phép |
|---|---|---|---|
| mit-han-lab/llm-awq (repo này) | ★ 4k | Python | MIT |
| huggingface/transformers | ★ 169k | Python | Apache 2.0 |
| vllm-project/vllm | ★ 97k | Python | Apache 2.0 |
| unslothai/unsloth | ★ 80k | Python | Apache 2.0 |
| hiyouga/LlamaFactory | ★ 76k | Python | Apache 2.0 |
Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.
Xem Top repo LLM & Chatbot để so sánh với các repo cùng chủ đề.