CreatorFlow / Kho Repo / mit-han-lab/llm-awq

mit-han-lab/llm-awq

LLM-AWQ

LLM & ChatbotPythonMIT🔴 Nâng cao★ 4k🕐 Cập nhật 17/07/2025✨ MỚI

📖 Mô tả

Repo triển khai AWQ, một phương pháp nén trọng số LLM có xét đến mức độ quan trọng của activation để mô hình nhẹ và chạy nhanh hơn. Nó phù hợp với người làm machine learning muốn tối ưu LLM, nên cần kiến thức về mô hình và môi trường chạy AI.

📝 Tóm tắt README

AWQ giúp nén và tăng tốc LLM bằng cách chú ý đến activation quan trọng. Đây là lựa chọn cho người muốn tối ưu mô hình trước khi triển khai.

🎯 Khi nào nên dùng repo này

👤 Phù hợp với ai

Người có kinh nghiệm — cần hiểu sâu về kiến trúc và tự cấu hình theo nhu cầu.

✨ Tính năng nổi bật

▶ Dùng thử

▶ Dùng thử:
  1. B1: Mở trang GitHub của repo, đọc phần README/Quickstart và yêu cầu phần cứng
  2. B2: Cài môi trường theo hướng dẫn rồi chuẩn bị mô hình LLM cần nén
  3. B3: Chạy ví dụ AWQ để lượng tử hóa mô hình và thử tốc độ inference sau khi nén
Mở GitHub ↗
git clone https://github.com/mit-han-lab/llm-awq.git

⚖️ So sánh nhanh với repo tương tự

RepoSaoNgôn ngữGiấy phép
mit-han-lab/llm-awq (repo này)★ 4kPythonMIT
huggingface/transformers★ 169kPythonApache 2.0
vllm-project/vllm★ 97kPythonApache 2.0
unslothai/unsloth★ 80kPythonApache 2.0
hiyouga/LlamaFactory★ 76kPythonApache 2.0

🛠 Cần hỗ trợ triển khai?

Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.

🔗 Repo tương tự

Xem Top repo LLM & Chatbot để so sánh với các repo cùng chủ đề.

← Quay lại Kho Repo