Megatron-LM là bộ công cụ nghiên cứu để huấn luyện model Transformer ở quy mô lớn. Repo này dành cho người có nền tảng machine learning và hệ thống phân tán; thường cần nhiều GPU NVIDIA, nên không phù hợp để thử nhanh trên máy cá nhân yếu.
Nền tảng nghiên cứu để huấn luyện Transformer và LLM ở quy mô lớn. Đây là repo chuyên sâu, thiên về hiệu năng và hệ thống nhiều GPU.
Người có kinh nghiệm — cần hiểu sâu về kiến trúc và tự cấu hình theo nhu cầu.
git clone https://github.com/NVIDIA/Megatron-LM.git
| Repo | Sao | Ngôn ngữ | Giấy phép |
|---|---|---|---|
| NVIDIA/Megatron-LM (repo này) | ★ 18k | Python | Không rõ giấy phép |
| huggingface/transformers | ★ 169k | Python | Apache 2.0 |
| vllm-project/vllm | ★ 97k | Python | Apache 2.0 |
| unslothai/unsloth | ★ 80k | Python | Apache 2.0 |
| hiyouga/LlamaFactory | ★ 76k | Python | Apache 2.0 |
Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.
Xem Top repo LLM & Chatbot để so sánh với các repo cùng chủ đề.