Đây là thư viện của Microsoft giúp train mô hình AI khổng lồ có hàng tỉ tham số trên nhiều card đồ họa, nhờ kỹ thuật ZeRO chia nhỏ bộ nhớ ra các card. Bạn train mô hình lớn mà một card không đủ bộ nhớ có thể dùng DeepSpeed để chia tải, tiết kiệm bộ nhớ mà tốc độ vẫn nhanh. Bạn cần máy có nhiều card đồ họa NVIDIA và đã cài PyTorch trước.
Thư viện của Microsoft giúp train mô hình AI khổng lồ có hàng tỉ tham số trên nhiều card đồ họa, nhờ kỹ thuật ZeRO chia nhỏ bộ nhớ ra các card. DeepSpeed tối ưu bộ nhớ, tăng tốc huấn luyện và hỗ trợ cả suy luận mô hình lớn, dùng được với PyTorch quen thuộc. Bạn train mô hình lớn mà một card không đủ bộ nhớ có thể dùng DeepSpeed để chia tải, nhưng cần máy có nhiều card đồ họa NVIDIA và đã cài PyTorch trước.
git clone https://github.com/deepspeedai/DeepSpeed.git