FlashAttention là kỹ thuật giúp model AI xử lý văn bản dài nhanh hơn, tốn ít bộ nhớ hơn nhiều, gần như mọi model AI hiện đại đều dùng nó bên trong. Đây là thư viện cho dân làm AI, không phải app cho người dùng cuối: cài vào để model chạy nhanh hơn. Người mới chỉ cần biết tên nó khi thấy trong yêu cầu của công cụ khác. Lưu ý: chỉ chạy trên card đồ họa NVIDIA, lúc cài có thể biên dịch khá lâu.
FlashAttention là kỹ thuật giúp model AI xử lý văn bản dài nhanh hơn, tốn ít bộ nhớ hơn nhiều, gần như mọi model AI hiện đại đều dùng nó bên trong. Đây là thư viện cho dân làm AI, không phải app cho người dùng cuối: cài vào để model chạy nhanh hơn. Người mới chỉ cần biết tên nó khi thấy trong yêu cầu của công cụ khác. Lưu ý: chỉ chạy trên card đồ họa NVIDIA, lúc cài có thể biên dịch khá lâu.
git clone https://github.com/Dao-AILab/flash-attention.git