TensorRT-LLM là bộ khung của NVIDIA giúp chạy model AI trên card đồ họa NVIDIA với tốc độ tối đa: tối ưu sâu từng phép tính để model trả lời nhanh hơn nhiều lần so với chạy thường. Công ty có máy chủ NVIDIA dùng nó phục vụ chatbot cho hàng nghìn người. Đây là công cụ chuyên sâu cho dân làm AI hạ tầng. Lưu ý: chỉ chạy trên GPU NVIDIA, cần cài CUDA và làm theo Quick Start Guide trong tài liệu.
TensorRT-LLM là bộ khung của NVIDIA giúp chạy model AI trên card đồ họa NVIDIA với tốc độ tối đa: tối ưu sâu từng phép tính để model trả lời nhanh hơn nhiều lần so với chạy thường. Công ty có máy chủ NVIDIA dùng nó phục vụ chatbot cho hàng nghìn người. Đây là công cụ chuyên sâu cho dân làm AI hạ tầng. Lưu ý: chỉ chạy trên GPU NVIDIA, cần cài CUDA và làm theo Quick Start Guide trong tài liệu.
git clone https://github.com/NVIDIA/TensorRT-LLM.git