llama.cpp là bộ máy chạy model AI viết bằng C/C++ siêu nhanh và nhẹ, giúp chạy model ngôn ngữ lớn ngay trên laptop thường mà không cần card đồ họa xịn. Nhiều app AI chạy local nổi tiếng dùng nó làm 'động cơ' bên trong. Người dùng thường dùng qua các app khác, còn dân lập trình dùng nó để nhúng AI vào sản phẩm. Lưu ý: đây là công cụ nền tảng, tự build thì cần biết biên dịch code C++.
llama.cpp là bộ máy chạy model AI viết bằng C/C++ siêu nhanh và nhẹ, giúp chạy model ngôn ngữ lớn ngay trên laptop thường mà không cần card đồ họa xịn. Nhiều app AI chạy local nổi tiếng dùng nó làm động cơ bên trong. Người dùng thường dùng qua các app khác, còn dân lập trình dùng nó để nhúng AI vào sản phẩm. Lưu ý: đây là công cụ nền tảng, tự build thì cần biết biên dịch code C++.
git clone https://github.com/ggml-org/llama.cpp.git