MLC LLM là 'bộ biên dịch' đưa model AI chạy được trên đủ loại thiết bị: điện thoại, laptop, trình duyệt web, thậm chí cả xe hơi, mà vẫn nhanh nhờ tối ưu riêng cho từng loại chip. Nhờ nó, AI chạy ngay trên máy người dùng thay vì gửi lên máy chủ. Dân lập trình dùng nó khi muốn đưa AI vào app di động hoặc web. Lưu ý: cài đặt hơi phức tạp, người mới nên thử WebLLM (bản chạy trên trình duyệt) trước.
MLC LLM là bộ biên dịch đưa model AI chạy được trên đủ loại thiết bị: điện thoại, laptop, trình duyệt web, thậm chí cả xe hơi, mà vẫn nhanh nhờ tối ưu riêng cho từng loại chip. Nhờ nó, AI chạy ngay trên máy người dùng thay vì gửi lên máy chủ. Dân lập trình dùng nó khi muốn đưa AI vào app di động hoặc web. Lưu ý: cài đặt hơi phức tạp, người mới nên thử WebLLM, bản chạy trên trình duyệt, trước.
git clone https://github.com/mlc-ai/mlc-llm.git