MNN là engine suy luận nhẹ và nhanh, giúp chạy model AI trực tiếp trên thiết bị như điện thoại hoặc máy biên. Repo này có thể dùng cho LLM chạy tại chỗ, nhưng phù hợp hơn với người đã biết C++ và triển khai AI trên thiết bị; hiệu quả còn tùy phần cứng.
Engine suy luận C++ nhẹ, tập trung vào tốc độ khi chạy AI trên thiết bị và môi trường edge. Nó phù hợp để đưa LLM hoặc model khác vào sản phẩm chạy tại chỗ.
Người có kinh nghiệm — cần hiểu sâu về kiến trúc và tự cấu hình theo nhu cầu.
git clone https://github.com/alibaba/MNN.git
| Repo | Sao | Ngôn ngữ | Giấy phép |
|---|---|---|---|
| alibaba/MNN (repo này) | ★ 17k | C++ | Apache 2.0 |
| ggml-org/llama.cpp | ★ 135k | C++ | MIT |
| nomic-ai/gpt4all | ★ 77k | C++ | MIT |
| ml-explore/mlx | ★ 29k | C++ | MIT |
| ggml-org/ggml | ★ 16k | C++ | MIT |
Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.
Xem Top repo LLM & Chatbot để so sánh với các repo cùng chủ đề.