OpenLLM giúp bạn tự host bất kỳ model AI mã nguồn mở nào thành API chuẩn giống OpenAI chỉ với một lệnh: cài xong là có ngay máy chủ chatbot riêng, có cả giao diện chat để thử. Chủ shop hay đội nhóm muốn có API AI của riêng mình mà không phụ thuộc hãng ngoài thì dùng nó. Lưu ý: model càng lớn càng cần card đồ họa khỏe, lần đầu tải model sẽ mất thời gian.
OpenLLM giúp bạn tự host bất kỳ model AI mã nguồn mở nào thành API chuẩn giống OpenAI chỉ với một lệnh: cài xong là có ngay máy chủ chatbot riêng, có cả giao diện chat để thử. Chủ shop hay đội nhóm muốn có API AI của riêng mình mà không phụ thuộc hãng ngoài thì dùng nó. Lưu ý: model càng lớn càng cần card đồ họa khỏe, lần đầu tải model sẽ mất thời gian.
git clone https://github.com/bentoml/OpenLLM.git