LLMLingua là công cụ của Microsoft giúp nén câu lệnh dài tới 20 lần mà vẫn giữ nguyên ý, để tiết kiệm tiền gọi API và giúp AI trả lời nhanh hơn. Người làm hệ thống tra cứu tài liệu có thể dùng để nhét được nhiều tài liệu hơn vào một lần hỏi. Lưu ý: cần biết lập trình Python; bản nén mạnh nhất cần thêm thư viện hỗ trợ.
LLMLingua là công cụ của Microsoft giúp nén câu lệnh dài tới 20 lần mà vẫn giữ nguyên ý, để tiết kiệm tiền gọi API và giúp AI trả lời nhanh hơn. Người làm hệ thống tra cứu tài liệu có thể nhét được nhiều tài liệu hơn vào một lần hỏi, hoặc xử lý cuộc họp dài, code dài mà không lo vượt giới hạn. Cần biết lập trình Python; bản nén mạnh nhất cần thêm thư viện hỗ trợ.
git clone https://github.com/microsoft/LLMLingua.git