Crawl4AI là crawler mã nguồn mở giúp AI agent lấy, trích xuất và tìm kiếm nội dung web. Bạn có thể tự host, hoặc dùng dịch vụ Cloud với API key miễn phí theo mô tả repo; phù hợp với người xây agent cần đọc website, nhưng nên chuẩn bị môi trường chạy crawler.
Crawler phục vụ AI agent, có thể lấy và trích xuất dữ liệu từ website. Repo cũng là phần crawler mã nguồn mở đứng sau dịch vụ Crawl4AI Cloud.
Người đã biết cơ bản về lập trình — hiểu cách cài đặt và cấu hình.
git clone https://github.com/unclecode/crawl4ai.git
| Repo | Sao | Ngôn ngữ | Giấy phép |
|---|---|---|---|
| unclecode/crawl4ai (repo này) | ★ 88k | Python | Apache 2.0 |
| NousResearch/hermes-agent | ★ 264k | Python | MIT |
| Significant-Gravitas/AutoGPT | ★ 188k | Python | Không rõ giấy phép |
| langgenius/dify | ★ 161k | Python | Không rõ giấy phép |
| langflow-ai/langflow | ★ 157k | Python | MIT |
Muốn cài repo này lên máy chủ, làm web/app từ repo này, hoặc cần người hướng dẫn dùng? Nhắn CreatorFlow — tư vấn miễn phí, báo giá trước khi làm.
Xem Top repo AI Agent để so sánh với các repo cùng chủ đề.