Đây là công cụ điều phối pipeline dữ liệu và AI theo từng khối dữ liệu (asset), biết rõ dữ liệu nào tạo ra dữ liệu nào và job nào đang lỗi. Bạn làm dữ liệu có thể dùng Dagster để lên lịch chạy pipeline, theo dõi từng bước và kiểm tra chất lượng dữ liệu tự động. Bạn cần cài Python, giao diện web của Dagster mở ngay trên máy bạn sau khi chạy.
Công cụ điều phối pipeline dữ liệu và AI theo từng khối dữ liệu, biết rõ dữ liệu nào tạo ra dữ liệu nào và job nào đang lỗi. Dagster cho bạn định nghĩa pipeline bằng Python, lên lịch chạy, theo dõi từng bước và kiểm tra chất lượng dữ liệu tự động, kèm giao diện web trực quan. Bạn làm dữ liệu có thể dùng Dagster để quản lý toàn bộ luồng dữ liệu của đội, nhưng cần cài Python và chạy máy chủ web của Dagster.
git clone https://github.com/dagster-io/dagster.git