Apache Airflow

以 DAG 管理排程資料工作

前往 Apache Airflow 官方網站

這是什麼

Airflow 用 Python 定義工作相依關係,透過排程器與執行器安排任務。

適合怎麼用

資料批次若跨多個來源,可在網頁介面追查執行紀錄、重試與相依任務。

Apache AGE

在 PostgreSQL 使用圖形查詢

  • development
  • documentation

研究

Apache Avro

以結構描述交換序列化資料

  • development
  • documentation

研究