반응형 GCP Spark Bigquery1 GCP에서 Composer로 Dataproc 실행 목차 [ Composer ] Composer는 GCP에서 사용하는 서비스이다. Airflow인데 GCP 내에서는 Composer 로 Airflow를 구동시킨다. 결국 Composer == Airflow 와 동일하다고 볼 수 있다. GCP에서는 Composer로 작업을 스캐줄할 수 있다. 당연히 Airflow라서 DAG를 생성해야 한다. 이번 글에서는 GCP에서 Dataproc용 Dag를 구성하고 Spark 코드를 실행하는 것을 알아보겠다. [ DAG, Directed Acyclic Graph ] DAG는 비순환그래프(Directed Acyclic Graph) 라는 건데 이 구조를 통해서 Airflow 작업은 스케쥴된다. DAG는 Python으로 작성하면 된다. 이말은 Airflow도 Python으로 동작.. 2024. 3. 10. 이전 1 다음 반응형
