반응형 GCP Airflow2 GCP에서 Composer로 Dataproc 실행 목차 [ Composer ] Composer는 GCP에서 사용하는 서비스이다. Airflow인데 GCP 내에서는 Composer 로 Airflow를 구동시킨다. 결국 Composer == Airflow 와 동일하다고 볼 수 있다. GCP에서는 Composer로 작업을 스캐줄할 수 있다. 당연히 Airflow라서 DAG를 생성해야 한다. 이번 글에서는 GCP에서 Dataproc용 Dag를 구성하고 Spark 코드를 실행하는 것을 알아보겠다. [ DAG, Directed Acyclic Graph ] DAG는 비순환그래프(Directed Acyclic Graph) 라는 건데 이 구조를 통해서 Airflow 작업은 스케쥴된다. DAG는 Python으로 작성하면 된다. 이말은 Airflow도 Python으로 동작.. 2024. 3. 10. GCP Composer Airflow Dag에서 유용한 코드 목차 [ Composer Airflow 환경변수 ] Composer는 GCP의 서비스 중 하나이다. Airflow인데 서비스를 Composer라고 지었고 내부는 Airflow 그 잡채이다. 환경변수를 사용해서 자주 사용하는 변수를 세팅할 수 있다. Composer 들어가서 "AIRFLOW UI 열기" 를 하면, 아래처럼 Airflow 화면을 만날 수 있다. Airflow에서 "Admin > Variables" 로 이동하면 여러가지 세팅을 넣을 수 있다. 예를 들어서 "bucket" 이라는 키를 만들어서서 bucket url 을 설정하면 Dag Code를 작성할 때 불러와서 사용할 수 있다는 것이다. 매번 url 경로를 코드에 넣는게 번거로운 일인데 이렇게 환경변수를 설정하면 두고두고 사용할 수 있다. 파.. 2024. 2. 14. 이전 1 다음 반응형
