병렬처리 질문드립니다.

안녕하세요 JP님,

시간 차가 있어서 지금 일어났네요. 기본적으로 스케줄 관리 시스템이라면(여기서는 Airflow겠죠) 메세지 큐가 있습니다. SequentialExecutor, LocalExecutor에는 따로 External Queue를 사용하지는 않지만, CeleryExecutor는 RabbitMQ(이는 Redis로도 변경가능 하죠)를 기본으로 사용하고 있습니다. 이는 Airflow 만들때 Celery를 기반으로 만들었기 때문이죠(Celery에도 Beat를 사용해서 Broker에 넣는 거 아시죠?). KubernetesExecutor 같은 경우는 자체적으로 Distribution을 관리하고 있습니다.

또한 Airflow내에서 Concurrency관리를 하는데, DAG Level에서는 concurrency 파라미터를 사용할 수 있고, Task level, Worker level에서도 이를 각각 task_concurrency와 parallelism(https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#parallelism)로 세팅하실 수 있습니다. Pool concurrency로 https://airflow.apache.org/docs/apache-airflow/stable/administration-and-deployment/pools.html를 보시면 세팅하실 수 있습니다.

어디서 어떻게 병렬처리를 할 것인지는 그 Use case가 다 달라서 딱히 어떤 식으로 사용하시라는 말씀은 드릴 수 없겠네요. concurrency 패키지 사용하는 방법도 그 용도가 맞다면 틀린 것이 아닙니다 ㅎㅎㅎ

퍼포먼스를 올리시고 싶다면 https://airflow.apache.org/docs/apache-airflow/1.10.9/faq.html#how-can-my-airflow-dag-run-faster 보시면 쉽게 도움이 될 듯합니다.

도움이 되었길 바라겠습니다.

• celery는 질문후에.. 공부하다 보니 브로커를 통해서 큐를 관리한다는 것을 확인했습니다..ㅎㅎ
  https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/executor/celery_kubernetes.html