SQLAlchemy 2.X 지원

Question

구글링해보면 Airflow가 전체적으로 2.X 지원을 준비하는 것 같긴 합니다만, docker-compose로 airflow 2.8.4 docker를 설치하면 SQLAlchemy가 1.4.X가 설치되는 것 같습니다.   저희가 만든 Dags는 내부에 SQLAlchemdy 2.X를 사용해서 DB 접근을 하는 코드가 있는데 Airflow에 SQLAlchemy 2.X를 설치해서 쓰는 방법이 있을까요? 예를 들면, dags를 실행하는 Airflow-worker에 SQLAlchemy 최신 버전을 pip install로 설치한다던지요.. 또는 기본 Base가 되는 이미지에 2.X로 업그레이드 시키거나, worker에 2.X를 설치할 때 Airflow의 기존 로직들은 이상이 없을지요? 아니면, 아래처럼 virtual env 방식으로 SQLAlchemy를 설치하는 식으로 사용해야 할까요? @task.virtualenv( task_id="virtualenv_python", requirements=["SQLAlchemy==2.0.0"], system_site_packages=False )  일반적으로 사용하는 방법에 대해 궁금합니다.   감사합니다.

김현진 · Answer

안녕하세요 강운천님! Airflow 설치시 requirements.txt 를 통해 의존성을 관리할 수 있습니다. 아래 url (installing from PyPi) 에 들어가보세요. https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html 그러면 아래처럼 airflow 설치할 때 --constraint 옵션을 통해 의존성 관리할 수 있고 pip install "apache-airflow[celery]==2.8.4" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.4/constraints-3.8.txt" https 로 시작하는 부분을 들어가보면 패키지별로 버전이 다 명시되어 있습니다. 따라서 원한다면 저 부분을 복사한 후 WSL 내 디렉토리에 requirements.txt 로 만들어놓고 SQLAlchemy 부분을 원하시는 버전으로 수정 후 파일을 바라보고 설치하게끔 시도해볼 수 있습니다. --constraints requirements.txt     그러나! 아마도 설치 도중 의존성 문제가 발생할 겁니다. 그래서 airflow 설치는 일단 그대로 하시고 운찬님이 쓴대로 @task.virtualenv 데코레이터를 쓰시는게 가장 좋은 해결방안 같습니다. @task.virtualenv 는 PythonVirtualOperator 를 사용할 수 있게끔 해주는 건데, PythonVirtualOperator보다 데코레이터 사용을 권장합니다. (PythonVirtualOperator는 파이썬 가상환경을 만든 후 실행, 완료 후 삭제하는 오퍼레이터입니다)   그래서 결론은 운찬님이 쓰신대로 @task.virtualenv 를 쓰시는게 가장 적합해 보입니다.