월 29,040원
5개월 할부 시
유영재2024-04-061231063안녕하세요 이미지 데이터 관련해서도 airflow 적용이 가능한가요?
- hyoseok BANG2024-01-151141120
안녕하세요. 맥OS 환경에서 실습하려고 하는데 문제 없을까요?
김현진2024-01-17311567안녕하세요 hyoseok BANG 님 ! 답변이 조금 늦었네요 . 실습은 모두 도커 컨테이너 내부이므로 WSL 인지, Mac OS인지는 크게 중요하지는 않습니다만, MacOS 로컬환경에서 파이썬을 이용하여 pip install airflow 설치하는 과정이 필요합니다. (로컬 환경에서 airflow를 수행하는 것은 아니지만 DAG 코드 작성시 라이브러리 참조를 위해 airflow를 설치합니다) 그리고 MacOS 로컬에 Airflow를 먼저 설치해보시겠어요? Airflow 공식 홈페이지에 가보면 현재 airflow 버전은 2.8.0 까지 올라와있고, 도커 컨테이너의 파이썬 버전은 3.8 버전이 사용됩니다. 그리고 설치는 아래 명령으로 설치 가능합니다. pip install "apache-airflow[celery]==2.8.0" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.0/constraints-3.8.txt" 다만 이 과정 중 에러 발생하는 경우가 있는 걸로 보입니다. (google-re2 라이브러리 의존성 에러) 만약 에러가 발생한다면 파이썬 3.9 인터프리터를 설치하시고 아래 constraints-3.9 지정해서 설치해보셔야 할거에요. pip install "apache-airflow[celery]==2.8.0" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.0/constraints-3.9.txt" 이 과정까지 이상없이 진행되면 MacOS로 실습하는데 지장 없습니다.
- Allen Kim2023-11-081069766
안녕하세요~~! WIPS 로그 데이터 엔지니어 또는 WIPS 데이터 관리에 대해서도 강의하시나요?
김현진2023-11-08294586안녕하세요 Allen님 아쉽지만 WIPS 로그 데이터는 다루지 않습니다. 보안 파트는 별도로 다루지 않아서 참고 부탁드립니다.
이수화
2023-09-101010352드디어 airflow 강의가 생겨 너무 기쁩니다 ㅠㅠㅠ 혹시 postgresql 을 다루는 강좌도 포함되어 있을까요?? 없어도 구매할 예정입니다 ㅎㅎㅎ!
김현진2023-09-10284332안녕하세요 이수화님 반겨주셔서 감사합니다 ^^ 아쉽지만 postgresql db에 대한 자세한 내용은 다루지 않습니다. Airflow의 기본 메타 DB가 postgres이긴한데, postgres와 관련한 실습내용으로는 1. 메타DB에 접속해보고 2. 도커로 postgres 컨테이너를 별도로 띄워서 3. 서울시 공공데이터 API 호출 결과를 데이터베이스에 저장 및 SELECT 문을 수행해보는 정도입니다. 수강에 참고해주세요 ^^
안녕하세요 유영재님 이미지 처리시 파이썬을 이용한다면 airflow 사용이 가능합니다. 다른 언어를 이용해 처리한다고 해도 shell 명령을 통해 잡 실행이 가능하므로 airflow로 안될건 없습니다. 혹시 어떤 박업을 하려고 하시는지 남갸주시면 더 자세히 답변드릴 수 있을 것 같습니다. ^^ 감사합니다