Airflow 웹 UI에서 파일 디렉토리 구조 확인이 가능한가요?
184
작성한 질문수 4
안녕하세요.
「앞서 Airflow 예제를 개선해보자 (v3) - 실습 편」 강의 수강 중 궁금한 점이 있어 문의드립니다.
DAG 실행 시 생성되는 tmp 파일이 제대로 생성되었는지 확인하고 싶어, CLI 환경이 아닌 웹 UI상에서 확인할 수 있는 방법이 있는지 알아보던 중 궁금한 점이 생겼습니다.
/opt/airflow 디렉토리 구조는 CLI 환경에서만 확인 가능한 것인지, 웹 UI상에서는 해당 경로의 파일 구조를 직접 확인할 수 없는 것인지 궁금합니다.
추가로 확인이 가능한 부분이 있다면 현업에서는 어떻게 주로 확인하는지도 궁금합니다!
답변 1
1
필요하다면 그 구조를 노출해주는 DAG나 Plugin을 만들어볼 수 있습니다만 Airflow Web UI 자체에 그런 기능은 없는 걸로 알고 있습니다.
보통 내용을 확인하려면 Airflow가 동작하는 서버로 로그인해서 살펴보는 것이 일반적이라 할 수 있습니다. Docker Container를 쓰는 환경이라면 해당 Docker Container 안으로 로그인해보는 것이구요. 클라우드 기반의 Airflow 서비스를 쓰는 경우라면 서버 안으로 들어가서 체크하는 걸 허용하지 않지만 대신 Airflow 서버내 dags 폴더로 맵핑되는 폴더를 클라우드 스토리지 등에 구성하고 그걸 미러링하는 것이 일반적입니다.
질문 감사드립니다. 혹시 위 답변에 추가 질문이 있다면 알려주세요
질문 드립니다.
0
25
2
48강 csv
1
52
2
자료 다운로드 하면 링크가 모두 클릭이 안됨
0
93
2
48강 강의 여전히 49강과 같은 강의가 나옵니다
0
93
3
forloop으로 task 정의시 task_id 정해지는 로직
0
88
3
SWAP 문법 활용 이유
1
90
2
copy into 성능 저하
1
68
2
데이터 가져올때 1달치만 가져오는 상태
1
78
2
31번 실습시 에러 발생
0
83
2
pdf 링크 오류
1
122
2
Window11 Home 버전 도커 설치 방법 - Docker Desktop - Unexpected WSL error
0
407
1
이전 강의에서도 그랬지만 소리가 너무 작아요
2
113
2
nps.csv 파일 위치
0
123
2
강의가 잘못 올라온것이 있네요. => 48강
1
138
4
본문과 같은 메시지가 뜨면서, 어느 순간부터 계속 안되는데, 어떤 이유일까요 ㅠㅠ
1
217
2
yfinance 주식 읽어 오기 처음 중, no module named helpers 에러
2
159
2
Data Drift 발생시 머신러닝 모델이 동작하지 않는 것의 의미
1
156
1
docker 에러
0
199
2
Airflow UI DAGs 리스트들
1
199
2
nps.csv 파일 위치 및 실습 질문
0
204
2
Airflow Variables 설정
1
121
2
섹션 8 PostgresToSnowflake DAG 실행 중 발생한 오류
1
123
2
섹션 8 yfinance 강의 수강 중 발생한 오류
1
135
2
ETL 작성 이유
1
192
3