소개
안녕하세요
LG CNS 데이터 엔지니어 김현진 입니다.
정보관리기술사를 취득한 이후 지금까지 얻은 지식을 많은 사람들에게 공유하고,
특히 데이터 엔지니어를 희망하고 공부하고 싶은 분 들에게 도움이 되고자 컨텐츠를 제작하고 있습니다.
첫 컨텐츠는 Airflow 마스터 클래스로써
데이터 파이프라인을 만들고 관리할 수 있는 핵심 도구를 초보자도 이해하기 쉽게 만들었습니다.
만나서 반갑습니다 ^^
강의
전체1수강평
- airflow 학습하기 어려운 환경속에서 도움이 되는 양질의 교육였습니다. 감사합니다.
jhlee
2024.06.18
1
게시글
질문&답변
2024.07.24
8장 postgres 에 insert 하는 Dag 수행오류
안녕하세요 김하나님 일단 올려주신 사진 중 첫 번째 올려주신 사진 (secret_key 관련한 내용)은 원인과 관련한 내용은 아니고 두 번째 올려주신 사진에 문제의 원인이 나와있습니다. custom_postgres DB로 연결을 못하고 있는데 dag 안에서 172.28.0.3 IP 파라미터를 제대로 parsing 하지 못한 것 같은데요, github에 있는 내용을 그대로 복사했다면 잘 되어야 맞는데 아무래도 dags_python_with_ postgres.py 파일 내용이 잘못 들어간게 아닌가 싶습니다. 일단 dags/dags_python_with_ postgres.py 내 용을 한번 올려주시구요, 그리고 아래 ags_python_with_ postgres.py 파 일 안에서 print(ip) 구문을 넣고 한번 돌려보시겠어요? (아래 4번째 라인) def insrt_postgres(ip, port, dbname, user, passwd, **kwargs): import psycopg2 from contextlib import closing print(ip)
- 0
- 1
- 44
질문&답변
2024.07.22
EmailOperator 수업 중 RemovedInAirflow3Warning 오류
안녕하세요 정대훈님! 우선 RemovedInAirfow3Warning 메시지는 성공해도 뜨는 메시지입니다 (Warning) 저 메시지에 너무 신경쓸 필요는 없을 것 같고, SMTP_PASSWORD 부분에 구글 앱 비밀번호 16자리를 띄어쓰기 제거하고 넣어줘야 하는데 그렇게 입력이 되었을까요? 그리고 사진상으로는 끝에 파이프(|) 같은 기호가 보이는데 키보드 커서겠지요? ^^;
- 0
- 3
- 51
질문&답변
2024.07.22
Bash operator 만들기, log 확인하는법
안녕하세요 정대훈님! 로그를 보려면 세로로 된 긴 막대기 (RunID라고 합니다) 밑에 조그만 정사각형 모양있죠? 그걸 클릭하셔야해요 ^^
- 0
- 2
- 51
질문&답변
2024.07.06
.env 파일 변수를 PythonOperator에 적용할 경우 질문드립니다!
안녕하세요 rosy 님 .env 파일을 .gitignore에 등록했던 이유는 로컬 환경에 작성한 .env의 내용은 Airflow 컨테이너가 바라볼 필요가 없기 때문이었습니다. 그런데 .env 파일에 민감정보를 넣고 git 을 이용하여 배포하는 순간 .env에 존재하는 민감정보가 github에 올라가므로 좋은 방법은 아닌 것 같습니다. 그래서 이 경우 가장 좋은 것은 variable에 등록하고 꺼내는 방법일 것 같습니다. 그리고 uri와 file_path는 굳이 환경변수로 셋팅할 필요가 없을 듯 합니다. 넥슨 API를 이용하여 추출할 DAG이 여러 개 생긴다면 그때마다 환경변수로 정의 후 꺼내오는 것보다 그냥 DAG에 직접 넣는 것이 낫습니다. api_key만 variable에서 꺼내오도록 오퍼레이터의 로직을 수정하고, api_key 파라미터는 task 파라미터로써 굳이 입력받지 않아도 될 것 같습니다. (넥슨 API 키가 여러 개여서 선택해야 하는 경우가 아니고 단 하나이므로)
- 0
- 1
- 57
질문&답변
2024.07.05
permission denied 오류 관련 문의드립니다!
안녕하세요 rosy님 ^^ 이런 문제는 십중팔구 컨테이너와 볼륨을 연결/제공하고 있는 WSL 의 디렉토리인 ./airflow/files 디렉토리가 root 권한으로 만들어져서 그렇습니다. airflow 디렉토리 위치에서 mkdir files 로 만드셔야 하는데 sudo mkdir files 로 만들면 root 소유로 만들어지게 됩니다. 권한 확인해보시고 files 디렉토리의 owner를 현재 계정으로 바꿔주세요 ^^
- 0
- 2
- 73