ETL 인터뷰 관련 문의

안녕하세요 min0님!답변이 좀 늦었네요. 마음이 급하실텐데 늦게 답장드려 미안합니다 🙏혹시 가능하시다면 저한테 개인 메일로 어떤 회사인지 설명을 좀 해주시면 관련해서 기술적으로 물어볼법한 내용을 제가 회신드릴께요.hjkim_sun@naver.com좋은 결과가 있으시길 바라면서 메일 주시면 저도 정리해서 답장 드릴께요 😀

custom_image 디렉토리 문의드립니다.

안녕하세요 doran님!airflow/custom_image 디렉토리 만드는건 섹션9. 강의 51에 더 많은 Provider 확인 & Connection Type 추가하기 과정에 있습니다. 이 챕터에서 hive 관련된 라이브러리 추가하면서 도커 빌드를 새로 하면서 custom_image 디렉토리 안에 신규 이미지를 저장하는 과정을 설명하고 있습니다. 이미지 빌드 과정을 빼먹지 않고 하셨다면 다른 디렉토리에 Dockerfile 파일을 저장해놓은 걸 수도 있을 듯 하네요 ^^

git action에서 install_codedeploy-agent.yml

안녕하세요 rosy님괜찮으시다면 디스코드 방에 들어오시겠어요? https://discord.gg/4k3CcXKP여기서 제가 서버 상태 보면서 가이드하면 조치가 빨리 될 것 같습니다.

섹션 9. Connection & Hook - 50강 관련 질문

안녕하세요 Idea님 혹시 몰라 저도 재수행해봤는데 3.0 버전에서도 잘 수행됩니다.그리고 plugins/hooks/custom_postgres_hooks.py 파일 내용좀 전체 올려보시겠어요?로그상 그 파일의 49번째 라인에서 오류가 발생한걸로 나오는데 이 파일은 47번째 라인이 끝입니다. 혹시 Idea님이 조금 수정하면서 잘못 수정하셨거나 복붙을 잘못하신게 아닌가 싶어요. 아무튼 이 에러는 파이썬 코드상의 에러이고 포트매핑과는 상관없는 부분입니다. 파일 전체 올려주시거나 github 주소 올려주시면 제가 가서 볼께요!

docker 설치 관련 질문

안녕하세요.airflow도 그렇고 docker 도 그렇고 어느새 버전이 많이 올라가면서 이것저것 많이 바뀌긴 했습니다.그런데 도커 설치 페이지 지금 들어가봤을 때 커맨드는 바뀌긴 했는데 설치하는 절차 자체는 거의 그대로입니다. 특히 크게 봤을 때 아래 절차는 동일합니다. (apt update -> gpt install -> add keyring -> add repository -> apt install) 혹시 도커 설치가 잘 안되는 상황일까요? 어려운 부분 있으시면 글 더 남겨주시면 제가 확인해드릴께요. 😀

Python & Email Operator 기반 Xcom 강의(32강) 관련 참고사항

안녕하세요 Idea님 맞습니다. 그래서 Airflow 3.0되면서 바뀐 내용들은 제가 107강에 정리해두었어요. (사진)Airflow 3.0 업데이트되면서 실습 중 문제 생길만한 부분은 제가 수업 노트에 추가하는 식으로 수정하고 있는데 이 부분은 제가 놓친 것 같네요.제보해주셔서 감사합니다 ^-^

38강. Task groups 관련 질문

안녕하세요. Idea님네 확인해보니 Idea님이 올리신 내용처럼 3.x 버전으로 올라가면서 tooltip & docstring 내용이 보이지 않는 것 같습니다. 공식 가이드에는 여전히 가능한 것처럼 나와있는 것으로 보아 버그일 가능성이 높아보입니다. 우선 이 내용은 강의 수업노트에 추가해놓을께요.제보해주셔서 감사합니다 ^-^

kafka-broker01 ping 반응 없습니다.

안녕하세요 poptato님 broker 서버 내에서 google.com 같은 도메인으로 ping 테스트 하는 부분이죠?일단 해결되어서 다행이네요!또 안되는 부분 있으면 남겨주세요 :)

Spark Programs 구조에서 막혔습니다.

안녕하세요.일단 spark01 서버의 4040 포트로 잘 실행된것 같은데 웹이 접속이 안되는군요.아무래도 public-nat 쪽 설정을 봐야할 것 같은데 인프런 Q&A로 파악하기로는 좀 어려울 것 같아서 디스코드 채널 가입이 가능하신가요? https://discord.gg/weYQWzcq 여기에 오셔서 말씀주시면 설정하신 부분 같이 좀 봐야할 것 같아요.

docker&airflow 설치 관련 문의

안녕하세요 zxyoii님 네 맞습니다. 맥북에서 하실 때 터미널에서 그냥 진행하시면 되요.먼저 curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.0.4/docker-compose.yaml' 명령으로 yaml 파일 다운받고 강의에 나온대로 진행하면 됩니다.다만 wsl 환경에서는 sudo를 붙여야 했는데 맥북에서는 sudo를 안붙여도 되요. 그리고 강의 촬영시 2.5 버전으로 촬영했었는데 지금은 3.0 버전이 업데이트되면서 UI가 많이 달라지긴 했습니다. 그래서 기능 자체는 크게 달라지진 않았으므로 따라오시는데 무리는 없을거에요.중간중간 버전 업데이트에 따라 기능이 바뀌면서 알아야 할 내용들은 제가 강의 노트에 추가해놨습니다. 참고하시면서 수강 부탁드려요 ^^