docker 설치 관련 질문

안녕하세요.airflow도 그렇고 docker 도 그렇고 어느새 버전이 많이 올라가면서 이것저것 많이 바뀌긴 했습니다.그런데 도커 설치 페이지 지금 들어가봤을 때 커맨드는 바뀌긴 했는데 설치하는 절차 자체는 거의 그대로입니다. 특히 크게 봤을 때 아래 절차는 동일합니다. (apt update -> gpt install -> add keyring -> add repository -> apt install) 혹시 도커 설치가 잘 안되는 상황일까요? 어려운 부분 있으시면 글 더 남겨주시면 제가 확인해드릴께요. 😀

Python & Email Operator 기반 Xcom 강의(32강) 관련 참고사항

안녕하세요 Idea님 맞습니다. 그래서 Airflow 3.0되면서 바뀐 내용들은 제가 107강에 정리해두었어요. (사진)Airflow 3.0 업데이트되면서 실습 중 문제 생길만한 부분은 제가 수업 노트에 추가하는 식으로 수정하고 있는데 이 부분은 제가 놓친 것 같네요.제보해주셔서 감사합니다 ^-^

38강. Task groups 관련 질문

안녕하세요. Idea님네 확인해보니 Idea님이 올리신 내용처럼 3.x 버전으로 올라가면서 tooltip & docstring 내용이 보이지 않는 것 같습니다. 공식 가이드에는 여전히 가능한 것처럼 나와있는 것으로 보아 버그일 가능성이 높아보입니다. 우선 이 내용은 강의 수업노트에 추가해놓을께요.제보해주셔서 감사합니다 ^-^

kafka-broker01 ping 반응 없습니다.

안녕하세요 poptato님 broker 서버 내에서 google.com 같은 도메인으로 ping 테스트 하는 부분이죠?일단 해결되어서 다행이네요!또 안되는 부분 있으면 남겨주세요 :)

Spark Programs 구조에서 막혔습니다.

안녕하세요.일단 spark01 서버의 4040 포트로 잘 실행된것 같은데 웹이 접속이 안되는군요.아무래도 public-nat 쪽 설정을 봐야할 것 같은데 인프런 Q&A로 파악하기로는 좀 어려울 것 같아서 디스코드 채널 가입이 가능하신가요? https://discord.gg/weYQWzcq 여기에 오셔서 말씀주시면 설정하신 부분 같이 좀 봐야할 것 같아요.

docker&airflow 설치 관련 문의

안녕하세요 zxyoii님 네 맞습니다. 맥북에서 하실 때 터미널에서 그냥 진행하시면 되요.먼저 curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.0.4/docker-compose.yaml' 명령으로 yaml 파일 다운받고 강의에 나온대로 진행하면 됩니다.다만 wsl 환경에서는 sudo를 붙여야 했는데 맥북에서는 sudo를 안붙여도 되요. 그리고 강의 촬영시 2.5 버전으로 촬영했었는데 지금은 3.0 버전이 업데이트되면서 UI가 많이 달라지긴 했습니다. 그래서 기능 자체는 크게 달라지진 않았으므로 따라오시는데 무리는 없을거에요.중간중간 버전 업데이트에 따라 기능이 바뀌면서 알아야 할 내용들은 제가 강의 노트에 추가해놨습니다. 참고하시면서 수강 부탁드려요 ^^

github actions 오류 문의 드립니다.

안녕하세요! 에러 로그 내용이 kafka-deploy 없음이네요. 챕터 3-7 부분의 github actions 설정하기 부분을 다시 확인해보시면 좋을 것 같습니다.참고로 3-7 부분에서 AWS의 Code Deploy에서 아래 캡처처럼 kafka-deploy 배포 그룹을 생성하도록 가이도하고 있습니다.이 부분이 잘 안된 것 같아요. (사진) (사진) 화이팅입니다!

github Actions 실행 강의 따라가는도중 막혔습니다.

안녕하세요 zxyoii님 위에 남겨주신 github 주소 들어가보니 현재 main 브랜치에 작성되어 있습니다.실습에서는 master 브랜치를 사용하였고 master.yml 파일의 6번째 라인이 의미하는 바가master 브랜치에 push가 발생하면을 의미합니다. (사진)현재 main 브랜치에 작성하셨으니 master.yml 파일의 6번째 라인이 트리거가 걸리지 않은 겁니다. 따라서 해결 방법은 2가지인데,첫 번째는 main 브랜치를 활용하는 겁니다. 강의에서는 master 브랜치를 사용했지만 지금처럼 main 브랜치를 사용하셔도 됩니다. 그럼 master.yml 파일의 6번째 라인을 아래처럼 바꿔주세요.branches: [main] 두 번째는 강의처럼 master 브랜치를 사용하는 겁니다. 그럼 로컬에서 현재 브랜치를 확인한 후 (git branch) main 브랜치에서 분기를 따 master 브랜치를 만들고 master 브랜치로 바꿔줍니다. git branch master git checkout master그럼 main 브랜치의 최신 시점을 기반으로 master 브랜치가 생기구요.그 다음 push 해주면 됩니다. git push origin master그럼 actions 수행 될거에요 ^^화이팅입니다! 💪

confluent-kafka 의 produce 파라미터(on_devliery)

안녕하세요 장원용님!훌륭한 질문이에요. 이렇게 본질적이고 깊은 질문 좋습니다.순서대로 답변드리면 말씀하신대로 Producer.produce() 함수의 callback 파라미터는 on_delivery 파라미터의 alias입니다. 그 구현을 어떻게 보냐면, 결론적으로 C 코드를 봐야합니다. 강의에서 설명드렸듯이 confluent_kafka는 librdkafka를 기반으로 만들어졌고 librdkafka는 C언어를 기반으로 만들어진 라이브러리입니다. confluent_kafka 의 Producer 클래스의 코드를 보면 대부분 pass처리 되어있을 겁니다. 단순히 C언어를 wrapping하고 있기 때문이고 실제 코드를 보려면 결국 C언어를 봐야합니다. https://github.com/confluentinc/confluent-kafka-python/blob/master/src/confluent_kafka/src/Producer.c여기에 보시면 librdkafka의 producer c코드를 볼 수 있습니다. (사진) 여기 관련된 함수가 있는데 어떻게 구현되었는지는 이 부분을 확인해보면 알 수 있지 않을까 합니다. 그리고 두 번째 질문 관련해서 답변드리자면 Java 기반의 Producer는 poll 과정이 백그라운드로 수행됩니다. https://kafka.apache.org/32/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html여기 설명을 보시면 send() 함수 설명하는 부분 아래에 Note that callbacks will generally execute in the I/O thread of the producer and so should be reasonably fast or they will delay the sending of messages from other threads. If you want to execute blocking or computationally expensive callbacks it is recommended to use your own Executor in the callback body to parallelize processing.이렇게 설명돼 있습니다. 즉 callback은 I/O 쓰레드(백그라운드)에서 수행되고 빠르게 동작해야 한다는 내용입니다. 이런식으로 Java kafka와 librdkafka는 구현 방식이 조금씩 다르다는 걸 알 수 있어요. 답변이 되었을까요?

디스코드 초대장은 어디로 받나요?

안녕하세요 poptato 님 디스코드 초대장은 강의 소개 페이지에 있습니다. https://discord.gg/tUcr7g8j여기로 들어오시면 되요 :)