CSV, PARQUET, DELTA 파일 성능 비교하고 DELTA의 Time Travel 사용하기Pandas vs. Spark 100M & 1B 레코드 처리 성능 비교하기Shuffling JOIN과 Broadcast JOIN 학습하기이 3가지 실습과정 영상을 올ㄹㅕ주시면 좋겠습니다. 예제를 통한 판다스와 스파크 성능 비교부터 실습을 어떻게 진행해야할지 막막하네요.

github에는 actions탭에 정상적으로 워크플로우가 런 됩니다. 하지만 code-deploy 탭으로 이동해 확인하면 배포상태가 번번히 실패로 뜹니다. 강의안대로 잘 따라갔습니다. 원인을 찾아보려했지만 찾아지지 않아 글 남깁니다. 감사합니다.

안녕하세요 강사님! Airflow 강의에 이어 Kafka & Spark 강의도 열심히 듣고 있는 수강생입니다. 지난 Airflow 강의에서는 VSCode를 기반으로 실습을 진행했었는데, 이번 강의는 Pycharm으로 진행하시더라구요. 혹시 Pycharm 대신 VSCode를 사용하면 실습을 따라가는 데 있어서 신경써줘야 할 부분들이 좀 많을까요? 그게 아니라면 기존에 쓰던 VSCode를 기반으로 실습을 따라가고 싶어서요! 항상 좋은 강의, 그리고 친절한 답변 감사드립니다 :)

  host가 kafka02에다가 설치하고 kafka-ui를 실행했는데 사진처럼 컨트롤러가 kafka03일 수가 있는겁니까?

kafka borker prompt 변경 확인 하는 부분에서 재부팅을 한 후 로그인이 풀리면서 프롬포트에서 public-nat로 되돌아 갑니다. 뭐가 문제인지 알 수 있을 까요?

디스코드가 만료되었는데 링크좀 주세요 소개페이지도 안되고 질문페이지도 안됩니다

8월말 9월초에 비슷한 질문보고 해결하려했는데 3.8.4가 url에서 없어진거 같은데 어떻게 해야하나요? 

안녕하세요 강사님 아직 모르는것 투성이인 수강생입니다. 강사님께서는 깃허브 저장소를 생성한 뒤 토큰을 발급받으시던데 구글링을 해보니 토큰을 사용하면 보안과 유연성에 장점이 있다고 나와있었습니다.배포를 하기 위해서는 꼭 토큰을 발급받아야 하는 건지 실습 환경을 구축할 때 토큰을 사용하시는 이유가 궁금합니다!좋은 강의 만들어주셔서 감사드립니다!!

안녕하세요 강사님!ch03.8 git action 실행 강의 수강 중 입니다.강의안에 나온대로 디렉토리 설정 완료하고, master 파일의 버킷명도 제 고유버킷명으로 잘 변경했습니다. 이후 git push를 진행했고 push도 잘 된것을 깃허브에서 확인했는데요.문제는 git actions에 아무것도 올라오지 않는다는 것 입니다. 이에 chat-gpt를 통해 문제 원인을 분석해보니📌 원인master.yml 파일이 레포지토리 루트가 아니라kafka-producer/kafka-producer/.github/workflows/master.yml 처럼 하위 디렉토리 안에 들어 있었기 때문이에요.GitHub Actions는 오직 레포 최상위(repo-root/.github/workflows/) 위치만 인식합니다.하위 폴더 안에 있으면 파일이 있어도 무시돼서, Actions 탭에 아무것도 안 보였던 거예요.이와 같았습니다.chat-gpt의 수정대로 레포 구조를 바꿔 git push를 진행하면 actions에 워크플로우가 뜨고 빌드가 됩니다. 하지만 강의안에 나온 구조와는 상이해보여 질문드립니다. 정확한 문제의 원인과 해결 방안을 알 수 있을까요?   사진은 강의안대로 구성한 제 디렉토리 구조 입니다. chat-gpt가 제시한 해결 방안입니다. 이대로 했을 때 actions 탭에 워크플로우 뜸. 

16강 ansible 설치를 위해 터미널에서 NAT 인스턴스로 직접 로그인하려고 하는데 오류가납니다.  PS C:\Users\nayun\downloads> ssh -i public-nat-key.pem ec2-user@3.39.207.192ssh: connect to host 3.39.207.192 port 22: Connection timed out 15강까지 원활히 강의따라 실습 진행한 상태입니다.

private 서버 이용시 2c, 2d로 사용한다했는데 이제 2d는 없어진 모양입니다. 2c로만 진행해도 무리 없을런지요?

안녕하세요! 강사님   이 부분이 에러가 뜨는데 혹시 어떤 걸 확인해봐야할까요?

안녕하세요3주만에 카프카를 실행시키니 Consumer 실행에 문제가 있어 질문 남깁니다디스코드에도 글을 남겼으니 편하신 곳으로 답변 부탁드립니다 1-1) poll consumer를 10분정도 실행시켰다가(잘돌아갔음) 종료후 다시한번 실행한 상황1-2) poll consumer 실행하니까 반응이없음(python poll_consumer.py 입력하니 쉘 묵묵부답)1-3) consume consumer는 실행이 잘됨2)서버 껐다켜니 둘다 실행이 안됨3) UI가 안켜져서 보안그룹 public-nat를 건드리고나니 comsumer 실행시 아래와 같은 현상 발생<8월 31일>%3|1756625877.560|FAIL|rdkafka#consumer-1| [thrd:kafka03:9092/bootstrap]: kafka03:9092/bootstrap: Connect to ipv4#172.31.58.18:9092 failed: Connection refused (after 1ms in state CONNECT)%3|1756625878.559|FAIL|rdkafka#consumer-1| [thrd:kafka02:9092/bootstrap]: kafka02:9092/bootstrap: Connect to ipv4#172.31.39.189:9092 failed: Connection refused (after 1ms in state CONNECT)<9월 2일>%6|1756814397.408|FAIL|rdkafka#consumer-1| [thrd:kafka02:9092/bootstrap]: kafka02:9092/bootstrap: Disconnected while requesting ApiVersion: might be caused by incorrect security.protocol configuration (connecting to a SSL listener?) or broker version is < 0.10 (see api.version.request) (after 1248ms in state APIVERSION_QUERY)모든 강의자료에 나오는 보안그룹 관련 설정을 최대한 따라하였으나 잘 진행이 되지않습니다 public-nat 보안규칙은 아래와 같습니다 ..

강의를 잘 따라가던 도중에 4040 웹에 접속했는데 저렇게 떴는데 뭐가 문제일까요?

kafka-broker01에 ssh로 접속하고 Ping을했는데 회신이 없이 그대로 멈춰있습니다.

안녕하세요. git push 이후 actions 오류 발생 되어 문의 드립니다.Github 에서 AWS codeDeploy 오류 확인 됩니다.어떤 부분을 체크 해보는게 좋을까요?   

강의에서는 master.yml도 appspec.yml이랑 똑같던데 제 환경에서 똑같이 따라했는데 master.yml과 appspec.yml의 아이콘이 다르게 뜹니다.git status를 치면 수정함: .github/workflows/master.yml, 수정함: appspec.yml 이렇게 떠야하는데 저는 modified: appspec.yml 이거 하나만 뜹니다. 강사님과 똑같이 따라했습니다. 이전에 git add . 를 한 적이 없음git push를 한 후에 깃헙 Actions에 들어가보면 There are no workflow runs yet. 이라고 뜹니다. 강사님처럼 workflow run이 안 됩니다.뭐가 문제일까요? 강의랑 똑같이 따라갔는데제가 다르게 한 거는 카프카 브로커를 만들때, 인스턴스 유형을 public-nat: t3.micro,kafka-broker: t3.small로 한 거만 다릅니다.

안녕하세요!먼저 이 강의를 통해 많은 것을 배우고 있습니다. 감사합니다강의를 수강중에 Simple Producer 코드에서 질문이 있습니다. 강의에서 비동기 방식으로 producer를 생성할 때 on_delivery 파라미터를 설명해주셨고, 아래 문서에서 예제 코드를 확인했을 때는 on_delivery가 아닌 callback 으로 파라미터를 받고 있는 것을 확인했습니다.https://docs.confluent.io/kafka-clients/python/current/overview.html 직접 코드를 확인해보니 아래와 같이 alias로 사용하는 것까지 확인했습니다.하지만, callback으로 파라미터를 넘겼을 때 어떻게 on_delivery로 값을 바인딩할 수 있는지에 대한 부분은 찾지 못하여 질문드립니다!alias가 어떻게 바인딩 되는지 어느 코드에서 찾을 수 있을까요? This is an asynchronous operation, an application may use the ``callback`` (alias ``on_delivery``) argument to pass a function (or lambda) that will be called from :py:func:`poll()` when the message has been successfully delivered or permanently fails delivery. confluent-kafka (python) 코드에서 강의 중에 poll() 메소드는 반드시 필요한 것이라고 이해를 했습니다.자바 기반인 apache kafka를 구현한 예제들을 보면 producer에서는 poll() 메소드를 사용하지 않는 것 같아서 질문드립니다.자바 기반인 경우 동작 방식이 달라서 그런걸가요?

디스코드 초대장은 어디로 받나요?

cd /home/ec2-user/downloadswget https://downloads.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz 해당 폴더에 압축파일이 없다고 떠서 새로 다운받았습니다!