runpod 사용방법이 궁금합니다..

안녕하세요 이경용님비용 부분에 others 선택하면 직접 입력하도록 뜹니다. 거기에 일단 5$ 또는 10$ 정도만 입력하시면 되요. 회사 정보는 안넣으셔도 될거에요. 직장인 뿐만 아니라 일반인도 당연히 가입 가능합니다!

실습 환경 : 파이썬 3.10 관련 문의

안녕하세요 홍태경님!아니요 꼭 3.10 버전만 써야하는건 아닙니다.3.10 버전을 쓴것은 촬영 당시 안정화 버전을 쓰기 위함이었는데 3.14 버전을 쓰셔도 상관은 없습니다. 다만 카프카 설치 등 여러 라이브러리 설치를 하게 될건데, 3.14에 맞는 라이브러리 설치를 잘 해주셔야 해요. 제가 3.14 검증은 안해봤지만 안될 이유는 없습니다. 그래도 혹여나 라이브러리 의존성 문제등이 발생할 수는 있지만 해결은 가능할거에요.

kafka 라이선스 오류 문제

안녕하세요 goodgood 님 혹시 챕터 몇 부분 실습 중 나타난 에러인지 남겨주시면 감사하겠습니다. 그리고 실습에는 oracle 소스커넥터는 사용하지 않는데 이건 혹시 실습 외 직접 설치한 것일까요?

dags_email_on_failure

yahohoho님 해당 부분 제가 airflow 3.2.2 버전에서 실행해봤는데 이상없이 잘 실행됩니다. (사진)이렇게 conn_smtp_gmail 로 커넥션 잡고 아래 dags_email_operator 실습 파일 수정한 부분 없이 돌려봤습니다. (사진)그 결과 잘 성공됐습니다. (사진)이 부분은 docker-compose.yaml 파일을 건드릴 필요없이 connection 만 등록해주면 됩니다.그 다음 실습인 dags_email_on_failure 를 해보기 위해 docker-compose.yaml 내 아래와 같이 셋팅해주고 (사진)variable 도 아래처럼 셋팅되어 있는거 확인한 후 (사진)dags_email_on_failure 실행해보면 아래처럼 예상된 대로 task 2개가 실패하는데(사진)Failure 이메일도 정상 발송되고 있습니다.혹시 안되는 부분이 Email operator 실습 부분인가요? 아니면 Email on failure 부분인가요?

dags_email_on_failure

안녕하세요 yahohoho님일단 제가 해보고 다시 답글 달아놓을께요.

DAG 실습 - dags_bash_operator 실행 실패

안녕하세요 미쉐르님!답변이 좀 늦었네요. 문제는 해결되었다고 하시니 다행입니다.참고로 airflow는 3.0 으로 업데이트 되면서 스케줄러, 워커, API Server라는 모듈을 가지게 됩니다 (각각은 컨테이너로 구동됩니다)로그상으로는 API Server 컨테이너에 연결할 때 타임아웃 나는 로그였습니다.아마도 도커 재기동했을 때 API Server가 재기동되면서 문제가 해결된 것으로 보입니다. 그럼 화이팅입니다 :)

[참고] Cannot connect to host host.docker.internal:8080

안녕하세요 logt님! 오 좋은 글 남겨주셔서 너무 감사드립니다.윈도우에서는 제가 안올려봐서 저런 이슈가 있는지 몰랐네요. 해당 챕터 부분에 조만간 업데이트 해놓겠습니다.감사합니다 👍

repartition 전후 persist 용량 차이가 나는 이유가 궁금합니다

안녕하세요 홍석주님! 강의 잘 듣고 계시다니 좋은 소식이네요 🙂질문에 답을 드리자면 Spark이 생각보다 똑똑해서 그렇습니다.첫 번째 persist() 후 사이즈를 봤을 때 247.5MB밖에 안 나온 것은 별다른 트랜스폼 명령 없이 show()만 수행하면 show() 로 출력되는 일부 영역만 읽어들이기 때문입니다. (기본적으로 show() 는 20줄만 출력하므로 그에 해당하는 일부 영역만 읽어들입니다) 그래서 첫 번째 persist()를 하고 바로 show()를 하지 않고 .filter() 를 통해 != '' 같은 구문을 넣고 show()를 해보시면 아마 사이즈가 전체가 나올거에요. 아니면 show() 대신 count()를 넣어도 전체가 나올 것 같습니다. 한번 해보시고 결과를 남겨주시면 제가 또 답변드릴께요 🙂

40강 Multi GPU 필요성 설명이 두번 나오는 것 같아요

안녕하세요 chongin12 님!제보해주셔서 너무너무 감사드립니다. 처음 구간 촬영 후 맘에 들지 않아 재촬영 했는데 중복해서 들어갔네요 😭아무튼 잘 보고계시다니 다행입니다. 또 보시다가 질문 혹은 이상한 점이 있다면 언제든 문의주세요 👍

There are no longer any instances available with the requested specifications. Please refresh and try again.

안녕하세요 logt님보니까 Unavailable 이라 뜨는게 CUDA 12.8 이 없어서 그런건 아닌 것 같고 그냥 GPU 가 모잘라서 그런것 같습니다. 제가 녹화할 당시에도 CUDA 12.8 골라도 Unavailable 뜨는게 많았습니다. 그때는 빨간색으로 떴었는데 지금은 회색이네요. 아마 동일한 현상인 것 같습니다. (사진)지금 Community Cloud 존에 CUDA==12.8 필터해서 본건데 원래도 이정도이긴 했어요 ^^