실습 환경 : 파이썬 3.10 관련 문의

안녕하세요 홍태경님!아니요 꼭 3.10 버전만 써야하는건 아닙니다.3.10 버전을 쓴것은 촬영 당시 안정화 버전을 쓰기 위함이었는데 3.14 버전을 쓰셔도 상관은 없습니다. 다만 카프카 설치 등 여러 라이브러리 설치를 하게 될건데, 3.14에 맞는 라이브러리 설치를 잘 해주셔야 해요. 제가 3.14 검증은 안해봤지만 안될 이유는 없습니다. 그래도 혹여나 라이브러리 의존성 문제등이 발생할 수는 있지만 해결은 가능할거에요.

kafka 라이선스 오류 문제

안녕하세요 goodgood 님 혹시 챕터 몇 부분 실습 중 나타난 에러인지 남겨주시면 감사하겠습니다. 그리고 실습에는 oracle 소스커넥터는 사용하지 않는데 이건 혹시 실습 외 직접 설치한 것일까요?

dags_email_on_failure

yahohoho님 해당 부분 제가 airflow 3.2.2 버전에서 실행해봤는데 이상없이 잘 실행됩니다. (사진)이렇게 conn_smtp_gmail 로 커넥션 잡고 아래 dags_email_operator 실습 파일 수정한 부분 없이 돌려봤습니다. (사진)그 결과 잘 성공됐습니다. (사진)이 부분은 docker-compose.yaml 파일을 건드릴 필요없이 connection 만 등록해주면 됩니다.그 다음 실습인 dags_email_on_failure 를 해보기 위해 docker-compose.yaml 내 아래와 같이 셋팅해주고 (사진)variable 도 아래처럼 셋팅되어 있는거 확인한 후 (사진)dags_email_on_failure 실행해보면 아래처럼 예상된 대로 task 2개가 실패하는데(사진)Failure 이메일도 정상 발송되고 있습니다.혹시 안되는 부분이 Email operator 실습 부분인가요? 아니면 Email on failure 부분인가요?

dags_email_on_failure

안녕하세요 yahohoho님일단 제가 해보고 다시 답글 달아놓을께요.

DAG 실습 - dags_bash_operator 실행 실패

안녕하세요 미쉐르님!답변이 좀 늦었네요. 문제는 해결되었다고 하시니 다행입니다.참고로 airflow는 3.0 으로 업데이트 되면서 스케줄러, 워커, API Server라는 모듈을 가지게 됩니다 (각각은 컨테이너로 구동됩니다)로그상으로는 API Server 컨테이너에 연결할 때 타임아웃 나는 로그였습니다.아마도 도커 재기동했을 때 API Server가 재기동되면서 문제가 해결된 것으로 보입니다. 그럼 화이팅입니다 :)

[참고] Cannot connect to host host.docker.internal:8080

안녕하세요 logt님! 오 좋은 글 남겨주셔서 너무 감사드립니다.윈도우에서는 제가 안올려봐서 저런 이슈가 있는지 몰랐네요. 해당 챕터 부분에 조만간 업데이트 해놓겠습니다.감사합니다 👍

repartition 전후 persist 용량 차이가 나는 이유가 궁금합니다

안녕하세요 홍석주님! 강의 잘 듣고 계시다니 좋은 소식이네요 🙂질문에 답을 드리자면 Spark이 생각보다 똑똑해서 그렇습니다.첫 번째 persist() 후 사이즈를 봤을 때 247.5MB밖에 안 나온 것은 별다른 트랜스폼 명령 없이 show()만 수행하면 show() 로 출력되는 일부 영역만 읽어들이기 때문입니다. (기본적으로 show() 는 20줄만 출력하므로 그에 해당하는 일부 영역만 읽어들입니다) 그래서 첫 번째 persist()를 하고 바로 show()를 하지 않고 .filter() 를 통해 != '' 같은 구문을 넣고 show()를 해보시면 아마 사이즈가 전체가 나올거에요. 아니면 show() 대신 count()를 넣어도 전체가 나올 것 같습니다. 한번 해보시고 결과를 남겨주시면 제가 또 답변드릴께요 🙂

40강 Multi GPU 필요성 설명이 두번 나오는 것 같아요

안녕하세요 chongin12 님!제보해주셔서 너무너무 감사드립니다. 처음 구간 촬영 후 맘에 들지 않아 재촬영 했는데 중복해서 들어갔네요 😭아무튼 잘 보고계시다니 다행입니다. 또 보시다가 질문 혹은 이상한 점이 있다면 언제든 문의주세요 👍

There are no longer any instances available with the requested specifications. Please refresh and try again.

안녕하세요 logt님보니까 Unavailable 이라 뜨는게 CUDA 12.8 이 없어서 그런건 아닌 것 같고 그냥 GPU 가 모잘라서 그런것 같습니다. 제가 녹화할 당시에도 CUDA 12.8 골라도 Unavailable 뜨는게 많았습니다. 그때는 빨간색으로 떴었는데 지금은 회색이네요. 아마 동일한 현상인 것 같습니다. (사진)지금 Community Cloud 존에 CUDA==12.8 필터해서 본건데 원래도 이정도이긴 했어요 ^^

질문있는데요.. vLLM은 말씀하신 사양에 적용이되나요?

안녕하세요 이경용님Vllm은 gpu가 필요합니다. 그래서 일반 pc에서 vllm 돌리기는 어려울거에요. 그래서 실습 환경으로 runpod을 사용합니다. 실습 사양에 적어놓은 스펙은 로컬 pc 에서 수행할 open webui, fastapi 기동을 위한 스펙입니다. 참고부탁드려요 :)참고로 kanana 모델은 본 강의에서도 잠깐 사용합니다 (가드레일 용)