강의

멘토링

로드맵

수강평 5

평균평점 4.8

30% 수강 후 작성

docker로 설치하지 않고 cmd를 통해 직접 설치하고 진행했더니 dataFrame 생성시 worker 가 작동되지 않아 실습은 거의 못하고 인강만 봤습니다. 한글과 영어를 섞어서 해설하다보니 무슨뜻인지 좀 헷갈렸습니다. 각 메소드에 대한 개념과 옵션이 영어로 설명되어있어 따로 찾아봐야했었는데 이걸 노린건지 모르겠지만 도움은 되었습니다.

미쿡엔지니어님의 프로필 이미지
미쿡엔지니어
지식공유자

안녕하세요 dlclxkzk87님, 소중한 리뷰 남겨주셔서 감사합니다. Spark는 로컬 환경에서 직접 설치할 경우 Java, Python, Spark 버전이나 worker 설정 등 여러 환경 변수 문제로 정상적으로 동작하지 않는 경우가 꽤 자주 발생합니다. 그래서 강의에서는 설치 과정에서 발생할 수 있는 문제를 줄이기 위해 Docker Compose 환경을 같이 제공해 드렸습니다. 혹시 Docker를 사용하지 않고 cmd로 직접 설치하셨다면 worker가 정상적으로 붙지 않는 문제가 생길 수 있습니다. 가능하시면 Docker 환경으로 다시 실행해 보시거나, 또는 Databricks Community Edition을 사용하셔도 실습을 진행하시기에 훨씬 편하실 것입니다. 또한 강의 자료를 영어로 제공하고, 설명 중 일부 영어 표현을 사용하는 이유는 실제 개발 문서나 레퍼런스가 대부분 영어로 되어 있기 때문에 조금이라도 익숙해지시면 도움이 되실 것 같아 그렇게 구성했습니다. 다만 혼란스럽게 느끼셨다면 다음 강의에서는 설명 방식을 조금 더 명확하게 전달할 수 있도록 신경 쓰겠습니다. 실습 환경 때문에 불편을 겪으신 점은 아쉽지만, 강의 내용 자체는 도움이 되셨다고 말씀해 주셔서 감사합니다. 🙏

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크 썸네일
미쿡엔지니어

·

65강

·

865명 수강

실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크 썸네일
미쿡엔지니어

·

65강

·

865명 수강