dlclxkzk87님의 생생한 수강평, 실리콘밸리 엔지니어에게 배우는 파이썬 아파치 스파크
수강평 7
평균평점 4.9
docker로 설치하지 않고 cmd를 통해 직접 설치하고 진행했더니 dataFrame 생성시 worker 가 작동되지 않아 실습은 거의 못하고 인강만 봤습니다. 한글과 영어를 섞어서 해설하다보니 무슨뜻인지 좀 헷갈렸습니다. 각 메소드에 대한 개념과 옵션이 영어로 설명되어있어 따로 찾아봐야했었는데 이걸 노린건지 모르겠지만 도움은 되었습니다.
0
안녕하세요 dlclxkzk87님, 소중한 리뷰 남겨주셔서 감사합니다. Spark는 로컬 환경에서 직접 설치할 경우 Java, Python, Spark 버전이나 worker 설정 등 여러 환경 변수 문제로 정상적으로 동작하지 않는 경우가 꽤 자주 발생합니다. 그래서 강의에서는 설치 과정에서 발생할 수 있는 문제를 줄이기 위해 Docker Compose 환경을 같이 제공해 드렸습니다. 혹시 Docker를 사용하지 않고 cmd로 직접 설치하셨다면 worker가 정상적으로 붙지 않는 문제가 생길 수 있습니다. 가능하시면 Docker 환경으로 다시 실행해 보시거나, 또는 Databricks Community Edition을 사용하셔도 실습을 진행하시기에 훨씬 편하실 것입니다. 또한 강의 자료를 영어로 제공하고, 설명 중 일부 영어 표현을 사용하는 이유는 실제 개발 문서나 레퍼런스가 대부분 영어로 되어 있기 때문에 조금이라도 익숙해지시면 도움이 되실 것 같아 그렇게 구성했습니다. 다만 혼란스럽게 느끼셨다면 다음 강의에서는 설명 방식을 조금 더 명확하게 전달할 수 있도록 신경 쓰겠습니다. 실습 환경 때문에 불편을 겪으신 점은 아쉽지만, 강의 내용 자체는 도움이 되셨다고 말씀해 주셔서 감사합니다. 🙏
0