sparkdl library 설치 관련 질문

Question

안녕하세요 강사님, 강의 잘 보고 있는 데이터 분석가 입니다. 현재 저는 이전에 문의드린대로 Mac local 환경에서 spark를 구동해서 실습을 진행해왔고 현재 Sparkdl xgboost 패키지 강의 또한 로컬 환경에서 구동하고자 시도하고 있습니다.   다만 sparkdl의 경우 로컬환경에서 구동하는것 조금 까다로운데 혹시 참고할 만한 레퍼런스가 있을까요? SynapseML도 로컬에서 진행할 수 있을것 같은데 같은 문의드리고자 합니다,  감사합니다.

dooleyz3525 · Answer

안녕하십니까, 잘 듣고 계시다니 저도 기쁘군요. 음, sparkdl을 local환경에서 셋업이 가능한지요? 제가 해보지 않은 부분도 있지만, databricks에서 sparkdl을 databricks 전용 vm에서만 쉽게 설치될 수 있도록 만든것 같습니다. local로 sparkdl을 설치해 본 사례가 인터넷에 있으셔서 문의 하신건지요? 혹 있으시면 URL을 알려 주시면 저도 다시 한번 검토해 보겠습니다. SynapseML의 경우는 아래 주소를 참조해 보시면 https://microsoft.github.io/SynapseML/docs/getting_started/installation/ 아래와 같이 spark-shell등의 command를 이용해서 설치가 가능한 것으로 되어 있습니다. # Please use 0.10.2 version for Spark3.2 and 0.9.5-13-d1b51517-SNAPSHOT version for Spark3.1 spark-shell --packages com.microsoft.azure :synapseml_2.12:0.10.2 pyspark --packages com.microsoft.azure :synapseml_2.12:0.10.2 spark-submit --packages com.microsoft.azure :synapseml_2.12:0.10.2 MyApp.jar   감사합니다.