inflearn logo
강의

Course

Instructor

Spark Machine Learning Complete Guide - Part 1

<Notice> Actions to take when Docker Desktop fails to start

클러스터 버전 설정

122

gksmfqlc0750

2 asked

0

강의에서 새로운 클러스터 생성할 때 10.0 ML (includes Apache Spark 3.2.0, Scala 2.12) 로 설정하시잖아요..!

아무래도 강의 생성 시기랑 연도 차이가 나다보니 지금은 해당 버전은 안 뜨는데 10.4 LTS ML로 해도 무방할까요?? 아래 스크린샷처럼 more 버튼도 없어서 구버전 생성에 어려움을 겪고 있습니다ㅜ

image.png

 

(UI가 많이 다르지만, community.cloud.databricks.com 으로 접속한 페이지 맞습니다...!)

 

머신러닝 빅데이터 apache-spark 데이터-엔지니어링

Answer 3

0

dooleyz3525

10.4로 설치 하시면 될 것 같습니다. 테스트 결과 실습 코드 모두 정상 동작합니다.

 

감사합니다.

0

dooleyz3525

안녕하십니까,

아, 그러셨군요. 알려주셔서 감사합니다.

일단은 10.4 로 설치해서 강의 수강 부탁드립니다. 제가 실습코드가 호환되는 지 확인해 보도록 하겠습니다.

확인에 시간이 걸릴것 같습니다. 빨리 진행해서 이번주 주말까지 작업해 보도록 하겠습니다.

감사합니다.

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. gksmfqlc0750님.

Databricks 클러스터 생성 시, 강의에서 사용한 10.0 ML 버전은 현재 구버전으로 제공되지 않을 수 있습니다. 이는 강의 작성 시점과 현재 시점 간 버전 차이로 인한 것이며, 최신 버전 또는 장기 지원 버전인 10.4 LTS ML (Scala 2.12, Spark 3.2.1)으로 설정하여 사용해도 충분히 적절합니다. ML(LTS)은 장기 지원(Maintenance)이 제공되는 버전이므로 안정성과 성능이 보장됩니다.

이미지에 명시된 대로 “Databricks runtime version”에서 “10.4 LTS ML”을 선택해 실습을 진행하시면 되며, 주요 변경 사항은 일반적으로 Spark 및 Databricks 업데이트에 대한 내용입니다.

강의 진행 중에 최신 버전으로 인한 오류가 발생할 수 있으나, 일반적으로 큰 문제가 되지 않으며 대부분의 심화적인 변화는 문서에서 충분히 가이드되고 있습니다. 문제가 발생한다면 언제든지 질문 게시판에 질문해 주시면 강사님께서 상세히 안내해 드릴 것입니다.

관련하여 유사한 질문이 있으니 참고하시길 바랍니다:
- cluster 생성 Database runtime version 질문

위 링크에서 지식공유자님의 답변이 도움이 될 수 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

데이터 브릭스 이슈

0

89

2

데이터 브릭스 가입

0

83

2

pyspark local 설치

0

79

2

community edition 가입 문의

0

88

2

데이터 로드 및 로딩 된 파일 데이터 목록 조회 방

0

159

2

instacart market basket analysis

0

169

3

spark 추가 학습 관련 질문

0

221

2

MLOps 관련 MLFLow 및 Databricks 모델 서빙

0

374

1

train파일 업로드 중에 해당 경로가 없다고 뜹니다

0

366

2

강의가 재생되지 않음

0

257

2

후속 강의 계획 질문드립니다.

0

364

1

spark_xgboost_lightgbm 강의부분 관련

0

463

1

spark환경에서 데이터 수정에 관하여 질문이 있습니다.

1

312

1

Spark를 이용하여 binary file -> parquet, csv 변환 가능여부

0

560

1

SPARK 2 강의 오픈

0

490

1

Spark ML 모델 서빙

0

559

1

mac os ) zip 파일 dataframe 오류

0

659

1

ModuleNotFoundError : No module named 'mmlspark' - 20230218

0

616

1

TrainValidationSplit과 randomSplit 사용 질문

0

393

1

현업에서는 scala-spark를 사용하나요? py-spark를 사용하나요?

0

509

1

cluster 생성 Database runtime version 질문

0

268

1

Pandas vs Spark: 비용, 처리시간 비교

0

1227

1

sparkdl library 설치 관련 질문

0

386

1

선생님 실습환경 질문드립니다.

0

255

1