inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

스파크 머신러닝 완벽 가이드 - Part 1

databricks와 구글 코랩 차이

238

nathan

작성한 질문수 88

0

좋은 강의 감사합니다. 수업 중 궁금한 점이 생겨서 문의드립니다.
 
1. 구글 코랩에도 스파크를 설치해서 사용할 수 있던데, databricks가 구글 코랩에서 spark를 돌리는 것과 어떤점이 좋고 어떤점이 나쁜가요?
 
2. 수업에서 배운 것을 코랩에서 spark를 사용할때도 그대로 사용할 수 있는거겟죠?
 
3. 제가 데이터를 주로 구글드라이브에 올려놓고 거기에서 바로 코랩으로 분석하는데, databricks와 제 구글드라이브를 연동? 시키려면 databricks의 GCP 를 사용하면 되는건가요?

bigdata 머신러닝 배워볼래요? apache-spark 데이터 엔지니어링

답변 1

0

권 철민

안녕하십니까, 

1. 구글 코랩에도 스파크를 설치해서 사용할 수 있던데, databricks가 구글 코랩에서 spark를 돌리는 것과 어떤점이 좋고 어떤점이 나쁜가요?

=>구글 코랩에서 스파크를 구동은 할 수 있는지 저도 처음 알았습니다. 그런데 확인해보니, 접속 할때마다 스파크를 설치해 줘야 합니다.  

이 작업을 매번 해주는건 큰 부담입니다. 

2. 수업에서 배운 것을 코랩에서 spark를 사용할때도 그대로 사용할 수 있는거겟죠?

=>   수업 영상과 자료는 databricks를 기반으로 하였기때문에 spark 버전이 잘 안맞을 수 있습니다. 권장 드리지 않습니다. 

3. 제가 데이터를 주로 구글드라이브에 올려놓고 거기에서 바로 코랩으로 분석하는데, databricks와 제 구글드라이브를 연동? 시키려면 databricks의 GCP 를 사용하면 되는건가요?

=> 음 databricks와 구글 드라이브를 연동해보진 않았습니다만, 커뮤니티 edition의 경우 databricks의 GCP를 연동 할 수 없을 것 입니다. 

강사님 안녕하세요 ㅎdatabricks환경에 대한 설

0

58

3

데이터 브릭스 이슈

0

110

2

데이터 브릭스 가입

0

98

2

pyspark local 설치

0

99

2

community edition 가입 문의

0

110

2

데이터 로드 및 로딩 된 파일 데이터 목록 조회 방

0

168

2

클러스터 버전 설정

0

134

3

instacart market basket analysis

0

186

3

spark 추가 학습 관련 질문

0

233

2

MLOps 관련 MLFLow 및 Databricks 모델 서빙

0

398

1

train파일 업로드 중에 해당 경로가 없다고 뜹니다

0

374

2

강의가 재생되지 않음

0

265

2

후속 강의 계획 질문드립니다.

0

372

1

spark_xgboost_lightgbm 강의부분 관련

0

474

1

spark환경에서 데이터 수정에 관하여 질문이 있습니다.

1

322

1

Spark를 이용하여 binary file -> parquet, csv 변환 가능여부

0

571

1

SPARK 2 강의 오픈

0

498

1

Spark ML 모델 서빙

0

570

1

mac os ) zip 파일 dataframe 오류

0

672

1

ModuleNotFoundError : No module named 'mmlspark' - 20230218

0

630

1

TrainValidationSplit과 randomSplit 사용 질문

0

401

1

현업에서는 scala-spark를 사용하나요? py-spark를 사용하나요?

0

515

1

cluster 생성 Database runtime version 질문

0

275

1

Pandas vs Spark: 비용, 처리시간 비교

0

1237

1