databricks - 무료버전 변경
197
작성한 질문수 2
안녕하세요. 강사님. 강의를 듣다가 databricks 실습부분에서 무료버전 환경과 제공하는 범위가 달라진거 같아서 문의 드립니다.
찾아보니 databricks에서 더 이상 스파크 클러스터를 제공안해준다고 하는데..앞으로 수업은 어떤식으로 따라가면 될까요?
답변 7
1
생각보다 일이 많네요. "(2025.07.22) Databricks Community Edition 중단으로 인한 실습 환경 변경"라는 제목으로 섹션 1에 챕터를 하나 추가했습니다. 그 내용을 요약하면
2025년 6월초 전에 Databricks Community Edition 계정을 만든 사람은 연말까지 사용 가능합니다. 대다수의 현재 수강생 분들이 그전에 시작하신 분들이라 계정이 있다는 전제하에 현재 실습 내용은 그대로 둘 예정입니다.
Databricks Community Edition 계정이 없는 사람은 간단한 실습은 Google Colab으로 하고 Google Colab에 안되는 것들만 Databricks Free Edition을 사용하게 만들 생각인데 여기에는 아래 3가지 실습이 포함됩니다
CSV, PARQUET, DELTA 파일 성능 비교하고 DELTA의 Time Travel 사용하기
Pandas vs. Spark 100M & 1B 레코드 처리 성능 비교하기
Shuffling JOIN과 Broadcast JOIN 학습하기
위 세 가지를 제외한 나머지 Community Edition 실습 노트북들은 모두 Google Colab 버전으로 테스트해서 링크를 해당 챕터의 실습노트 파트에 추가했습니다.
위 3가지 Free Edition 용 실습 노트북은 아직 만들지 못했고 Free Edition 사용법에 대한 영상을 하나 만들고 같이 올릴 예정이며 이 작업을 이번 주에 진행하려고 합니다.
혹시 질문이 있다면 keeyong@gmail.com으로 바로 이메일 주세요. 이메일로 이야기를 나누고 보완해서 여기에도 정리하고 커리큘럼에도 반영해보도록 하겠습니다.
1
오늘 더 확인해보니 Free Edition에서 동작은 가능한데 개인 AWS 계정을 가지고 돌리는 형태라 돈이 좀 나간다는 단점이 있습니다. Databricks도 아마 그 비용을 직접 부담하다가 너무 커져서 이번에 이런 결정을 내린 걸로 보입니다. 오늘 중으로 두 가지 방법을 문서화해서 강의 자료에 첨부하도록 하겠습니다.
Google Colab에서 실행하기
Free Edition에서 실행 비용을 개인 부담하고 실행하기
오늘은 아니지만 3. 개인 랩톱에 Spark을 설치하고 실행하는 방법에 대해서도 곧 추가해보겠습니다. 이는 맥에서는 상대적으로 쉬운데 윈도우는 좀더 복잡한 면이 있습니다.
1
Community Edition상의 실습 노트북 2개를 Free Edition에서 일단 실행해보았는데 동작하는걸 확인했습니다. 아마 대부분의 코드는 그대로 동작하리라 믿습니다만 모두 실행해보고 별도 강의나 공지문을 만들어서 강의를 업데이트하도록 하겠습니다. 여기에 계속 업데이트할께요
1
알려주셔서 감사드립니다. Community Edition이 사라지고 Free Edition이 만들어졌군요. 이걸 살펴보도록 하겠습니다. 시간이 좀 걸릴 듯 해서 일단 여기 메시지 남깁니다. 곧 다시 업데이트하도록 하겠습니다.
0
이 영상 내용을 어떻게 colab에서 실습하나요?
0
안녕하세요, 인프런 AI 인턴입니다. 김동현님.
Databricks의 무료버전 변경 사항과 관련하여 어려움을 겪고 계시는군요. Databricks에서 무료로 제공되던 Spark 클러스터가 중단되었다면, 대체 방법이나 다른 플랫폼을 활용하여 강의를 따라갈 수 있는 방법을 고려해보셔야 할 것 같습니다.
이와 관련된 유사한 질문과 그에 대한 답변이 있어 도움이 되실 수 있습니다:
- Databricks 무료 이용에 제한이 생겼습니다. 강의를 어떻게 따라가야 할까요?
기존에는 Databricks 외에도 Apache Spark를 실행할 수 있는 다양한 환경이 존재합니다. 예를 들어, 다음과 같은 대체 옵션들을 고려해볼 수 있습니다:
1. 로컬 머신에서 Spark 설치: 여러분의 컴퓨터에 직접 Spark를 설치하여 사용하는 방법입니다. 이를 위해서는 자바와 스칼라 환경 설정이 필요합니다.
2. 구름 환경 이용: AWS의 EMR, Google Cloud의 Dataproc, Azure HDInsight와 같은 클라우드 서비스들이 있으며, 이들은 Spark 클러스터를 제공합니다.
3. 다른 온라인 플랫폼: 현재 상태로 무료로 Spark 클러스터를 제공하는 다른 플랫폼이 있을 수 있습니다.
이런 대체 방법을 사용해 강의를 수강하실 수 있습니다. 질문자님의 학습 환경에 적합한 방법을 선택하여 수업을 진행해 보시기 바랍니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
Free Edition 실습 영상은 아직 업데이트전인가요?
0
3
1
질문 드립니다.
0
33
2
강의 내용 관련 질문드립니다~
0
30
2
수강 연장 문의
0
28
1
강의자료 일괄 다운로드
0
34
2
상품 정보 크롤링
0
15
2
list 문제 질문드립니다~
0
25
2
빅분기 실기 12회 재도전
0
37
1
강의 기간 연장 가능여부 검토 요청건
0
27
1
수강기간 연장 문의 드립니다
0
34
2
수강기간 연장 문의드립니다
0
43
2
강의에 적용한 스크립트를 받아 볼수 있을까요?
0
29
2
질문이요
0
48
2
실습소실행안되요
0
27
1
수강기간 연장 문의드립니다.
0
46
2
수강기간 연장
0
20
1
BCNF 질문
0
40
2
문제 3-2 질문드립니다
0
43
2
수강기간 연장 문의 드립니다.
0
55
2
통합 강의 교재 부탁드려요.
0
23
2
Free Edition을 사용하는 방법
1
86
1
강의자료가 비어있어요
0
82
2
실습 code 강의자료 문의
0
89
2
강의자료 다운로드 문의
1
89
2