DuckDB API 사용시 Connection Error가 발생합니다.

제가 전에 이걸 답글을 안 올렸네요 ㅜㅜ 먼저 죄송하다는 말씀 드리겠습니다. 해당 google colab을 수정했고 도입부에 어떤 변화들이 있었는지 정리했는데 여기 다시 적어보겠습니다:강의 출시 후 변경 사항 (1)DuckDB가 한 세션 내에서 하나보다 많은 세션을 막기 시작했습니다. 그 결과 강의 내에서 SQL extension으로 연결하고 Python API로 연결하는 걸 동시에 사용할 수 없는 불편함이 생겼습니다.한번에 하나씩만 연결하게 내용을 변경했고 SQL extension 사용 전후로 아래 코드를 실행합니다.%sql duckdb:///duckdb.db ... %sql --close duckdb:///duckdb.dbPython API 커넥션의 경우 앞뒤로 다음 코드를 실행합니다.duckdb_con = duckdb.connect("duckdb.db") # ... duckdb_con.close()강의 출시 후 변경 사항 (2)앞서 DuckDB 업그레이드 이외에도 SQLAlchemy 2.x로 업그레이드되면서, 모든 실행이 트랜잭션 안에서 이뤄지면서 실행이 무슨 이유이건 실패하면 명시적으로 ROLLBACK을 해주어야 합니다. 예를 들어 두 개의 SQL(SQL1, SQL2)을 별도 셀로 실행한다면 전에는 SQL1이 실패해도 뒤 SQL2를 실행하는데 문제가 없었습니다만 이제는 SQL1이 실패하면 SQL2를 실행하기 전에 "ROLLBACK;"을 실행해주어야 합니다.SQL1; -- 이게 실패하면 뒤 SQL2를 실행하기 전에 앞서 ROLLBACK을 별도로 실행해주어야함ROLLBACK; SQL2; 문제가 계속되면 알려주세요!

SWAP 문법 활용 이유

Snowflake에서는 다른 SQL 엔진들과 다르게 DDL(Data Definition Language)는 Transaction 대상이 아니라 바로바로 커밋합니다. 그래서 일반적인 Trasnaction을 사용해서 하나의 테이블을 삭제하고 다른 테이블의 이름을 삭제된 테이블로 바꿔주는 것이 불가능합니다. 그래서 어쩔 수 없이 SWAP을 쓴 거구요 (사실 성능도 좋습니다). 다른 SQL 엔진에서는 이야기하신 것처럼 Transaction으로 처리해주시면 됩니다.

copy into 성능 저하

안녕하세요? 예상하신대로 입니다. COPY INTO는 Stage를 앞단에 만드는 노력이 필요하기에 어느 정도 레코드 수가 되지 않는다면 INSERT INTO를 반복하는 것보다 느리게 동작합니다. 명확한 규칙이 있지는 않지만 기본적으로 회사 일이라면 그냥 COPY INTO를 사용하는 모듈을 하나 만들어두고 모두 그 모듈을 사용하는 형태로 가는 것이 좋습니다. 그래야 일관성도 생기고 처리하는 데이터의 크기가 나중에 커져도 문제가 되지 않습니다. 좋은 질문 감사드립니다!

데이터 가져올때 1달치만 가져오는 상태

발견 공유해주셔서 감사드립니다!

강의자료가 비어있어요

강의 자료 파일을 지금 받아서 압축을 풀어보니 슬라이드 폴더 아래처럼 PDF 파일들이 보입니다. 다시 한번 확인해보세요. (사진)

pdf 링크 오류

PDF에서 링크가 깨진 모양이네요. 모든 Google Colab 노트북에 대한 링크는 해당 강의의 수업 노트에도 있으니 일단 그걸 참고해보세요. 해당 노트에 있는 링크를 아래 복사했습니다:Google Colab 링크이걸로 문제가 해결이 안되면 알려주세요!

databricks - 무료버전 변경

생각보다 일이 많네요. "(2025.07.22) Databricks Community Edition 중단으로 인한 실습 환경 변경"라는 제목으로 섹션 1에 챕터를 하나 추가했습니다. 그 내용을 요약하면 2025년 6월초 전에 Databricks Community Edition 계정을 만든 사람은 연말까지 사용 가능합니다. 대다수의 현재 수강생 분들이 그전에 시작하신 분들이라 계정이 있다는 전제하에 현재 실습 내용은 그대로 둘 예정입니다.Databricks Community Edition 계정이 없는 사람은 간단한 실습은 Google Colab으로 하고 Google Colab에 안되는 것들만 Databricks Free Edition을 사용하게 만들 생각인데 여기에는 아래 3가지 실습이 포함됩니다CSV, PARQUET, DELTA 파일 성능 비교하고 DELTA의 Time Travel 사용하기Pandas vs. Spark 100M & 1B 레코드 처리 성능 비교하기Shuffling JOIN과 Broadcast JOIN 학습하기위 세 가지를 제외한 나머지 Community Edition 실습 노트북들은 모두 Google Colab 버전으로 테스트해서 링크를 해당 챕터의 실습노트 파트에 추가했습니다.위 3가지 Free Edition 용 실습 노트북은 아직 만들지 못했고 Free Edition 사용법에 대한 영상을 하나 만들고 같이 올릴 예정이며 이 작업을 이번 주에 진행하려고 합니다.혹시 질문이 있다면 keeyong@gmail.com으로 바로 이메일 주세요. 이메일로 이야기를 나누고 보완해서 여기에도 정리하고 커리큘럼에도 반영해보도록 하겠습니다.

databricks - 무료버전 변경

오늘 더 확인해보니 Free Edition에서 동작은 가능한데 개인 AWS 계정을 가지고 돌리는 형태라 돈이 좀 나간다는 단점이 있습니다. Databricks도 아마 그 비용을 직접 부담하다가 너무 커져서 이번에 이런 결정을 내린 걸로 보입니다. 오늘 중으로 두 가지 방법을 문서화해서 강의 자료에 첨부하도록 하겠습니다.Google Colab에서 실행하기Free Edition에서 실행 비용을 개인 부담하고 실행하기오늘은 아니지만 3. 개인 랩톱에 Spark을 설치하고 실행하는 방법에 대해서도 곧 추가해보겠습니다. 이는 맥에서는 상대적으로 쉬운데 윈도우는 좀더 복잡한 면이 있습니다.

databricks - 무료버전 변경

Community Edition상의 실습 노트북 2개를 Free Edition에서 일단 실행해보았는데 동작하는걸 확인했습니다. 아마 대부분의 코드는 그대로 동작하리라 믿습니다만 모두 실행해보고 별도 강의나 공지문을 만들어서 강의를 업데이트하도록 하겠습니다. 여기에 계속 업데이트할께요

databricks - 무료버전 변경

알려주셔서 감사드립니다. Community Edition이 사라지고 Free Edition이 만들어졌군요. 이걸 살펴보도록 하겠습니다. 시간이 좀 걸릴 듯 해서 일단 여기 메시지 남깁니다. 곧 다시 업데이트하도록 하겠습니다.