자료 다운로드 하면 링크가 모두 클릭이 안됨

안녕하세요? Jinja template 챕터에서 그런 문제가 있다는 거죠? 강의자료는 PDF 밖에 없고 말씀하신 것처럼 다운로드가 잘 되는데 어떤 문제를 이야기하시는 건지 정확히 모르겠습니다. 어느 부분인지 그림과 함께 클릭 불가한 영역을 보여주시면 도움이 되겠습니다.

48강 강의 여전히 49강과 같은 강의가 나옵니다

이제 제대로된 영상으로 업데이트했습니다. 감사합니다.

강의가 잘못 올라온것이 있네요. => 48강

이제 제대로된 영상으로 업데이트했습니다. 감사합니다.

강의가 잘못 올라온것이 있네요. => 48강

수업노트 내용의 중복 문제라고 착각했는데 다른 분의 질문을 보고 그게 아니라는 걸 이제서야 깨달았습니다. 죄송합니다. postgres-demo.mp4와 postgres.mp4로 올라가 있어서 다른 파일이라 생각했는데 같은 내용인데 이름이 다르게 되어 있네요. 오늘 집에 가는데로 postgres.mp4를 찾아서 업데이트해보도록 하겠습니다. 감사합니다.

48강 강의 여전히 49강과 같은 강의가 나옵니다

그러네요. postgres-demo.mp4와 postgres.mp4로 올라가 있어서 다른 파일이라 생각했는데 같은 내용인데 이름이 다르게 되어 있네요. 오늘 집에 가는데로 postgres.mp4를 찾아서 업데이트해보도록 하겠습니다. 알려주셔서 감사드립니다!

강의 교안 제공 문의

섹션별로 처음 장에 자료를 수업 자료로 올려두었습니다.(사진)도움이 되기를 바랍니다. 혹시 데이터 엔지니어링에 관심이 있다면 제가 만든 Airflow나 Spark 강의도 추천드립니다 🙂

forloop으로 task 정의시 task_id 정해지는 로직

제가 답하기 전에 해결하셨군요. 다행입니다. 또 질문 생기면 편하게 주세요!

Free Edition을 사용하는 방법

맞습니다. 이걸 빨리 올려야 하는데 마침 또 한국에 출장을 왔네요. 주말에 시간내서 하나씩이라도 올려보겠습니다.

DuckDB API 사용시 Connection Error가 발생합니다.

제가 전에 이걸 답글을 안 올렸네요 ㅜㅜ 먼저 죄송하다는 말씀 드리겠습니다. 해당 google colab을 수정했고 도입부에 어떤 변화들이 있었는지 정리했는데 여기 다시 적어보겠습니다:강의 출시 후 변경 사항 (1)DuckDB가 한 세션 내에서 하나보다 많은 세션을 막기 시작했습니다. 그 결과 강의 내에서 SQL extension으로 연결하고 Python API로 연결하는 걸 동시에 사용할 수 없는 불편함이 생겼습니다.한번에 하나씩만 연결하게 내용을 변경했고 SQL extension 사용 전후로 아래 코드를 실행합니다.%sql duckdb:///duckdb.db ... %sql --close duckdb:///duckdb.dbPython API 커넥션의 경우 앞뒤로 다음 코드를 실행합니다.duckdb_con = duckdb.connect("duckdb.db") # ... duckdb_con.close()강의 출시 후 변경 사항 (2)앞서 DuckDB 업그레이드 이외에도 SQLAlchemy 2.x로 업그레이드되면서, 모든 실행이 트랜잭션 안에서 이뤄지면서 실행이 무슨 이유이건 실패하면 명시적으로 ROLLBACK을 해주어야 합니다. 예를 들어 두 개의 SQL(SQL1, SQL2)을 별도 셀로 실행한다면 전에는 SQL1이 실패해도 뒤 SQL2를 실행하는데 문제가 없었습니다만 이제는 SQL1이 실패하면 SQL2를 실행하기 전에 "ROLLBACK;"을 실행해주어야 합니다.SQL1; -- 이게 실패하면 뒤 SQL2를 실행하기 전에 앞서 ROLLBACK을 별도로 실행해주어야함ROLLBACK; SQL2; 문제가 계속되면 알려주세요!

SWAP 문법 활용 이유

Snowflake에서는 다른 SQL 엔진들과 다르게 DDL(Data Definition Language)는 Transaction 대상이 아니라 바로바로 커밋합니다. 그래서 일반적인 Trasnaction을 사용해서 하나의 테이블을 삭제하고 다른 테이블의 이름을 삭제된 테이블로 바꿔주는 것이 불가능합니다. 그래서 어쩔 수 없이 SWAP을 쓴 거구요 (사실 성능도 좋습니다). 다른 SQL 엔진에서는 이야기하신 것처럼 Transaction으로 처리해주시면 됩니다.