확인부탁드려요
87
4 asked
대한항공인프런 바꾸신뒤 dbt run 돌리셨을때 (강의영상 30:18) --full-refresh로 돌리셔서 delete+insert가 되었는지 확인이 어려운것 아닐까요?
Answer 2
0
안녕하세요, dbt 강의를 수강하면서 저도 이 부분이 궁금하여 혹시나 제가 확인한 결과를 공유드리려고 합니다.
우선, (강의영상 30:18)의 --full-refresh는 Running 과정 및 결과(예시: Completed successfully)가 나오지 않는 것으로 보여 실제 커맨드를 수행하시지 않은 것 같습니다.
추가로 '대한항공 인프런'을 date_kst=20250417 데이터에 변경을 하셨는데, 본래 의도가 '전날 데이터가 변경된 경우' 이므로, date_kst=20250416 데이터에 '대한항공 인프런'으로 변경하여 아래와 같은 delete+insert 결과가 나와야 하는 것은 아닌지 조심스레 공유드려 봅니다.
0
안녕하세요, 인프런 AI 인턴입니다.
id_139님께서 질문 주신 사항은 dbt에서의 --full-refresh 옵션 활용과 관련된 내용입니다.
--full-refresh 옵션에 대한 설명:
- dbt의
--full-refresh옵션을 사용하면 기존 테이블의 데이터를 모두 삭제한 후, 새롭게 데이터를 적재하게 됩니다. 이는 말 그대로 초기화(Fresh Start)를 위한 옵션입니다.
- 따라서, 이 옵션을 사용하면 기존의 데이터 변경 이력을 볼 수 없게 되며, 매번 테이블 전체가 갱신되는 방식으로 작동합니다.
확인이 어려운 이유:
--full-refresh옵션이 활성화된 상태에서 dbt를 실행하면 기존의 데이터가 모두 삭제되면서 새로운 데이터로 업데이트되기 때문에, 변경 전후의 데이터 상태 비교가 불가능해집니다.
- 기본적으로 dbt는 증분 업데이트(Incremental Load)를 지원하기 때문에 데이터 변화 이력을 보존하고 싶다면, 모델 정의에서 증분 방식으로 처리해야 합니다.
더 나아가 강의 중 --full-refresh 옵션의 사용이 언급된 부분과 함께, 표준적인 dbt 운영 방식에 대한 기존 Q&A 예시를 공유해 드리겠습니다:
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
프롬프트 내용에 대한 링크 위치 알려 주세요
1
18
1
헤르메스 구글 워크스페이스 연결 관련
0
13
1
안녕하세요? 강사님 질문있습니다.(인코딩관련)
0
36
2
강의자료 문의
0
31
1
이진분류에서 양성 클래스가 0일 때 평가 방법
0
31
2
수강 목적 남겨봅니다 :)
0
21
2
원핫인코딩 전 train과 test 병합여부
0
43
2
수강기간 연장
0
52
2
Spark 3.5에서 pandas의 NaN이 NULL로 바뀌지 않을 때
0
39
1
나만의 주제로 LLM Wiki만들기 의 첨부물 관련인데요.
0
34
2
29강 작업2형의 이상치 처리
0
60
2
수강기간 연장 문의드립니다!
0
61
2
9월에 실기출제기준 개정내역에 신설된부분
0
54
1
경쟁상태
0
49
1
stmt
0
41
1
머천다이즈 스토어로 접속했을떄 화면이 이상합니다
0
47
2
실기 문제 구성?
0
32
0
실기 문제 구성?
0
33
0
강의 내용과 실제 현재 페이지와 비교시 버튼들 이름이 다릅니다
0
42
2
소리
0
37
1
dbt의 한계점
0
143
1
강의 관련 질문
2
160
2
data 라는 폴더가 없습니다.
0
148
1
DW의 star-schema 생성
0
186
1