inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

dbt, 데이터 분석 엔지니어링의 새로운 표준

incremental materialization - design1

확인부탁드려요

57

id_139

작성한 질문수 4

0

대한항공인프런 바꾸신뒤 dbt run 돌리셨을때 (강의영상 30:18) --full-refresh로 돌리셔서 delete+insert가 되었는지 확인이 어려운것 아닐까요?

빅데이터 업무-생산성 데이터-엔지니어링 dbt 데이터-리터러시

답변 1

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.

id_139님께서 질문 주신 사항은 dbt에서의 --full-refresh 옵션 활용과 관련된 내용입니다.

--full-refresh 옵션에 대한 설명:

  • dbt의 --full-refresh 옵션을 사용하면 기존 테이블의 데이터를 모두 삭제한 후, 새롭게 데이터를 적재하게 됩니다. 이는 말 그대로 초기화(Fresh Start)를 위한 옵션입니다.
  • 따라서, 이 옵션을 사용하면 기존의 데이터 변경 이력을 볼 수 없게 되며, 매번 테이블 전체가 갱신되는 방식으로 작동합니다.

확인이 어려운 이유:

  • --full-refresh 옵션이 활성화된 상태에서 dbt를 실행하면 기존의 데이터가 모두 삭제되면서 새로운 데이터로 업데이트되기 때문에, 변경 전후의 데이터 상태 비교가 불가능해집니다.
  • 기본적으로 dbt는 증분 업데이트(Incremental Load)를 지원하기 때문에 데이터 변화 이력을 보존하고 싶다면, 모델 정의에서 증분 방식으로 처리해야 합니다.

더 나아가 강의 중 --full-refresh 옵션의 사용이 언급된 부분과 함께, 표준적인 dbt 운영 방식에 대한 기존 Q&A 예시를 공유해 드리겠습니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.

현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏

추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

2-4 [실습] 설치한 n8n-skill 스킬 써보기 강의에 아무 내용이 안나와요

0

12

1

클로드코드의 서브에이전트 메모리 전략

1

19

1

AI 리터러시 교재

0

15

2

5강때 초보가 겪었던 어려움 공유 (극복완료)

0

28

2

postgres-1에 minio에서쓸 meta data 속성이 왜저장되나요?

0

18

1

실기시험 제출관련

0

133

2

6.20 작업형 2 과적합

0

145

3

install까지 설치 하였는데 start 가안됩니다.

1

25

1

코딩팡 장업형2 베이스 라인 인코딩 종류 질문

0

43

2

로지스틱회귀, 회귀

0

47

2

회귀 문제를 풀때 질문입니다.

0

52

1

불균형 처리 후 성능이 더 낮아졌다면,

0

61

2

섹션 2의 예정인 강의

0

25

1

실기 체험 제2유형 에러 문의

0

60

1

LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요

0

46

2

3번문제 등분산 가정

0

46

2

작업형3 target 형 변환 질문

0

34

2

[작업형1] 연습문제 섹션1 ~ 10 의 section4

0

36

3

원핫인코딩과 레이블 인코딩에서 concat

0

56

2

제2유형 질문입니다.

0

46

2

dbt의 한계점

0

105

1

강의 관련 질문

2

110

2

data 라는 폴더가 없습니다.

0

114

1

DW의 star-schema 생성

0

149

1