묻고 답해요
160만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결dbt, 데이터 분석 엔지니어링의 새로운 표준
dbt의 한계점
안녕하세요, 강사님이 실무에서 dbt를 사용하시면서 느끼신 단점 혹은 한계점이 어떤 게 있는지 궁금합니다.예시로, connection은 너무나 많고, 각각의 구현에 의존하다 보니 생기는 불편한 점이 종종 있습니다. GCP BigQuery의 경우 custom labeling이 dataset 단위는 불가능, table 단위로만 가능하기 때문에 dataset 단위로 cost가 측정되는 GCP 특정 상 custom label 단위로 cost breakdown이 어려워진다는 한계점이 있습니다. (as of 2025.10)
-
미해결dbt, 데이터 분석 엔지니어링의 새로운 표준
강의 관련 질문
안녕하세요 강사님dbt랑 airflow를 현재 수강중인 직장인입니다.배울수록 굉장히 활용범위가 넓은 툴이라고 생각이 됩니다. 두가지 질문 드리고 싶은데요1) 현재 저는 dbt+Airflow 기반으로 CRM 분석 마트 테이블을 팀에 적용하려고 하고 있습니다. 현재 raw테이블을 자동화해서 airflow로 db에 적재하여 사용하고 있는데요, 조인 결합, 가공을 통한 2차, 3차 테이블들은 현재 수동으로 만들어지고 있고 이를 자동화하려고 하고 있는데 현재 운영 및 성과 분석을 위한 너무 많은 테이블이 생기면서 점점 복잡해지고 있어 처음 만든 저도 헷갈려지는 단계에 왔는데...설계 관리(테이블간 관계, 단계로직을 정리하여 적재)하는 것에 대한 노하우가 있으신지 궁금합니다. 그리고 설계 이후 dbt로 만든 모델을 팀원들(분석가나 마케터) 쉽게 활용할 수 있게 하려면, 어떤 방식으로 문서화나 공유를 하시나요?2) Airflow DAG에서 dbt run/test를 통합할 때, 실행 단위를 모델 단위로 쪼개는 게 좋은가요, 아니면 전체 프로젝트 단위로 돌리는 게 좋은가요?
-
미해결dbt, 데이터 분석 엔지니어링의 새로운 표준
data 라는 폴더가 없습니다.
(질문전 반드시 AI-assitant와 먼저 해결해보세요!)1. 이 문제를 해결해보기 위해 어떤 시도를 해보셨나요?모든 폴더 탐색(seeds를 이용하려고 하지만 일부 컬럼차이발생) 2. 질문 내용만 보았을 때, 답변자가 질문의 의도를 쉽게 이해할 수 있는 컨텍스트가 다 들어있나요? (영상 xx:yy ~ zz:aa 부분, 시도해본 작동하는 전체 코드 등)
-
미해결dbt, 데이터 분석 엔지니어링의 새로운 표준
DW의 star-schema 생성
(질문전 반드시 AI-assitant와 먼저 해결해보세요!)1. 이 문제를 해결해보기 위해 어떤 시도를 해보셨나요?2. 질문 내용만 보았을 때, 답변자가 질문의 의도를 쉽게 이해할 수 있는 컨텍스트가 다 들어있나요? (영상 xx:yy ~ zz:aa 부분, 시도해본 작동하는 전체 코드 등) 안녕하세요! dbt 강의 너무 재미있게 공부하고있습니다.미국에서 공부하고 있어 dbt가 얼마나 강력하고 많은 곳에서 원하는지 몸으로 체감하고 있습니다.혹시 궁금한 부분이 기존 ETL의 경우 Transform단에서는 데이터 전처리, 타입 변환 등이 수행되고 DW staging db 단에 load 된 후에 여기서 table간의 조인 등의 처리로 Star-schema (Fact, dimension tables) 이 개발되는 것으로 알고 있습니다.dbt의 경우 말씀해주신대로 ELT 방식으로 DW로 load된 후에 Transform되는 방식인데요.dbt가 그럼 Star-schema (Fact, dimension tables) 개발를 개발하는 단계에도 관여를 하는 걸로 이해하면될까요? (e.g. BIgQuery에서 개발되는 것이 아닌 dbt 상에서 개발하게 되는지)답변 주시면 감사하겠습니다!