DeepingSauce

1) 현재 저는 dbt+Airflow 기반으로 CRM 분석 마트 테이블을 팀에 적용하려고 하고 있습니다. 현재 raw테이블을 자동화해서 airflow로 db에 적재하여 사용하고 있는데요, 조인 결합, 가공을 통한 2차, 3차 테이블들은 현재 수동으로 만들어지고 있고 이를 자동화하려고 하고 있는데 현재 운영 및 성과 분석을 위한 너무 많은 테이블이 생기면서 점점 복잡해지고 있어 처음 만든 저도 헷갈려지는 단계에 왔는데...설계 관리(테이블간 관계, 단계로직을 정리하여 적재)하는 것에 대한 노하우가 있으신지 궁금합니다. 그리고 설계 이후 dbt로 만든 모델을 팀원들(분석가나 마케터) 쉽게 활용할 수 있게 하려면, 어떤 방식으로 문서화나 공유를 하시나요?--> 노하우는 아무래도 말씀하신 것처럼 "굉장히 활용범위가 넓은 툴"이다보니, 절대적인 방법은 없는 것 같습니다. 상황에 따라 너무 많은 노하우가 있어서 뭘 공유드려야할지 모르겠네요. dbt는 말그대로 'tool(도구)'이기 때문에, 그 전에 정보계에서의 데이터의 logical modeling과 layer에 대한 설계, 그리고 데이터 공급/사용 방식에 대한 정책 수립이 가장 최우선이고, 이를 빠르게 실행하고 쉽게 관리할 수 있게 하는게 dbt라고 생각합니다. 팀원들(분석가나 마케터) 쉽게 활용하도록 가이드를 주는것은 저도 아직 많이 고민하고 있는 문제이기도 합니다. 가능한 GUI를 제공하는 것, 이를 통한 백그라운드에서의 자동화(encapsulation)가 사실상 핵심이긴한 것 같아요. 그래서 streamlit 통해서 필요한 툴이나 아이디어를 빠르게 delivery 해보고, 서버화가 필요하면 간단하게 앱으로도 구축하면 좋은 것 같습니다. 마치 dbt cloud를 직접 만드는 느낌 처럼요. 2) Airflow DAG에서 dbt run/test를 통합할 때, 실행 단위를 모델 단위로 쪼개는 게 좋은가요, 아니면 전체 프로젝트 단위로 돌리는 게 좋은가요?정답은 없습니다. 상황에 따라 너무 다른 문제이기 때문에, 주어진 상황에서 여러 방식을 시도해보면서 각각의 장단점을 비교해볼 수 밖에 없는 문제에요..

강의 관련 질문

<a target="_blank" rel="noopener noreferrer nofollow" href="https://github.com/ultrafunkamsterdam/undetected-chromedriver">https://github.com/ultrafunkamsterdam/undetected-chromedriver</a> 이걸 한번 써보시겠어요?

6.1 미국주식 데이터 크롤링이 막혔네요.

<ul><li><a target="_blank" rel="noopener noreferrer nofollow" class="reference external" href="https://docs.anaconda.com/miniconda/">Miniconda installer for Windows </a> 로 진행하시면 되겠습니다</li></ul>

아나콘다 윈도우즈 설치 시, 다른 설치만 보입니다.

향후 deprecation에 대한 warning(error 아님)으로 보여집니다. 설치는 잘 된걸로 보이네요

extension 설치 시 오류 문의

안녕하세요. 최근 강의자료를 수정하면서 제가 누락을 한것 같네요. 재업로드 완료했습니다.해당 데이터는 사실상 seeds/ 에 있는 데이터와 같은 데이터입니다. 컬럼의 경우 market_cap 컬럼이 없는데, 이는 무시하셔도 수업진행하는데에 무방합니다. 감사합니다

data 라는 폴더가 없습니다.

네, 이게 팀이나 사용방식에 따라 차이가 있겠지만, 저 같은 경우는 dbt 를 이용해서 modeling 까지 가미해서 warehouse를 구축합니다. 실제 source로 등록되는 데이터들이 f/d 형태의 데이터가 아닌, 실제 서비스 운영에 특화된 데이터 포멧이라, dbt를 이용해서 f/d 모델링은 높은 확률로 다 하게되는 것 같아요

DW의 star-schema 생성

<code>headers</code>에 대한 값도 네트워크탭 통해서 확인해서 넣어보셨나요?

6.1 미국 주식 데이터 크롤링을 막아둔 거 같아요.

아나콘다 프롬프트에서 모듈이 실행이 안되어요

requirements.txt의 숫자로된 버전정보를 제거하고 라이브러리이름만 남긴상태로 다시 진행해보시겠어요?

requirements.txt 다운로드가 안끝나요

윈도우에서는 open 명렁어가 안먹혀서 탐색기 등의 응용프로그램으로 여셔야합니다

DeepingSauce

Posts