로컬 Windows 환경에서 Airflow DAG 파일을 만들고 Git Push를 한 후, WSL 루트경로에서 다시 Git Pull을 받아 Docker Compose up을 하는 식으로 이해했는데요. 왜 wsl에 루트경로에서 git pull을 받나요? wsl과 windows가 분리됐다고 해도 wsl에서도 windows에서 작업했던 디렉토리에 접근할 수 있지 않나요? 그러면 git pull을 굳이 하지 않아도 되지 않나요?
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 멀티 브로커 설정하는 과정에서 문제가 발생하였는데요. kafka의 server.properties 를 훑어보니 confluent.metadata.server 관련 포트로 보입니다. 강의에서는 관련 설정을 별도로 수정하지 않고 진행 해도 문제가 되지 않지만 저의 경우에는 위와 같이 예외가 발생해서 진행할 수 없었습니다. 그래서 저는 수동으로 각각 8090, 8091, 8092 로 수정하여 실행했는데 우선 실행은 잘 됩니다. 강의 진행하는데 문제는 없겠죠...? 강사님과 환경을 똑같이 설정했다고 생각했는데 왜 차이가 발생하는걸까요 ㅜ
BaseOperator 생성이 문제일까요? Invalid URL Error 가 나네요. *** Could not read served logs: Invalid URL 'http://:8793/log/dag_id=dags_seoul_api_corona/run_id=manual__2025-06-13T01:23:17.406645+00:00/task_id=tb_corona19_count_status/attempt=1.log': No host supplied
airflow 3.* 를 기준으로 data_interval_start 나 data_interval_end 모두 같은 시간이 나와서 기존 gitHub 코드로 실습하니 기대했던 것과는 다른 log 결과가 반환 되었습니다. 이럴 경우 어떻게 코드를 수정해야 하는지 가르쳐주실 수 있을까요? ( 혹시 섹션 19에서 다루셨다면 미리 사과드립니다 .. )
안녕하세요. MCP 서버를 Cursor에 등록하여 개발 연동하는 이유가 뭔가요?? 이미 Chat Prompt에서 디렉터리 내에 접근이 가능한 것으로 보여지는데 추가적으로 연동하는 이유가 궁금합니다. 강의 시점과 버전 차이가 있어서인지 코드도 다소 다른데다, 강사님 화면처럼 Filesystem은 활성화가 안 되네요..
선생님 안녕하세요 airflow 업데이트에 따라서 강의도 업데이트 해주셔서 정말 감사합니다. 이전에 한번 듣고 다시 복습해서 듣고 있는데, 정말 도움이 많이 되네요 제가 아직 2.10 부분 업데이트를 안들은 상태인데, 3.0 부분 업데이트가 새로 있더라고요. 혹시 2.10 부분 업데이트 강의는 skip하고 3.0 업데이트 부분만 들어도 괜찮을까요?
안녕하세요. 외부 DB 에 connect 하여 CDC를 통해 데이터를 가져 오는 것을 하고 있습니다. 외부에서 가져오다 보니 데이터를 보호 하고 싶다는 생각이 들었습니다. 챗 GPT 에게 우선 물어 보니 properties 설정에 security.protocol=SSL connection.url=jdbc:mysql://your.db.host:3306/yourdb?useSSL=true&requireSSL=true&verifyServerCertificate=true connection.user=db_user connection.password=db_pass 이런 설정을 하라는 답변이 왔는데, kafka 설정과, JDBC 암호를 적용 해야 한다고 합니다. 제가 잘 몰라서, 이 답변이 신뢰 할수 있는 건지 알 수가 없습니다. 1. kafka에서 암호화 하여 통신이 가능한 걸까요? 2. 암호하가 적용 된다면 kafka connect 에서 동작 원리에 도 상관없이 적용이 될까요? 외부에 kafka connect로 DB의 데이터를 가져 오는 경우가 실무 에서도 많이 있나요? 그럴 경우 데이터 암호화는 어떻게 처리 하나요?
(질문전 반드시 AI-assitant와 먼저 해결해보세요!) 1. 이 문제를 해결해보기 위해 어떤 시도를 해보셨나요? 2. 질문 내용만 보았을 때, 답변자가 질문의 의도를 쉽게 이해할 수 있는 컨텍스트가 다 들어있나요? (영상 xx:yy ~ zz:aa 부분, 시도해본 작동하는 전체 코드 등) 안녕하세요! dbt 강의 너무 재미있게 공부하고있습니다. 미국에서 공부하고 있어 dbt가 얼마나 강력하고 많은 곳에서 원하는지 몸으로 체감하고 있습니다. 혹시 궁금한 부분이 기존 ETL의 경우 Transform단에서는 데이터 전처리, 타입 변환 등이 수행되고 DW staging db 단에 load 된 후에 여기서 table간의 조인 등의 처리로 Star-schema (Fact, dimension tables) 이 개발되는 것으로 알고 있습니다. dbt의 경우 말씀해주신대로 ELT 방식으로 DW로 load된 후에 Transform되는 방식인데요. dbt가 그럼 Star-schema (Fact, dimension tables) 개발를 개발하는 단계에도 관여를 하는 걸로 이해하면될까요? (e.g. BIgQuery에서 개발되는 것이 아닌 dbt 상에서 개발하게 되는지) 답변 주시면 감사하겠습니다!
안녕하세요. email operator dag을 수행하니 다음과 같이 에러가 납니다. 아래는 제 yaml 파일 설정과 dag 파일입니다. 참고로, google 계정의 보안메뉴에서 앱 비밀번호 설정 메뉴가 조금 바뀌어서 제가 나름대로 search 하여서 앱 번호를 받았습니다. 제 dag입니다. 혹시 airflow.cfg 파일에 들어가보니 SMTP 설정이 되어 있지 않습니다. 관련이 있을까요? 에어플로우 UI 메뉴에서 admin - Connections 에 들어가보았더니 connection이 아무것도 없습니다. 도와주세요!
안녕하세요 지금 먼저 강의 듣고 진행해보고있습니다 코드관련 지금 강사님 코드와 혼동되어있는 것 같습니다 예를들어 getbalance에 보면 appkey나 appsecret 이것도 다 강사님 개인 관련 키 아닌가요? 깃에서 다운받은 코드에 개인적인 코드가 나와있는 것 같아 확인하고자 합니다 tr id부분도 선생님 개인 코드아닌지요? localhost:8000관련 run.py를 하더라도 주소창에 localhost를 검색하더라도 나오지가 않습니다 이럴경우 어떻게 해야하나요? 데이터를 계속 불러오기 하고있어서 안됩니다. 제공된 코드를 가지고 어디어디를 수정해야하는지만 강의가 있으면 좋겠습니다. 너무 번잡스럽습니다. 강사님 개인적인 코드도 섞여있어서 그런지 localhost자체도 안됩니다 run.py를 하기 위해 강의에서 한대로 cursor에 물어봤습니다. evn에먼저 api값을 넣었고 이걸 기준으로 다른 모든 코드들을 고쳐달라고 하였습니다. 그러나 데이터만 수집이 되는게 아니라 매수 매도까지 해버리네요 데이터 따로 / 매수 매도 따로 되게 하면 좋겠습니다. 지금 제가 아직 다 본게 아니다보니 모르는걸수도있는데, 자동으로 매매 되는거 말고 주가 예측까지만 하는것도 되는것인지 저는 주가를 예측하게끔 하고싶습니다. 이것도 가능한지 궁금합니다 (이건 계속 강의를 봐봐야겠지만 확인차 먼저 글 남깁니다) 먼저는 코드를 제대로 수정이 필요해보입니다 이전에 강의가 마음에 들어 오픈되자마자 구매했는데 지금 너무 아쉬운 부분들이 많습니다
강사님 airflow 설치 과정 중 example_bash_operator 의 dag 가 전혀보이지않아 문의드립니다 . 강의대로 따라하고 docker compose up 시, 정상작동을 하는 것같고 다른분들은 example_bash_operator의 dag이 잘보이는거 같은데, 저만 따로 보이지가 않네요.. 어떻게 해결을 하면 좋을까요?
질문이 있습니다. [Bash Operator & 외부 쉘파일 수행하기] 강의의 22:20 즈음에 설명해주시는 Unpaused 이후 Dag 의 자동 실행이 어떤 조건에 일어나는 지를 설명해주셨습니다. 그리고 여기서 Next Run 이후의 시간에 Unpause 를 해도, 동작 안하므로 Trigger 를 수동으로 클릭해야 된다고 알려주십니다. 그런데 이후에... [Python 오퍼레이터 기본] 강의의 10:30 즈음에 Unpause 를 누르자 자동으로 실행이 되는 걸 확인할 수 있습니다. 10:21 에는 분명 Next Run 이 2023-03-18, 06:30:00 이라서 분명 과거인데도 자동으로 시작이 되고 있습니다. Next Run 이후의 시간대에서 Unpause 를 하면 자동 실행이 안되서 Trigger 를 한번 해줘야되는 거 아니였나요? 여기서는 왜 실행이 된 건가요??
안녕하세요 선생님, 제가 선생님과 똑같은 코드로 Task 를 Trigger 를 해봤습니다. 실행도 되고 성공도 한 거 같기는 한데, 이상하게 GRID 창에서 Task 로그를 위해 클릭을 하려고 하면 저 빨간색 박스 부분이 비어있습니다. 그래서 로그를 못보고 있습니다. 혹시나 몰라 Task Graph 도 첨부합니다. 그리고 Airflow 버전은 2.10.5 를 사용중입니다.