안녕하세요! 먼저 수업 잘 듣고 있습니다 :) 현재 section 6까지 완강하였습니다.32강 varible 실습 코드부터 airflow에 올라오지 않는 것 같습니다. git push와 git pull 완료 후, wsl에 dags 폴더 내에 해당 코드들이 있는 건 확인했습니다.하루에 정해진 작업량이 있어서 그런건지 여쭤보고 싶습니다.compose down 시키고 다시 airflow 올려도 똑같이 현시가 안되는 상황입니다....ㅠ

안녕하세요,강의를 듣기 전에 몇 가지 여쭙고자 합니다.self-host로 kafka-connect를 운영중이라고 할때, 커넥터(Connectors)는 직접 개발해야 하는지 궁금합니다. 특히 GCS로 데이터를 싱크하는 작업을 계획 중인데, Confluent Hub에서 제공하는 커넥터는 self-hosted 환경에 적용하기 어려운 라이선스 제약이 있는 것 같습니다.이러한 경우 모범 사례(best practice)는 무엇인지, 아니면 직접 커넥터를 구현하는 방법 외에는 선택지가 없는지 조언 부탁드립니다.감사합니다.

몇시간째 이유를 모르겠네요. 아래와 같은 에러로 airflow에서 postresql로 접속이 안되는것 같습니다.File "/opt/airflow/dags/dags_python_with_postgres.py", line 17, in insrt_postgreswith closing(psycopg2.connect(host=ip, dbname=dbname, user=user, password=passwd, port=int(port))) as conn:^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^File "/home/airflow/.local/lib/python3.12/site-packages/psycopg2/__init__.py", line 122, in connectconn = connect(dsn, connectionfactory=connection_factory, **kwasync)^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^psycopg2.OperationalError: connection to server at "172.28.0.3", port 5432 failed: Connection timed outIs the server running on that host and accepting TCP/IP connections? from airflow import DAG import pendulum from airflow.operators.python import PythonOperator with DAG( dag_id='dags_python_with_postgres', start_date=pendulum.datetime(2023,4,1, tz='Asia/Seoul'), schedule=None, catchup=False ) as dag: def insrt_postgres(ip, port, dbname, user, passwd, **kwargs): import psycopg2 from contextlib import closing with closing(psycopg2.connect(host=ip, dbname=dbname, user=user, password=passwd, port=int(port))) as conn: with closing(conn.cursor()) as cursor: dag_id = kwargs.get('ti').dag_id task_id = kwargs.get('ti').task_id run_id = kwargs.get('ti').run_id msg = 'insrt 수행' sql = 'insert into py_opr_drct_insrt values (%s,%s,%s,%s);' cursor.execute(sql,(dag_id,task_id,run_id,msg)) conn.commit() insrt_postgres = PythonOperator( task_id='insrt_postgres', python_callable=insrt_postgres, op_args=['172.28.0.3', '5432', 'emuce', 'emuce', 'emuce'] ) insrt_postgres 

안녕하세요, 강의 수강중인 학생입니다.정렬 과정에서 NULL 값이 있으면, 오름차순은 맨 아래로, 내림차순은 맨 위로라고 교재에 작성되어 있는데, 문제 풀이에는 그 기준이 적용되는 것 같지 않아 정확하게 알고 싶습니다.

안녕하세요! 기본적인 질문인데..titanic_train.csv 로드하는 방법 중 아래 과정중 마지막 과정 다음으로 어떻게 해야하나요? 영상 상 별다른 버튼 클릭(Create Table with UI나 Create Table in Notebook) 및 저장 없이 진행 된 듯 보이는데, 그냥 두 번째 캡처본의 'Create Table in Notebook' 누르니까 코드가 실행 되며 display, show등 작동은 합니다.   기본 디폴트 데이터 경로가 /FileStore/tables/ 인 건가요?? 로드한 titani_train.csv 이런 데이터 목록을 어디에서 볼 수 있을 지도 여쭙니다. 좌측 메뉴에서 Catalog 누르면 캡처본처럼 Data라는게 뜨는데 아무런 테이블(데이터)가 없다고 뜨네요.. 근데 코드는 실행이 되니 어찌 된 건 지 잘 모르겠습니다ㅜㅡㅜ 

안녕하세요, 최근에 airflow를 공부해보려고 해당 인강을 구매했는데,airflow3버전 인강 업데이트 예정이라는 공지를 보고, 대기 중에 있습니다.혹시 언제쯤 업데이트 될 예정인지 알 수 있을까요?아니면 우선 airflow2 버전으로라도 보는게 나을까요?

안녕하세요 강사님, 열심히 강의 잘 듣고 있습니다.정규표현식 핵심문제를 풀어보고 있는데문제와 문제의 정답, 해설이 일치하지 않는거 같습니다. 1. SQL에서 정규 표현식(Regular Expression)의 주요 목적은 무엇인가? ① 데이터를 그룹화하여 평균 값을 계산한다. ② 문자열 데이터를 특정 패턴으로 검색, 매칭 및 수정한다. ③ 데이터를 특정 열 기준으로 정렬한다. ④ 테이블 구조를 변경한다. 해당 문제는 정규 표현의 목적에 대해서 묻는 문제인데 해당 문제의 정답 및 해답에서는 정규 표현식 ^에 대한 해설이 나와 있는 등 해당 핵심문제들의 문제와 정답 해설이 일치하지 않는거 같습니다. 확인 부탁드립니다.

강의에서 새로운 클러스터 생성할 때 10.0 ML (includes Apache Spark 3.2.0, Scala 2.12) 로 설정하시잖아요..!아무래도 강의 생성 시기랑 연도 차이가 나다보니 지금은 해당 버전은 안 뜨는데 10.4 LTS ML로 해도 무방할까요?? 아래 스크린샷처럼 more 버튼도 없어서 구버전 생성에 어려움을 겪고 있습니다ㅜ (UI가 많이 다르지만, community.cloud.databricks.com 으로 접속한 페이지 맞습니다...!) 

kafka-consumer-groups 명령어로 Consumer Group과 Consumer, Lag 정보 확인하기 강의 듣다가 질문이 생겼습니다! 메시지 2000개를 Consumer가 없는 상황에서 전송을 한 상황에서 질문이 있습니다. 이전 강의에서 파티션별로 Consumer가 할당되어 메시지를 Consume 한다고 이해 했는데요. 이러한 원리일 때 2000개의 메시지가 들어온다면 Lag이 파티션별로 골고루 2000개가 분배되거나 총합이 2000개일 것이라고 생각했습니다. 그런데 파티션 3개 각각 1300개의 Lag이 있는 것을 확인할 수 있었는데 어떤 이유에서 약 1300개가 나온 것인지 궁금합니다!

섹션3. Bash operator DAG 만들기 & DAG 디렉토리 셋팅안녕하세요, 에어플로우에 dags_bash_operator를 올리면 사진과 같이 몇 번을 시행해도 사진과 같이 실패합니다.sudo docker ps로 상태 확인해보면 별다른 문제가 없는 것 같은데, 문제의 원인이 무엇일까요?

강의 PDF 는 있는데 실습파일은 어디에 있나요?

안녕하세요 강의 잘 듣고 있습니다. 다름이 아니라 제 상업적 목적이 아닌 제 개인 github에 정리 하려하는데 소스코드라던지 강의의 전반적인 설명을 정리해서 기록해도 될까요? 만약 특수 목적으로 사용한다면 구직 활동에 사용할 예정이며 출처도 남길 예정입니다.

에어플로우 설치 중 오류가 발생해 오랜시간동안 재시도해보다가 질문 드립니다.!아래의 오류들에 대한 원인이 무엇일지, 그리고 어떻게 해결해야 할지 궁금합니다.1. sudo docker compose up airflow-init해당 코드 실행 중 'The container is run as root user. For security, consider using a regular user account.' 라는 알림이 나오며, 사용자-airflow-init-1 이 아닌 airflow-init-1로 뜹니다. sudo docker compose up해당 코드 실행 중 'airflow-apiserver-1 is unhealthy'라는 오류가 발생합니다. (이 문제로 도커 초기화 및 재설치부터 고유한 user secret key 입력 등 여러번 시도했으나, 동일한 오류가 계속 반복됩니다.)참고로, sudo docker compose up 코드 실행 중 다음과 같은 오류들이 주로 보입니다.airflow-apiserver-1 | ValueError: The value api_auth/jwt_secret must be set!airflow-apiserver-1 | ERROR: Application startup failed. Exiting.airflow-apiserver-1 | ERROR: Traceback (most recent call last):airflow-apiserver-1 | INFO: Child process [3223] died   

auto.commit.interval.ms 옵션의 시간이 길게 설정된 경우 강제로 서버가 종료되는 문제 발생 시 commit 누락으로 인한 중복 처리 문제가 발생할 수 있을까요?

실습 코드는 어디서 받나요.. 아무리 찾아도 엄네요..

 텍스트 셀을 누르고 # 대제목을 하면왼쪽 상단 목차 아래에 대제목이 기록되기는 하는데그 이후에 ## 소제목 1을 어떻게 넣는지 모르겠어요대제목 이후에 어떤 키를 눌러야지 제목1 밑으로 들어가나요?

안녕하세요. 강사님 수업 잘 듣고있습니다.캐글에서 위의 데이터셋을 찾을 수 없는데 혹시 해당 데이터셋을 가지고 있으실까요?가지고 계시다면 공유를 받아볼 수 있을까요?   

안녕하세요 원영님, 강의를 듣다가 궁금한 점이 생겼습니다.1-1. 하나의 파티션은 여러 컨슈머에 할당될 수 없다고 하셨는데 엄밀히 말하면 '동일 컨슈머 그룹' 기준으로 여러 컨슈머에 할당될 수 없는게 맞을까요?엘라스틱서치, 하둡 예제에 따르면 하나의 파티션이 엘라스틱서치,하둡 컨슈머에 할당되어 있어서요.1-2. 컨슈머 그룹마다 동일 파티션에 대해 다른 offset를 가질까요?엘라스틱서치, 하둡 예제를 보면 각각의 컨슈머가 동일한 파티션을 구독하고 있습니다. 만약 엘라스틱서치,하둡 컨슈머가 동일한 offset을 가진다면 어느 한쪽에서 이미 커밋한 레코드는 다른 쪽에서 poll하지 못할 것으로 예상되어 질문드립니다.2.하나의 컨슈머가 여러 토픽을 구독하는 경우는 실무 기준으로 어떤 case가 있을지 궁금합니다. 강의 잘 듣고 있습니다. 감사합니다.

2025년부터 개정되어 일부 과목이 변동되었다고 들은적이 있는데요혹시 이 올인원 강의에도 변경된 내용이 반영되어 있을까요?또는 추가 보충강의를 제작하실 계획이 있으실까요?감사합니다.

선생님 안녕하세요8-2 강의에서 trigger dag run 이 제대로 작동하지 않아 질문드립니다. 강의에서 제공된 코드와 똑같이 작성을 해서 dag를 만들었는데, dags_trigger_dag_run_operator는 정상 작동을 하는데, dags_python_operator가 돌아가지 않습니다. dag들은 잘 연결되어있거든요? 아래 그림에서 triggered dag 클릭하면 dags_python_operator로 넘어갑니다.그런데 dags_python_operator에서는 실행 개수가 늘어나지 않고 그대로 입니다. 아래 그림에서 run id 에 manual 이라고 되어있는 것은 제가 이 dag를 직접 실행시켜서 그런 것이고, triggered 된 것이 아닙니다. 다만 dags_trigger_dag_run_operator 의 두번째 task에 이런 내용이 나오기는 합니다.혹시 어떤 parameter가 좀 제대로 설정이 안되어있는 것일까요? 제 코드는 수업자료와 동일합니다.