안녕하세요, 최근에 airflow를 공부해보려고 해당 인강을 구매했는데,airflow3버전 인강 업데이트 예정이라는 공지를 보고, 대기 중에 있습니다.혹시 언제쯤 업데이트 될 예정인지 알 수 있을까요?아니면 우선 airflow2 버전으로라도 보는게 나을까요?

안녕하세요 강사님, 열심히 강의 잘 듣고 있습니다.정규표현식 핵심문제를 풀어보고 있는데문제와 문제의 정답, 해설이 일치하지 않는거 같습니다. 1. SQL에서 정규 표현식(Regular Expression)의 주요 목적은 무엇인가? ① 데이터를 그룹화하여 평균 값을 계산한다. ② 문자열 데이터를 특정 패턴으로 검색, 매칭 및 수정한다. ③ 데이터를 특정 열 기준으로 정렬한다. ④ 테이블 구조를 변경한다. 해당 문제는 정규 표현의 목적에 대해서 묻는 문제인데 해당 문제의 정답 및 해답에서는 정규 표현식 ^에 대한 해설이 나와 있는 등 해당 핵심문제들의 문제와 정답 해설이 일치하지 않는거 같습니다. 확인 부탁드립니다.

강의에서 새로운 클러스터 생성할 때 10.0 ML (includes Apache Spark 3.2.0, Scala 2.12) 로 설정하시잖아요..!아무래도 강의 생성 시기랑 연도 차이가 나다보니 지금은 해당 버전은 안 뜨는데 10.4 LTS ML로 해도 무방할까요?? 아래 스크린샷처럼 more 버튼도 없어서 구버전 생성에 어려움을 겪고 있습니다ㅜ (UI가 많이 다르지만, community.cloud.databricks.com 으로 접속한 페이지 맞습니다...!) 

kafka-consumer-groups 명령어로 Consumer Group과 Consumer, Lag 정보 확인하기 강의 듣다가 질문이 생겼습니다! 메시지 2000개를 Consumer가 없는 상황에서 전송을 한 상황에서 질문이 있습니다. 이전 강의에서 파티션별로 Consumer가 할당되어 메시지를 Consume 한다고 이해 했는데요. 이러한 원리일 때 2000개의 메시지가 들어온다면 Lag이 파티션별로 골고루 2000개가 분배되거나 총합이 2000개일 것이라고 생각했습니다. 그런데 파티션 3개 각각 1300개의 Lag이 있는 것을 확인할 수 있었는데 어떤 이유에서 약 1300개가 나온 것인지 궁금합니다!

섹션3. Bash operator DAG 만들기 & DAG 디렉토리 셋팅안녕하세요, 에어플로우에 dags_bash_operator를 올리면 사진과 같이 몇 번을 시행해도 사진과 같이 실패합니다.sudo docker ps로 상태 확인해보면 별다른 문제가 없는 것 같은데, 문제의 원인이 무엇일까요?

강의 PDF 는 있는데 실습파일은 어디에 있나요?

안녕하세요 강의 잘 듣고 있습니다. 다름이 아니라 제 상업적 목적이 아닌 제 개인 github에 정리 하려하는데 소스코드라던지 강의의 전반적인 설명을 정리해서 기록해도 될까요? 만약 특수 목적으로 사용한다면 구직 활동에 사용할 예정이며 출처도 남길 예정입니다.

에어플로우 설치 중 오류가 발생해 오랜시간동안 재시도해보다가 질문 드립니다.!아래의 오류들에 대한 원인이 무엇일지, 그리고 어떻게 해결해야 할지 궁금합니다.1. sudo docker compose up airflow-init해당 코드 실행 중 'The container is run as root user. For security, consider using a regular user account.' 라는 알림이 나오며, 사용자-airflow-init-1 이 아닌 airflow-init-1로 뜹니다. sudo docker compose up해당 코드 실행 중 'airflow-apiserver-1 is unhealthy'라는 오류가 발생합니다. (이 문제로 도커 초기화 및 재설치부터 고유한 user secret key 입력 등 여러번 시도했으나, 동일한 오류가 계속 반복됩니다.)참고로, sudo docker compose up 코드 실행 중 다음과 같은 오류들이 주로 보입니다.airflow-apiserver-1 | ValueError: The value api_auth/jwt_secret must be set!airflow-apiserver-1 | ERROR: Application startup failed. Exiting.airflow-apiserver-1 | ERROR: Traceback (most recent call last):airflow-apiserver-1 | INFO: Child process [3223] died   

auto.commit.interval.ms 옵션의 시간이 길게 설정된 경우 강제로 서버가 종료되는 문제 발생 시 commit 누락으로 인한 중복 처리 문제가 발생할 수 있을까요?

실습 코드는 어디서 받나요.. 아무리 찾아도 엄네요..

 텍스트 셀을 누르고 # 대제목을 하면왼쪽 상단 목차 아래에 대제목이 기록되기는 하는데그 이후에 ## 소제목 1을 어떻게 넣는지 모르겠어요대제목 이후에 어떤 키를 눌러야지 제목1 밑으로 들어가나요?

안녕하세요. 강사님 수업 잘 듣고있습니다.캐글에서 위의 데이터셋을 찾을 수 없는데 혹시 해당 데이터셋을 가지고 있으실까요?가지고 계시다면 공유를 받아볼 수 있을까요?   

안녕하세요 원영님, 강의를 듣다가 궁금한 점이 생겼습니다.1-1. 하나의 파티션은 여러 컨슈머에 할당될 수 없다고 하셨는데 엄밀히 말하면 '동일 컨슈머 그룹' 기준으로 여러 컨슈머에 할당될 수 없는게 맞을까요?엘라스틱서치, 하둡 예제에 따르면 하나의 파티션이 엘라스틱서치,하둡 컨슈머에 할당되어 있어서요.1-2. 컨슈머 그룹마다 동일 파티션에 대해 다른 offset를 가질까요?엘라스틱서치, 하둡 예제를 보면 각각의 컨슈머가 동일한 파티션을 구독하고 있습니다. 만약 엘라스틱서치,하둡 컨슈머가 동일한 offset을 가진다면 어느 한쪽에서 이미 커밋한 레코드는 다른 쪽에서 poll하지 못할 것으로 예상되어 질문드립니다.2.하나의 컨슈머가 여러 토픽을 구독하는 경우는 실무 기준으로 어떤 case가 있을지 궁금합니다. 강의 잘 듣고 있습니다. 감사합니다.

2025년부터 개정되어 일부 과목이 변동되었다고 들은적이 있는데요혹시 이 올인원 강의에도 변경된 내용이 반영되어 있을까요?또는 추가 보충강의를 제작하실 계획이 있으실까요?감사합니다.

선생님 안녕하세요8-2 강의에서 trigger dag run 이 제대로 작동하지 않아 질문드립니다. 강의에서 제공된 코드와 똑같이 작성을 해서 dag를 만들었는데, dags_trigger_dag_run_operator는 정상 작동을 하는데, dags_python_operator가 돌아가지 않습니다. dag들은 잘 연결되어있거든요? 아래 그림에서 triggered dag 클릭하면 dags_python_operator로 넘어갑니다.그런데 dags_python_operator에서는 실행 개수가 늘어나지 않고 그대로 입니다. 아래 그림에서 run id 에 manual 이라고 되어있는 것은 제가 이 dag를 직접 실행시켜서 그런 것이고, triggered 된 것이 아닙니다. 다만 dags_trigger_dag_run_operator 의 두번째 task에 이런 내용이 나오기는 합니다.혹시 어떤 parameter가 좀 제대로 설정이 안되어있는 것일까요? 제 코드는 수업자료와 동일합니다. 

실전모의고사 5회차 다운로드 파일이 없습니다.확인부탁드립니다.

postgres_loader 테스트시,from airflow.providers.postgres.operators.postgres import PostgresOperator에러가 지속되어,pache-airflow-providers-postgres 6.1.2에서apache-airflow-providers-postgres 5.7.0으로 version down으로 해결하였습니다. 6.x에서 package의 변경이 있는 건지, 저희 환경문제인지 문의 드립니다.(airflow version 2.10.5, Python 3.11.9, venv 환경으로 구성)

안녕하세요.Table의 상태(Stateful) 관리 강의에서Table을 생성하고 동일 key 값으로 insert를 하고 나면 Push 쿼리로 재조회 하였을 때 동일 key값의 최신으로 가져온다고 하셨는데요.버전이 동일하지 않아서 그런건지 도커 환경이여서 그런건지는 모르겠지만, 동일 키값으로 insert를 하고 Push 쿼리로 조회하여도 모두 조회되는 현상은 어떤 이유일까요?

먼저 좋은 강의 감사합니다.Airflow Limitation 내용 중 Inefficient for Short Tasks 라는 말씀 하셨는데요. 실무에서 Datapipeline 을 구성할때 해당 Task 을 잘게 자르게 되는데, 혹시 경험적으로 기준 시간은 어느 정도 수행 시간 이상으로 Task를 나눠야 효과적일까요? 

안녕하세요. 로컬 PC에서 elasticsearch를 도커 컨테이너로 구동하고 ( elasticsearch 8버전 ) python 프로젝트 ( python 3.11 버전 ) 는 로컬 ide에서 구동했을 때는 python 프로젝트 에서 --> elasticsearch 도커 컨테이너 까지의 https 요청이 정상적으로 수행되었습니다. 그런데 python 프로젝트를 컨테이너로 띄워서 elasticsearch 도커 컨테이너로 https 요청을 보내면 [ SSL routines:ssl3_read_bytes:sslv3 alert illegal parameter ] 이런 에러가 계속 발생합니다.python 프로젝트의 openssl 버전은 1.1.1w이고 elasticsearch 프로젝트의 openssl 버전은 1.1.1f 입니다. oepnssl로 디버깅 하기위해 openssl s_client -connect inspiring_noether:9200 -tls1_2 -CAfile ./http_ca.crt 를 실행하면 아래와 같이 출력됩니다.. 디버깅으로 보면 정상 통신으로 보이는데 어떤게 문제일까요,,?ㅠCONNECTED(00000003) Can't use SSL_get_servername depth=1 CN = Elasticsearch security auto-configuration HTTP CA verify return:1 depth=0 CN = a7cf2750c76a verify return:1 --- Certificate chain 0 s:CN = a7cf2750c76a i:CN = Elasticsearch security auto-configuration HTTP CA 1 s:CN = Elasticsearch security auto-configuration HTTP CA i:CN = Elasticsearch security auto-configuration HTTP CA --- Server certificate --- http_ca.crt 인증서 내용 ---- subject=CN = a7cf2750c76a issuer=CN = Elasticsearch security auto-configuration HTTP CA --- No client certificate CA names sent Peer signing digest: SHA256 Peer signature type: RSA-PSS Server Temp Key: X25519, 253 bits --- SSL handshake has read 6541 bytes and written 281 bytes Verification: OK --- New, TLSv1.2, Cipher is ECDHE-RSA-AES256-GCM-SHA384 Server public key is 4096 bit Secure Renegotiation IS supported Compression: NONE Expansion: NONE No ALPN negotiated SSL-Session: Protocol : TLSv1.2 Cipher : ECDHE-RSA-AES256-GCM-SHA384 Session-ID: 362F6B5369DB4D85D09490F9D30E7DF66367B120D1EDEF9DF0013644F1D0FCA8 Session-ID-ctx: Master-Key: 5C3994FFD364BFF28A8990102CA6EDCC99D9F8AEBD0B9E2905DA3F9B6BE1CF3F8787648205B6F46AD3D1D8CA7A7EEA02 PSK identity: None PSK identity hint: None SRP username: None TLS session ticket lifetime hint: 86400 (seconds) TLS session ticket: ----- session ticket 내용 ----- Start Time: 1744073205 Timeout : 7200 (sec) Verify return code: 0 (ok) Extended master secret: yes