173만명의 커뮤니티!! 함께 토론해봐요.
미해결
Airflow 마스터 클래스
섹션3. Bash operator DAG 만들기 & DAG 디렉토리 셋팅 안녕하세요, 에어플로우에 dags_bash_operator를 올리면 사진과 같이 몇 번을 시행해도 사진과 같이 실패합니다. sudo docker ps로 상태 확인해보면 별다른 문제가 없는 것 같은데, 문제의 원인이 무엇일까요?
미해결
Airflow 마스터 클래스
강의 PDF 는 있는데 실습파일은 어디에 있나요?
미해결
카프카 완벽 가이드 - 코어편
안녕하세요 강의 잘 듣고 있습니다. 다름이 아니라 제 상업적 목적이 아닌 제 개인 github에 정리 하려하는데 소스코드라던지 강의의 전반적인 설명을 정리해서 기록해도 될까요? 만약 특수 목적으로 사용한다면 구직 활동에 사용할 예정이며 출처도 남길 예정입니다.
미해결
Airflow 마스터 클래스
에어플로우 설치 중 오류가 발생해 오랜시간동안 재시도해보다가 질문 드립니다.! 아래의 오류들에 대한 원인이 무엇일지, 그리고 어떻게 해결해야 할지 궁금합니다. 1. sudo docker compose up airflow-init 해당 코드 실행 중 'The container is run as root user. For security, consider using a regular user account.' 라는 알림이 나오며, 사용자-airflow-init-1 이 아닌 airflow-init-1로 뜹니다. sudo docker compose up 해당 코드 실행 중 'airflow-apiserver-1 is unhealthy'라는 오류가 발생합니다. (이 문제로 도커 초기화 및 재설치부터 고유한 user secret key 입력 등 여러번 시도했으나, 동일한 오류가 계속 반복됩니다.) 참고로, sudo docker compose up 코드 실행 중 다음과 같은 오류들이 주로 보입니다. airflow-apiserver-1 | ValueError: The value api_auth/jwt_secret must be set! airflow-apiserver-1 | ERROR: Application startup failed. Exiting. airflow-apiserver-1 | ERROR: Traceback (most recent call last): airflow-apiserver-1 | INFO: Child process [3223] died
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
auto.commit.interval.ms 옵션의 시간이 길게 설정된 경우 강제로 서버가 종료되는 문제 발생 시 commit 누락으로 인한 중복 처리 문제가 발생할 수 있을까요?
미해결
카프카 완벽 가이드 - 코어편
실습 코드는 어디서 받나요.. 아무리 찾아도 엄네요..
해결됨
데이터 분석을 위한 파이썬: 입문부터 꿀팁까지
텍스트 셀을 누르고 # 대제목을 하면 왼쪽 상단 목차 아래에 대제목이 기록되기는 하는데 그 이후에 ## 소제목 1을 어떻게 넣는지 모르겠어요 대제목 이후에 어떤 키를 눌러야지 제목1 밑으로 들어가나요?
미해결
스파크 머신러닝 완벽 가이드 - Part 1
안녕하세요. 강사님 수업 잘 듣고있습니다. 캐글에서 위의 데이터셋을 찾을 수 없는데 혹시 해당 데이터셋을 가지고 있으실까요? 가지고 계시다면 공유를 받아볼 수 있을까요?
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요 원영님, 강의를 듣다가 궁금한 점이 생겼습니다. 1-1. 하나의 파티션은 여러 컨슈머에 할당될 수 없다고 하셨는데 엄밀히 말하면 '동일 컨슈머 그룹' 기준으로 여러 컨슈머에 할당될 수 없는게 맞을까요? 엘라스틱서치, 하둡 예제에 따르면 하나의 파티션이 엘라스틱서치,하둡 컨슈머에 할당되어 있어서요. 1-2. 컨슈머 그룹마다 동일 파티션에 대해 다른 offset를 가질까요? 엘라스틱서치, 하둡 예제를 보면 각각의 컨슈머가 동일한 파티션을 구독하고 있습니다. 만약 엘라스틱서치,하둡 컨슈머가 동일한 offset을 가진다면 어느 한쪽에서 이미 커밋한 레코드는 다른 쪽에서 poll하지 못할 것으로 예상되어 질문드립니다. 2.하나의 컨슈머가 여러 토픽을 구독하는 경우는 실무 기준으로 어떤 case가 있을지 궁금합니다. 강의 잘 듣고 있습니다. 감사합니다.
해결됨
[2026] 비전공자도 한 번에 합격하는 SQLD 올인원
2025년부터 개정되어 일부 과목이 변동되었다고 들은적이 있는데요 혹시 이 올인원 강의에도 변경된 내용이 반영되어 있을까요? 또는 추가 보충강의를 제작하실 계획이 있으실까요? 감사합니다.
해결됨
Airflow 마스터 클래스
선생님 안녕하세요 8-2 강의에서 trigger dag run 이 제대로 작동하지 않아 질문드립니다. 강의에서 제공된 코드와 똑같이 작성을 해서 dag를 만들었는데, dags_trigger_dag_run_operator는 정상 작동을 하는데, dags_python_operator가 돌아가지 않습니다. dag들은 잘 연결되어있거든요? 아래 그림에서 triggered dag 클릭하면 dags_python_operator로 넘어갑니다. 그런데 dags_python_operator에서는 실행 개수가 늘어나지 않고 그대로 입니다. 아래 그림에서 run id 에 manual 이라고 되어있는 것은 제가 이 dag를 직접 실행시켜서 그런 것이고, triggered 된 것이 아닙니다. 다만 dags_trigger_dag_run_operator 의 두번째 task에 이런 내용이 나오기는 합니다. 혹시 어떤 parameter가 좀 제대로 설정이 안되어있는 것일까요? 제 코드는 수업자료와 동일합니다.
해결됨
[2026] 비전공자도 한 번에 합격하는 SQLD 올인원
실전모의고사 5회차 다운로드 파일이 없습니다. 확인부탁드립니다.
해결됨
실리콘밸리 엔지니어와 함께하는 Apache Airflow
postgres_loader 테스트시, from airflow.providers.postgres.operators.postgres import PostgresOperator 에러가 지속되어, pache-airflow-providers-postgres 6.1.2 에서 apache-airflow-providers-postgres 5.7.0 으로 version down으로 해결하였습니다. 6.x에서 package의 변경이 있는 건지, 저희 환경문제인지 문의 드립니다.(airflow version 2.10.5, Python 3.11.9, venv 환경으로 구성)
미해결
카프카 완벽 가이드 - ksqlDB
안녕하세요. Table의 상태(Stateful) 관리 강의에서 Table을 생성하고 동일 key 값으로 insert를 하고 나면 Push 쿼리로 재조회 하였을 때 동일 key값의 최신으로 가져온다고 하셨는데요. 버전이 동일하지 않아서 그런건지 도커 환경이여서 그런건지는 모르겠지만, 동일 키값으로 insert를 하고 Push 쿼리로 조회하여도 모두 조회되는 현상은 어떤 이유일까요?
해결됨
실리콘밸리 엔지니어와 함께하는 Apache Airflow
먼저 좋은 강의 감사합니다. Airflow Limitation 내용 중 Inefficient for Short Tasks 라는 말씀 하셨는데요. 실무에서 Datapipeline 을 구성할때 해당 Task 을 잘게 자르게 되는데, 혹시 경험적으로 기준 시간은 어느 정도 수행 시간 이상으로 Task를 나눠야 효과적일까요?
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
안녕하세요. 로컬 PC에서 elasticsearch를 도커 컨테이너로 구동하고 ( elasticsearch 8버전 ) python 프로젝트 ( python 3.11 버전 ) 는 로컬 ide에서 구동했을 때는 python 프로젝트 에서 --> elasticsearch 도커 컨테이너 까지의 https 요청이 정상적으로 수행되었습니다. 그런데 python 프로젝트를 컨테이너로 띄워서 elasticsearch 도커 컨테이너로 https 요청을 보내면 [ SSL routines:ssl3_read_bytes:sslv3 alert illegal parameter ] 이런 에러가 계속 발생합니다. python 프로젝트의 openssl 버전은 1.1.1w이고 elasticsearch 프로젝트의 openssl 버전은 1.1.1f 입니다. oepnssl로 디버깅 하기위해 openssl s_client -connect inspiring_noether:9200 -tls1_2 -CAfile ./http_ca.crt 를 실행하면 아래와 같이 출력됩니다.. 디버깅으로 보면 정상 통신으로 보이는데 어떤게 문제일까요,,?ㅠ CONNECTED(00000003) Can't use SSL_get_servername depth=1 CN = Elasticsearch security auto-configuration HTTP CA verify return:1 depth=0 CN = a7cf2750c76a verify return:1 --- Certificate chain 0 s:CN = a7cf2750c76a i:CN = Elasticsearch security auto-configuration HTTP CA 1 s:CN = Elasticsearch security auto-configuration HTTP CA i:CN = Elasticsearch security auto-configuration HTTP CA --- Server certificate --- http_ca.crt 인증서 내용 ---- subject=CN = a7cf2750c76a issuer=CN = Elasticsearch security auto-configuration HTTP CA --- No client certificate CA names sent Peer signing digest: SHA256 Peer signature type: RSA-PSS Server Temp Key: X25519, 253 bits --- SSL handshake has read 6541 bytes and written 281 bytes Verification: OK --- New, TLSv1.2, Cipher is ECDHE-RSA-AES256-GCM-SHA384 Server public key is 4096 bit Secure Renegotiation IS supported Compression: NONE Expansion: NONE No ALPN negotiated SSL-Session: Protocol : TLSv1.2 Cipher : ECDHE-RSA-AES256-GCM-SHA384 Session-ID: 362F6B5369DB4D85D09490F9D30E7DF66367B120D1EDEF9DF0013644F1D0FCA8 Session-ID-ctx: Master-Key: 5C3994FFD364BFF28A8990102CA6EDCC99D9F8AEBD0B9E2905DA3F9B6BE1CF3F8787648205B6F46AD3D1D8CA7A7EEA02 PSK identity: None PSK identity hint: None SRP username: None TLS session ticket lifetime hint: 86400 (seconds) TLS session ticket: ----- session ticket 내용 ----- Start Time: 1744073205 Timeout : 7200 (sec) Verify return code: 0 (ok) Extended master secret: yes
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요 좋은 강의 감사합니다. 말씀주신 카프카의 중요 개념적인 것들 (컨슈머, 프로듀서 등등) 이 자바에 국한된 것이라고 하셨었잖아요. 예를 들어 js 같은 것들은 third party 로 구분되기에 카프카의 모든 것들이 포함안될 수도 있다구요~! 그렇다면 당연히 kotlin 도 java 랑 동일하다고 보면 되겠죠? 감사합니다.
미해결
Airflow 마스터 클래스
강사님 안녕하세요. airflow의 rest api를 이용하여 task를 재실행하는 코드를 개발하는 중 궁금한 점이 생겨서 문의드립니다. (참고로 실행환경은 회사pc입니다) ~/v1/dags/{dag_id}/dagRuns/{execution_date}/taskInstances/{task_id}/clear 위와같이 특정 task의 실행 시간으로 실행하면 404에러가 뜨고 "detail": "The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.", "status": 404, "title": "Not Found", "type": "about:blank" REST-API문서를 살펴보니 clearTaskInstances가 있어서 ~/api/v1/dags/{dag_id}/clearTaskInstances 이렇게 조회하면 405 에러가 뜹니다. "detail": "The method is not allowed for the requested URL.", "status": 405, "title": "Method Not Allowed", "type": "about:blank" /clear이든 /clearTaskInstances 둘다 작동하지 않은데, 방법이 있을까요? 두번째의 경우 서버에서 작동을 막는것일까요?
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
파일을 불러오는 중 오류가 발생했습니다. 파일을 찾지 못했습니다. 파일이 존재하지 않거나 읽기 권한이 없습니다. 라고 뜨는데, 파일이 없는 거 아닌가요? 권한은 전부 부여되어있는 상태입니다. 그리고 보니까 이미지 상으로는 diagrams.net 인데 지금은 draw.io 로 바뀌어있더라고요. 이거 관련해서 관리자분이 설정을 따로 해주셔야 하는 거 아닌지... 조심스럽게 확인 요청 드립니다.
미해결
카프카 완벽 가이드 - 코어편
안녕하세요 해당 강의듣고 있는데 Java 기반에서 Producer 구현하기02를 보고 카프카 브로커에 메시지를 보냈습니다. 환경은 다음과 같습니다. 카프카 브로커: ec2 환경 (포트 열린건 확인했슴니당..) 카프카 컨플루언트 7.1.2 프로듀서: 로컬환경(맥) 카프카클라이언트 3.1.0 프로듀서(로컬)에서 메시지 send를 하면 java.nio.BufferUnderflowException해당 에러만 발생합니다. [kafka-producer-network-thread | producer-1] ERROR org.apache.kafka.clients.producer.internals.Sender - [Producer clientId=producer-1] Uncaught error in kafka producer I/O thread: java.lang.IllegalStateException: There are no in-flight requests for node 1 at org.apache.kafka.clients.InFlightRequests.requestQueue(InFlightRequests.java:62) at org.apache.kafka.clients.InFlightRequests.completeNext(InFlightRequests.java:70) at org.apache.kafka.clients.NetworkClient.handleCompletedReceives(NetworkClient.java:872) at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:569) at org.apache.kafka.clients.producer.internals.Sender.runOnce(Sender.java:328) at org.apache.kafka.clients.producer.internals.Sender.run (Sender.java:243) at java.base/ java.lang.Thread.run (Thread.java:833) [kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Node 1 disconnected. 해당 에러가 반복되고있고. 해결방법을 못찾겠네요 ㅠㅠ 트러블슈팅해봐도 감을 못잡겠어서 도움요청드려요.. 카프카 브로커를 도커로 띄워놓고 logs로 보는데, 아무런 로그가 생성되지않고 있습니다! 제대로 send되는 것 같지 않아서 뭘 봐야되는지 모르겠네요..
