안녕하세요 좋은 강의 감사합니다.말씀주신 카프카의 중요 개념적인 것들 (컨슈머, 프로듀서 등등) 이 자바에 국한된 것이라고 하셨었잖아요.예를 들어 js 같은 것들은 third party 로 구분되기에 카프카의 모든 것들이 포함안될 수도 있다구요~!그렇다면 당연히 kotlin 도 java 랑 동일하다고 보면 되겠죠? 감사합니다.

강사님 안녕하세요. airflow의 rest api를 이용하여 task를 재실행하는 코드를 개발하는 중 궁금한 점이 생겨서 문의드립니다. (참고로 실행환경은 회사pc입니다) ~/v1/dags/{dag_id}/dagRuns/{execution_date}/taskInstances/{task_id}/clear위와같이 특정 task의 실행 시간으로 실행하면 404에러가 뜨고 "detail": "The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.", "status": 404, "title": "Not Found", "type": "about:blank" REST-API문서를 살펴보니 clearTaskInstances가 있어서~/api/v1/dags/{dag_id}/clearTaskInstances이렇게 조회하면 405 에러가 뜹니다. "detail": "The method is not allowed for the requested URL.", "status": 405, "title": "Method Not Allowed", "type": "about:blank"  /clear이든 /clearTaskInstances 둘다 작동하지 않은데, 방법이 있을까요?두번째의 경우 서버에서 작동을 막는것일까요?

파일을 불러오는 중 오류가 발생했습니다.파일을 찾지 못했습니다. 파일이 존재하지 않거나 읽기 권한이 없습니다. 라고 뜨는데, 파일이 없는 거 아닌가요? 권한은 전부 부여되어있는 상태입니다.그리고 보니까 이미지 상으로는 diagrams.net 인데 지금은 draw.io 로 바뀌어있더라고요. 이거 관련해서 관리자분이 설정을 따로 해주셔야 하는 거 아닌지... 조심스럽게 확인 요청 드립니다.

안녕하세요 해당 강의듣고 있는데Java 기반에서 Producer 구현하기02를 보고  카프카 브로커에 메시지를 보냈습니다. 환경은 다음과 같습니다. 카프카 브로커: ec2 환경 (포트 열린건 확인했슴니당..)카프카 컨플루언트 7.1.2 프로듀서: 로컬환경(맥)카프카클라이언트 3.1.0 프로듀서(로컬)에서 메시지 send를 하면 java.nio.BufferUnderflowException해당 에러만 발생합니다.[kafka-producer-network-thread | producer-1] ERROR org.apache.kafka.clients.producer.internals.Sender - [Producer clientId=producer-1] Uncaught error in kafka producer I/O thread: java.lang.IllegalStateException: There are no in-flight requests for node 1 at org.apache.kafka.clients.InFlightRequests.requestQueue(InFlightRequests.java:62) at org.apache.kafka.clients.InFlightRequests.completeNext(InFlightRequests.java:70) at org.apache.kafka.clients.NetworkClient.handleCompletedReceives(NetworkClient.java:872) at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:569) at org.apache.kafka.clients.producer.internals.Sender.runOnce(Sender.java:328) at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:243) at java.base/java.lang.Thread.run(Thread.java:833)[kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Node 1 disconnected. 해당 에러가 반복되고있고. 해결방법을 못찾겠네요 ㅠㅠ 트러블슈팅해봐도 감을 못잡겠어서 도움요청드려요.. 카프카 브로커를 도커로 띄워놓고 logs로 보는데, 아무런 로그가 생성되지않고 있습니다! 제대로 send되는 것 같지 않아서 뭘 봐야되는지 모르겠네요.. 

다른 영상은 괜찮은데 섹션4는 목소리만 나옵니다. 화면은 블랙화면으로 계속 고정이네요. 다른 섹션은 안그런데... 저만 그런건가요??

안녕하세요 개발자님 KafkaTimeoutError: Failed to update  입니다.window에서 리눅스로 옴겼더니 왜 그런걸까요?설정 부분 추가 및 변경 해야 하는 부분이 어디 일까요?client에서 설정을 수정 해야 하나여ㅛ, kafka server.properties 에서 어디를 수정 해야 하나요? 

강의 내용 똑같이 따라해봐도 redis, node 버전 관련 문제로 실행할 수 없었습니다..!저는 아래 코드로 테스트 성공했으니 참고 부탁드려요! Dockerfile >>>> node version 16 FROM node:16 WORKDIR /usr/src/app COPY ./ ./ RUN npm install CMD [ "node", "server.js" ] package.json>>> redis version 4.7.0{ "name": "nodejs-docker-compose-app", "version": "1.0.0", "main": "server.js", "scripts": { "start": "node server.js", "test": "echo \"Error: no test specified\" && exit 1" }, "dependencies": { "express": "4.17.1", "redis": "4.7.0" }, "author": "", "license": "ISC", "description": "" }  docker-compose.ymlversion: "3" services: redis-server: image: redis container_name: redis-server restart: unless-stopped expose: - 6379 node-app: depends_on: - redis-server build: context: . dockerfile: Dockerfile container_name: node-app restart: on-failure ports: - "8081:8080"  server.jsconst express = require("express"); const redis = require("redis"); const app = express(); // Redis 클라이언트 생성 const client = redis.createClient({ socket: { host: "redis-server", port: 6379 } }); async function connectToRedis() { let connected = false; while (!connected) { try { await client.connect(); console.log('Connected to Redis'); connected = true; } catch (error) { console.error('Error connecting to Redis:', error); console.log('Retrying in 2 seconds...'); await new Promise(resolve => setTimeout(resolve, 2000)); } } } // Express 엔드포인트 설정 app.get('/', async (req, res) => { try { let number = await client.get('number'); if (number === null) { number = 0; } console.log('Number: ' + number); res.send("숫자가 1씩 올라갑니다. 숫자: " + number); await client.set("number", parseInt(number) + 1); } catch (error) { console.error('Error:', error); res.status(500).send('Redis 연결 오류'); } }); // 서버 시작 전에 Redis 연결 app.listen(8080, async () => { await connectToRedis(); // 서버 시작 시 Redis 연결 시도 console.log('Server is running on port 8080'); });  모두 저장 후 터미널에서docker compose down docker compose up --build    

안녕하세요 강사님 airflow config를 변경하기 위해 시도해보았는데이렇게 expose를 false->true로 변경하여도 airflow web에서는 변경되지 않아서 혹시 어디가 잘못 되었는지 문의드립니다그리고 dag인식이 느린 것 같아 dag_dir_list 값을 100으로 변경하였는데 cpu만 괜찮다면 다른 변수들은 수정할 필요가 없을까요?

task 연결하기 강의에서t1 >> [t2, t3] >> t4t5 >> t4[t4, t7] >> t6 >> t8이렇게 작성하셨는데t1 >> [t2, t3] >> t4t5 >> [t4, t7] >> t6 >> t8이렇게 해도 될까요?순서도 그릴때 task는 무조건 한번씩만 실행되는건가요?t4[t4,t7] 이렇게 t4를 두번 작성해도 되는지 궁금합니다.

안녕하세요 강사님혹시 vsc에서 airflow관련 함수들의 자동완성을 제공하는 익스텐션이 따로 있나요?아니면 코드를 원래 전체 작성해야 하나요?위 그림에 ti.xcom_pull의 경우 ti. 하고 자동완성을 하려고 봤더니 제공하는 함수가 없어서 질문드립니다근데 뒤에 task_ids는 자동완성이 되네요

안녕하세요 강사님airflow에서 코드를 실행할 때 잘못 작성된 경우나 에러가 있는 경우 디버깅을 해야되는데 일반 코드들 처럼 실행해서 잘못된 부분을 찾으려면 항상 우분투 서버에서만 확인이 가능한가요?일반 코드들처럼 vscode 자체에서 확인하기는 어려울까요?

안녕하세요 dag commit 이후 git pull 당겨오면 webserver 에 dag가 안보이는데 Docker 재시작하면 나타나더라구요 자동으로 반영되게 하는방법 없을까요?

- 강의 영상에 대한 질문이 있으시면, 상세히 문의를 작성해주시면, 주말/휴일 제외, 2~3일 내에 답변드립니다 (이외의 문의는 평생 강의이므로 양해를 부탁드립니다.)- 강의 답변이 도움이 안되셨다면, dream@fun-coding.org 로 메일 주시면 재검토하겠습니다. - 괜찮으시면 질문전에 챗GPT 와 구글 검색을 꼭 활용해보세요~- 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요.

강의를 들으면서 헷갈리는 부분이 있는데요. debezium source connector등록시 설정하는 poll.interval.ms 파라미터는 debezium source connector가 source db로부터 데이터를 읽어들이는 데 대기하는 시간을 의미하는 걸까요? 아니면 debezium source connector가 kafka로 토픽을 전송하는데 대기하는 시간을 의미하는 걸까요?

[root@server02 ~]# bash -c "source /opt/rh/python27/ebable; pip install psycopg2==2.6.2 --ignore-installed" 해당 부분에서 아래와 같은 오류가 뜨면서 계속 막혀요.  bash: /opt/rh/python27/ebable: No such file or directoryCollecting psycopg2==2.6.2 Could not fetch URL https://pypi.python.org/simple/psycopg2/: There was a problem confirming the ssl certificate: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:727) - skipping Could not find a version that satisfies the requirement psycopg2==2.6.2 (from versions: )No matching distribution found for psycopg2==2.6.2 

안녕하세요, 강사님. 강의대로 진행했음에도 불구하고 계속 사진처럼 빨갛게 뜹니다. 제가 처음에 클라우데라 매니저 설치할 때 실수를 반복하여 클러스터를 세 번 정도 설치했다가 삭제하고 마지막으로 한 번 더 제대로 설치했는데, 이전에 설치했던 parcel 혹은 다른 잔여 파일이 남아서 그런 걸까요? parcel을 설치할 때마다 c 디스크 공간이 줄어들었던 걸 보면 잔여 파일이 남은 것 같긴 한데 어떻게 삭제해야 할까요?

강의를 들으면서 데이터 엔지니어를 준비하고 있는 학부생입니다.취업사이트에 데이터 엔지니어를 찾아보면 대게 경력 위주로 채용을 진행하고 있는데데이터 엔지니어가 신입으로 일을 할 수 있는 방법이 있는 지 ?아니면 신입으로서 바로 데이터 엔지니어로 일하기는 조금 어려운게 현실인지 궁금하여 글 작성합니다.괜찮으시다면 데이터엔지니어 직무 입사자가 이런 경험이 있으면 채용하겠다는 부분이 있는 지 알려주시면 감사하겠습니다.

트레비스가 유료화되어 챕터8에서 aws설정하는 부분까지만하고 멈춘 상태인데요 ㅎㅎ이후로는 트레비스를 통해 aws 반영하는 부분인 것 같더라고요. 혹시 남은 트레비스 부분을 제외하고 9장으로 넘어가도 괜찮을지 궁금합니다 ㅎㅎ

안녕하세요. 섹션 10에 KSQLDB와 Connect 첫 강의 1초짜리에 강의가 존재하는 이유가 강의 자료 파일 공유를 위해서 있는 것으로 유추되는데 아무것도 없는 빈 리스트네요. 혹시 제가 뭔가 놓치거나 강의 업데이트에 이슈가 있었던 것은 아닌지 여쭤보고자 게시글 남깁니다. 참고로 강의 처음에 공유해주신 강의 자료 PPT에는 해당 섹션에 대한 장표가 누락돼 있습니다.  감사합니다.

안녕하세요 airflow 관련 자격증이 있는지 궁금합니다. 구글링 해보니 따로 안나오는 것 같아서요..!보통 어떤식으로 airflow 사용역량을 어필 할 수 있는지 궁금합니다 .