아래와 같은 에러가 발생했습니다. 비슷한 질문의 답글을 확인하여 아래내용도 다시 봤지만 수정잘 되어 있고, 컨테이너 디렉토리내 common 폴더와 파일 여부를 확인하였는데도 똑같은 오류가 납니다. docker-compose.yaml volumes 항목 수정컨테이너에 들어가서 plugins 디렉토리 연결이 잘 되었는지 확인

안녕하세요! 강의 항상 잘 보고 있습니다!강의를 보고, 배치작업이 아닌 외부 api를 1분마다 호출해서 실시간 데이터처럼 보일 수 있게 데이터를 수집하는 로직을 짜고자 합니다. 이런 데이터 수집 작업도 airflow를 쓰기도 하나요??이렇게 요청이 자주 발생하는 작업은 airflow에서 비추천한다고 하는 글을 봐서 강사님의 생각은 어떤지 궁금합니다!강의랑 큰 관련은 없는 주제일 수 있지만 만약 airflow를 사용하지 않는다면 보통 이런 로직을 구현할 때 어떤 기술을 사용하는지 궁금합니다...!

실습단계 : 섹션2-Java 기반에서 Producer 구현하기 - 01실습 환경 : Windows 11 Ent x64 한글, 16GB, SSD문제 : Gradle 빌드나, 프로젝트 빌드하면 시간이 수십초(40여초) 걸립니다. 오후 5:51:51: 실행 중 'build'...로그 출력된 후, 아래 나머지 로그는 마지막에 순식간에 표시됩니다. > Task :producers:compileJava> Task :producers:processResources NO-SOURCE> Task :producers:classes> Task :producers:jar> Task :producers:assemble> Task :producers:compileTestJava NO-SOURCE> Task :producers:processTestResources NO-SOURCE> Task :producers:testClasses UP-TO-DATE> Task :producers:test NO-SOURCE> Task :producers:check UP-TO-DATE> Task :producers:buildBUILD SUCCESSFUL in 42s2 actionable tasks: 2 executed오후 5:52:34: 실행이 완료되었습니다 'build'. 왜그럴까요?  

수업내용 따라서 dag 작성 및 docker-compose.yaml 파일 수정하고 실행하였는데,ConnectionRefusedError: [Errno 111] Connection refused해당 오류로 작업실패를 하게 됩니다. 어떻게 해결하면 될지 도움 부탁드립니다.😭 

실습내용 그대로 적용하여 진행하였는데, 정상적으로 dag는 실행되었는데 t1_orange의 로그값이 확인이 되지 않네요. t2_avocado는 로그가 정상적으로 확인이 되는데.. 어디를 놓치고 있는건지 모르겠어서요. 혹시 이유가 뭘까요 

안녕하세요 실습 진행 중 wsl을 이용해서 가상공간에서 작업을 진행하시는 것 같은데 도커데스크탑을 깔고 그 안에서 이미지들을 다운받는 식으로 작업을 하는 것과 차이가 있을까요?제가 알기로는 터미널에서 코드 쳐서 다운 받는 것과 도커데스크탑에서 이미지 찾아서 다운 받는 것과의 차이는 없는 걸로 알고 있어서요혹시 wsl로 작업을 하지않고 컴퓨터 두 대로 진행하려면 어떻게 해야될까요? 같은 네트워크에 있는 상태 입니다.

안녕하세요, 선생님. Cloudera Manager 소프트웨어 설치 중 오류가 해결되지 않네요. 도움 부탁드려요! 오류 내용입니다.  

제가 지금 백엔드 프로젝트와 Airflow를 도커 컴포즈로 EC2에 올려서 테스트를 하고 있습니다. 혹시 airflow 웹페이지에서 DAG 목록 위에 Auto-refresh 버튼이 있는데 이 옵션을 끄면 dag이 정해진 스케줄에 작동하지 않는지 궁금합니다.제가 검색해본 결과로는 dag 내용과 목록을 자동으로 최신화하는 옵션인 것 같은데 맞을까요..?? dag 실행에 문제만 없다면 리소스 절약을 위해서 이 옵션은 꺼놓는게 좋을 것 같아서요...

안녕하세요. 열강해주셨던 강의 들으며 공부하다 질문이 있어 글 남깁니다. 스파크에 대한 설명에서 '그리고 이 리듀스가 네트워크를 타고 들어온 로컬에 떨어진 앞에 리듀스의 결과를 다시 또 로컬로 떨어뜨린다'는 설명이 있었는데, 이 설명이 어떤 경우가 있는지 감이 잘 안와서 질문드립니다. 리듀스가 네트워크를 타고 들어온다는 것이 어떤 상황을 말하는건가요..? 감사합니다.

안녕하세요.  개발 환경 구성에서 자바를 설치하는 부분에 궁금한 점이 있어 글을 남깁니다. 제가 이미 JDK 17이 설치되어 있는데, 혹시 다시 1.8을 설치해야 하나요? 만약 해야 한다면, 충돌하는 문제는 없을까요?  답변 부탁드립니다.감사합니다 :)

안녕하세요 강사님.4.탐색 파일럿 실행 2단계 - 03.휴(Hue) 구성 강좌를 실습 중인데,아래와 같이 yum install centos-release-scl 커맨드와 yum install scl-utils 커맨드는 모두 정상 수행하였으나 이후 yum install python27 커맨드에서 에러가 발생하여 질문드립니다. 에러 메세지로는 패키지가 없다고 뜨는데, 이전 커맨드에서도 mirrorlist 문제가 발생하여서 다른 질문과 답변에 남겨주신 아래 mirrorlist로 갱신을 하였습니다. centos EOS 이슈인 듯 한데.. 혹시 추가로 더 수행해야할 작업이 있을까요? $ echo "http://vault.centos.org/6.10/os/x86_64/" > /var/cache/yum/x86_64/6/base/mirrorlist.txt$ echo "http://vault.centos.org/6.10/extras/x86_64/" > /var/cache/yum/x86_64/6/extras/mirrorlist.txt$ echo "http://vault.centos.org/6.10/updates/x86_64/" > /var/cache/yum/x86_64/6/updates/mirrorlist.txt$ echo "http://vault.centos.org/6.10/sclo/x86_64/rh" > /var/cache/yum/x86_64/6/centos-sclo-rh/mirrorlist.txt$ echo "http://vault.centos.org/6.10/sclo/x86_64/sclo" > /var/cache/yum/x86_64/6/centos-sclo-sclo/mirrorlist.txt  

이 화면이 나오지 않고 지나갑니다. 데이터베이스 따로 설정해야하나요??

안녕하세요! JAVA17을 설치하였는데, IntellJ에서 JDK 경로에 JAVA가 안 뜹니다...ㅠㅠ 계속 이렇게 loading중이라고만 뜨고, jdk가 설치된 경로를 넣어도 그런데... 혹시 어떻게 해야할까요? cmd java 버전도 이렇게 설치된 버전이 나오고 시스템 변수 설정에도 이렇게 설정하였습니다..!

안녕하세요! 데이터분석 직무로 SQL 수업을 듣게 되었습니다! 혹시 실습하면서 정리한 코드 깃허브에 업로드가 가능할까요?  - 강의 영상에 대한 질문이 있으시면, 상세히 문의를 작성해주시면, 주말/휴일 제외, 2~3일 내에 답변드립니다 (이외의 문의는 평생 강의이므로 양해를 부탁드립니다.)- 강의 답변이 도움이 안되셨다면, dream@fun-coding.org 로 메일 주시면 재검토하겠습니다. - 괜찮으시면 질문전에 챗GPT 와 구글 검색을 꼭 활용해보세요~- 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요.

PM 4:18:45: Executing ':producers:com.example.kafka.SimpleProducer.main()'…> Task :producers:compileJava UP-TO-DATE> Task :producers:processResources NO-SOURCE> Task :producers:classes UP-TO-DATE> Task :producers:com.example.kafka.SimpleProducer.main()[main] INFO org.apache.kafka.clients.producer.ProducerConfig - ProducerConfig values: acks = -1 batch.size = 16384 bootstrap.servers = [192.168.56.101:9092] buffer.memory = 33554432 client.dns.lookup = use_all_dns_ips client.id = producer-1 compression.type = none connections.max.idle.ms = 540000 delivery.timeout.ms = 120000 enable.idempotence = true interceptor.classes = [] key.serializer = class org.apache.kafka.common.serialization.StringSerializer linger.ms = 0 max.block.ms = 60000 max.in.flight.requests.per.connection = 5 max.request.size = 1048576 metadata.max.age.ms = 300000 metadata.max.idle.ms = 300000 metric.reporters = [] metrics.num.samples = 2 metrics.recording.level = INFO metrics.sample.window.ms = 30000 partitioner.class = class org.apache.kafka.clients.producer.internals.DefaultPartitioner receive.buffer.bytes = 32768 reconnect.backoff.max.ms = 1000 reconnect.backoff.ms = 50 request.timeout.ms = 30000 retries = 2147483647 retry.backoff.ms = 100 sasl.client.callback.handler.class = null sasl.jaas.config = null sasl.kerberos.kinit.cmd = /usr/bin/kinit sasl.kerberos.min.time.before.relogin = 60000 sasl.kerberos.service.name = null sasl.kerberos.ticket.renew.jitter = 0.05 sasl.kerberos.ticket.renew.window.factor = 0.8 sasl.login.callback.handler.class = null sasl.login.class = null sasl.login.connect.timeout.ms = null sasl.login.read.timeout.ms = null sasl.login.refresh.buffer.seconds = 300 sasl.login.refresh.min.period.seconds = 60 sasl.login.refresh.window.factor = 0.8 sasl.login.refresh.window.jitter = 0.05 sasl.login.retry.backoff.max.ms = 10000 sasl.login.retry.backoff.ms = 100 sasl.mechanism = GSSAPI sasl.oauthbearer.clock.skew.seconds = 30 sasl.oauthbearer.expected.audience = null sasl.oauthbearer.expected.issuer = null sasl.oauthbearer.jwks.endpoint.refresh.ms = 3600000 sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms = 10000 sasl.oauthbearer.jwks.endpoint.retry.backoff.ms = 100 sasl.oauthbearer.jwks.endpoint.url = null sasl.oauthbearer.scope.claim.name = scope sasl.oauthbearer.sub.claim.name = sub sasl.oauthbearer.token.endpoint.url = null security.protocol = PLAINTEXT security.providers = null send.buffer.bytes = 131072 socket.connection.setup.timeout.max.ms = 30000 socket.connection.setup.timeout.ms = 10000 ssl.cipher.suites = null ssl.enabled.protocols = [TLSv1.2, TLSv1.3] ssl.endpoint.identification.algorithm = https ssl.engine.factory.class = null ssl.key.password = null ssl.keymanager.algorithm = SunX509 ssl.keystore.certificate.chain = null ssl.keystore.key = null ssl.keystore.location = null ssl.keystore.password = null ssl.keystore.type = JKS ssl.protocol = TLSv1.3 ssl.provider = null ssl.secure.random.implementation = null ssl.trustmanager.algorithm = PKIX ssl.truststore.certificates = null ssl.truststore.location = null ssl.truststore.password = null ssl.truststore.type = JKS transaction.timeout.ms = 60000 transactional.id = null value.serializer = class org.apache.kafka.common.serialization.StringSerializer[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version: 3.1.0[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commitId: 37edeed0777bacb3[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka startTimeMs: 1735715926395[kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.Metadata - [Producer clientId=producer-1] Resetting the last seen epoch of partition simple-topic-0 to 0 since the associated topicId changed from null to wPaCJ0MWQ1iZ8YrJVqk8zA[kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.Metadata - [Producer clientId=producer-1] Cluster ID: 7AaNgISvTZmWslFvoaATIA[kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Error connecting to node min-VirtualBox:9092 (id: 0 rack: null)java.net.UnknownHostException: min-VirtualBox: nodename nor servname provided, or not known at java.base/java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method) at java.base/java.net.InetAddress$PlatformNameService.lookupAllHostAddr(InetAddress.java:933) at java.base/java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1529) at java.base/java.net.InetAddress$NameServiceAddresses.get(InetAddress.java:852) at java.base/java.net.InetAddress.getAllByName0(InetAddress.java:1519) at java.base/java.net.InetAddress.getAllByName(InetAddress.java:1377) at java.base/java.net.InetAddress.getAllByName(InetAddress.java:1305) at org.apache.kafka.clients.DefaultHostResolver.resolve(DefaultHostResolver.java:27) at org.apache.kafka.clients.ClientUtils.resolve(ClientUtils.java:110) at org.apache.kafka.clients.ClusterConnectionStates$NodeConnectionState.currentAddress(ClusterConnectionStates.java:511) at org.apache.kafka.clients.ClusterConnectionStates$NodeConnectionState.access$200(ClusterConnectionStates.java:468) at org.apache.kafka.clients.ClusterConnectionStates.currentAddress(ClusterConnectionStates.java:173) at org.apache.kafka.clients.NetworkClient.initiateConnect(NetworkClient.java:984) at org.apache.kafka.clients.NetworkClient.ready(NetworkClient.java:301) at org.apache.kafka.clients.producer.internals.Sender.sendProducerData(Sender.java:354) at org.apache.kafka.clients.producer.internals.Sender.runOnce(Sender.java:327) at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:243) at java.base/java.lang.Thread.run(Thread.java:833) 그리고 sudo vi/ etc/hosts로192.168.56.101 min hosts 세팅은 완료했습니다

docker-compose.ymlversion: "3.9" services: redis-server: image: 'redis' container_name: redis-container restart: unless-stopped ports: - "6379:6379" healthcheck: test: ["CMD", "redis-cli", "ping"] interval: 5s timeout: 5s retries: 5 node-app: depends_on: redis-server: condition: service_healthy build: context: . dockerfile: Dockerfile container_name: node-app restart: on-failure ports: - "5000:8080" environment: - REDIS_URL=redis://redis-server:6379  server.jsconst express = require('express'); const redis = require('redis'); // Redis 클라이언트 생성 const client = redis.createClient({ url: process.env.REDIS_URL }); // Redis 연결 (async () => { try { await client.connect(); // 클라이언트 연결 console.log('Connected to Redis'); } catch (err) { console.error('Redis connection error:', err); } })(); const app = express(); // 초기값 설정 (async () => { try { await client.set('number', 0); } catch (err) { console.error('Failed to initialize Redis key:', err); } })(); app.get('/', async (req, res) => { try { // Redis 값 읽기 및 증가 const number = await client.get('number'); await client.set('number', parseInt(number) + 1); res.send(`숫자가 1씩 올라갑니다. ${number}`); } catch (err) { console.error('Error handling Redis operations:', err); res.status(500).send('Server error'); } }); app.listen(8080, () => { console.log('Server is running on port 8080'); });  node는 18버전 레디스 클라이언트 모듈은 4.7.0 입니다

안녕하세요 강사님강의 잘 듣고 있습니다.혹시 Consumer Group과 Consumer Rebalancing 실습 부분에서 제일 위에 broker message 뜨게 하는 명령어가 어떤 건지 알 수 있을까요?  

sql_safe_updates 옵션때문에 강의처럼 쿼리문을 작성할 경우, 업데이트가 되지 않습니다. 이 부분은 끄고 진행해도 되나요? 그리고 현업에서 보통 끄고 데이터 작업을 하는지 궁금합니다

아직 수업 듣기전인데 이 프로젝트에 프론트도 포함되어 있나요? 결과물을 화면과 연계해서 보고 싶습니다

배치 상황을 고려해서 궁금증이 생겨 질문드립니다!B0, B1이 같은 배치로 묶여 있고 B0이 broker에서 저장이 실패되었 을때 producer에 저장 실패로 retry를 보내고 broker에서는 B0, B1 모두 저장에 실패 되나요? 아니면 B1은 저장되고 B0만 retry로 다시 send를 보낼 수 있는 기회가 생기나요?