안녕하세요 실습 진행 중 wsl을 이용해서 가상공간에서 작업을 진행하시는 것 같은데 도커데스크탑을 깔고 그 안에서 이미지들을 다운받는 식으로 작업을 하는 것과 차이가 있을까요?제가 알기로는 터미널에서 코드 쳐서 다운 받는 것과 도커데스크탑에서 이미지 찾아서 다운 받는 것과의 차이는 없는 걸로 알고 있어서요혹시 wsl로 작업을 하지않고 컴퓨터 두 대로 진행하려면 어떻게 해야될까요? 같은 네트워크에 있는 상태 입니다.

안녕하세요, 선생님. Cloudera Manager 소프트웨어 설치 중 오류가 해결되지 않네요. 도움 부탁드려요! 오류 내용입니다.  

제가 지금 백엔드 프로젝트와 Airflow를 도커 컴포즈로 EC2에 올려서 테스트를 하고 있습니다. 혹시 airflow 웹페이지에서 DAG 목록 위에 Auto-refresh 버튼이 있는데 이 옵션을 끄면 dag이 정해진 스케줄에 작동하지 않는지 궁금합니다.제가 검색해본 결과로는 dag 내용과 목록을 자동으로 최신화하는 옵션인 것 같은데 맞을까요..?? dag 실행에 문제만 없다면 리소스 절약을 위해서 이 옵션은 꺼놓는게 좋을 것 같아서요...

안녕하세요. 열강해주셨던 강의 들으며 공부하다 질문이 있어 글 남깁니다. 스파크에 대한 설명에서 '그리고 이 리듀스가 네트워크를 타고 들어온 로컬에 떨어진 앞에 리듀스의 결과를 다시 또 로컬로 떨어뜨린다'는 설명이 있었는데, 이 설명이 어떤 경우가 있는지 감이 잘 안와서 질문드립니다. 리듀스가 네트워크를 타고 들어온다는 것이 어떤 상황을 말하는건가요..? 감사합니다.

안녕하세요.  개발 환경 구성에서 자바를 설치하는 부분에 궁금한 점이 있어 글을 남깁니다. 제가 이미 JDK 17이 설치되어 있는데, 혹시 다시 1.8을 설치해야 하나요? 만약 해야 한다면, 충돌하는 문제는 없을까요?  답변 부탁드립니다.감사합니다 :)

안녕하세요 강사님.4.탐색 파일럿 실행 2단계 - 03.휴(Hue) 구성 강좌를 실습 중인데,아래와 같이 yum install centos-release-scl 커맨드와 yum install scl-utils 커맨드는 모두 정상 수행하였으나 이후 yum install python27 커맨드에서 에러가 발생하여 질문드립니다. 에러 메세지로는 패키지가 없다고 뜨는데, 이전 커맨드에서도 mirrorlist 문제가 발생하여서 다른 질문과 답변에 남겨주신 아래 mirrorlist로 갱신을 하였습니다. centos EOS 이슈인 듯 한데.. 혹시 추가로 더 수행해야할 작업이 있을까요? $ echo "http://vault.centos.org/6.10/os/x86_64/" > /var/cache/yum/x86_64/6/base/mirrorlist.txt$ echo "http://vault.centos.org/6.10/extras/x86_64/" > /var/cache/yum/x86_64/6/extras/mirrorlist.txt$ echo "http://vault.centos.org/6.10/updates/x86_64/" > /var/cache/yum/x86_64/6/updates/mirrorlist.txt$ echo "http://vault.centos.org/6.10/sclo/x86_64/rh" > /var/cache/yum/x86_64/6/centos-sclo-rh/mirrorlist.txt$ echo "http://vault.centos.org/6.10/sclo/x86_64/sclo" > /var/cache/yum/x86_64/6/centos-sclo-sclo/mirrorlist.txt  

이 화면이 나오지 않고 지나갑니다. 데이터베이스 따로 설정해야하나요??

안녕하세요! JAVA17을 설치하였는데, IntellJ에서 JDK 경로에 JAVA가 안 뜹니다...ㅠㅠ 계속 이렇게 loading중이라고만 뜨고, jdk가 설치된 경로를 넣어도 그런데... 혹시 어떻게 해야할까요? cmd java 버전도 이렇게 설치된 버전이 나오고 시스템 변수 설정에도 이렇게 설정하였습니다..!

안녕하세요! 데이터분석 직무로 SQL 수업을 듣게 되었습니다! 혹시 실습하면서 정리한 코드 깃허브에 업로드가 가능할까요?  - 강의 영상에 대한 질문이 있으시면, 상세히 문의를 작성해주시면, 주말/휴일 제외, 2~3일 내에 답변드립니다 (이외의 문의는 평생 강의이므로 양해를 부탁드립니다.)- 강의 답변이 도움이 안되셨다면, dream@fun-coding.org 로 메일 주시면 재검토하겠습니다. - 괜찮으시면 질문전에 챗GPT 와 구글 검색을 꼭 활용해보세요~- 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요.

PM 4:18:45: Executing ':producers:com.example.kafka.SimpleProducer.main()'…> Task :producers:compileJava UP-TO-DATE> Task :producers:processResources NO-SOURCE> Task :producers:classes UP-TO-DATE> Task :producers:com.example.kafka.SimpleProducer.main()[main] INFO org.apache.kafka.clients.producer.ProducerConfig - ProducerConfig values: acks = -1 batch.size = 16384 bootstrap.servers = [192.168.56.101:9092] buffer.memory = 33554432 client.dns.lookup = use_all_dns_ips client.id = producer-1 compression.type = none connections.max.idle.ms = 540000 delivery.timeout.ms = 120000 enable.idempotence = true interceptor.classes = [] key.serializer = class org.apache.kafka.common.serialization.StringSerializer linger.ms = 0 max.block.ms = 60000 max.in.flight.requests.per.connection = 5 max.request.size = 1048576 metadata.max.age.ms = 300000 metadata.max.idle.ms = 300000 metric.reporters = [] metrics.num.samples = 2 metrics.recording.level = INFO metrics.sample.window.ms = 30000 partitioner.class = class org.apache.kafka.clients.producer.internals.DefaultPartitioner receive.buffer.bytes = 32768 reconnect.backoff.max.ms = 1000 reconnect.backoff.ms = 50 request.timeout.ms = 30000 retries = 2147483647 retry.backoff.ms = 100 sasl.client.callback.handler.class = null sasl.jaas.config = null sasl.kerberos.kinit.cmd = /usr/bin/kinit sasl.kerberos.min.time.before.relogin = 60000 sasl.kerberos.service.name = null sasl.kerberos.ticket.renew.jitter = 0.05 sasl.kerberos.ticket.renew.window.factor = 0.8 sasl.login.callback.handler.class = null sasl.login.class = null sasl.login.connect.timeout.ms = null sasl.login.read.timeout.ms = null sasl.login.refresh.buffer.seconds = 300 sasl.login.refresh.min.period.seconds = 60 sasl.login.refresh.window.factor = 0.8 sasl.login.refresh.window.jitter = 0.05 sasl.login.retry.backoff.max.ms = 10000 sasl.login.retry.backoff.ms = 100 sasl.mechanism = GSSAPI sasl.oauthbearer.clock.skew.seconds = 30 sasl.oauthbearer.expected.audience = null sasl.oauthbearer.expected.issuer = null sasl.oauthbearer.jwks.endpoint.refresh.ms = 3600000 sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms = 10000 sasl.oauthbearer.jwks.endpoint.retry.backoff.ms = 100 sasl.oauthbearer.jwks.endpoint.url = null sasl.oauthbearer.scope.claim.name = scope sasl.oauthbearer.sub.claim.name = sub sasl.oauthbearer.token.endpoint.url = null security.protocol = PLAINTEXT security.providers = null send.buffer.bytes = 131072 socket.connection.setup.timeout.max.ms = 30000 socket.connection.setup.timeout.ms = 10000 ssl.cipher.suites = null ssl.enabled.protocols = [TLSv1.2, TLSv1.3] ssl.endpoint.identification.algorithm = https ssl.engine.factory.class = null ssl.key.password = null ssl.keymanager.algorithm = SunX509 ssl.keystore.certificate.chain = null ssl.keystore.key = null ssl.keystore.location = null ssl.keystore.password = null ssl.keystore.type = JKS ssl.protocol = TLSv1.3 ssl.provider = null ssl.secure.random.implementation = null ssl.trustmanager.algorithm = PKIX ssl.truststore.certificates = null ssl.truststore.location = null ssl.truststore.password = null ssl.truststore.type = JKS transaction.timeout.ms = 60000 transactional.id = null value.serializer = class org.apache.kafka.common.serialization.StringSerializer[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version: 3.1.0[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commitId: 37edeed0777bacb3[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka startTimeMs: 1735715926395[kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.Metadata - [Producer clientId=producer-1] Resetting the last seen epoch of partition simple-topic-0 to 0 since the associated topicId changed from null to wPaCJ0MWQ1iZ8YrJVqk8zA[kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.Metadata - [Producer clientId=producer-1] Cluster ID: 7AaNgISvTZmWslFvoaATIA[kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Error connecting to node min-VirtualBox:9092 (id: 0 rack: null)java.net.UnknownHostException: min-VirtualBox: nodename nor servname provided, or not known at java.base/java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method) at java.base/java.net.InetAddress$PlatformNameService.lookupAllHostAddr(InetAddress.java:933) at java.base/java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1529) at java.base/java.net.InetAddress$NameServiceAddresses.get(InetAddress.java:852) at java.base/java.net.InetAddress.getAllByName0(InetAddress.java:1519) at java.base/java.net.InetAddress.getAllByName(InetAddress.java:1377) at java.base/java.net.InetAddress.getAllByName(InetAddress.java:1305) at org.apache.kafka.clients.DefaultHostResolver.resolve(DefaultHostResolver.java:27) at org.apache.kafka.clients.ClientUtils.resolve(ClientUtils.java:110) at org.apache.kafka.clients.ClusterConnectionStates$NodeConnectionState.currentAddress(ClusterConnectionStates.java:511) at org.apache.kafka.clients.ClusterConnectionStates$NodeConnectionState.access$200(ClusterConnectionStates.java:468) at org.apache.kafka.clients.ClusterConnectionStates.currentAddress(ClusterConnectionStates.java:173) at org.apache.kafka.clients.NetworkClient.initiateConnect(NetworkClient.java:984) at org.apache.kafka.clients.NetworkClient.ready(NetworkClient.java:301) at org.apache.kafka.clients.producer.internals.Sender.sendProducerData(Sender.java:354) at org.apache.kafka.clients.producer.internals.Sender.runOnce(Sender.java:327) at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:243) at java.base/java.lang.Thread.run(Thread.java:833) 그리고 sudo vi/ etc/hosts로192.168.56.101 min hosts 세팅은 완료했습니다

docker-compose.ymlversion: "3.9" services: redis-server: image: 'redis' container_name: redis-container restart: unless-stopped ports: - "6379:6379" healthcheck: test: ["CMD", "redis-cli", "ping"] interval: 5s timeout: 5s retries: 5 node-app: depends_on: redis-server: condition: service_healthy build: context: . dockerfile: Dockerfile container_name: node-app restart: on-failure ports: - "5000:8080" environment: - REDIS_URL=redis://redis-server:6379  server.jsconst express = require('express'); const redis = require('redis'); // Redis 클라이언트 생성 const client = redis.createClient({ url: process.env.REDIS_URL }); // Redis 연결 (async () => { try { await client.connect(); // 클라이언트 연결 console.log('Connected to Redis'); } catch (err) { console.error('Redis connection error:', err); } })(); const app = express(); // 초기값 설정 (async () => { try { await client.set('number', 0); } catch (err) { console.error('Failed to initialize Redis key:', err); } })(); app.get('/', async (req, res) => { try { // Redis 값 읽기 및 증가 const number = await client.get('number'); await client.set('number', parseInt(number) + 1); res.send(`숫자가 1씩 올라갑니다. ${number}`); } catch (err) { console.error('Error handling Redis operations:', err); res.status(500).send('Server error'); } }); app.listen(8080, () => { console.log('Server is running on port 8080'); });  node는 18버전 레디스 클라이언트 모듈은 4.7.0 입니다

안녕하세요 강사님강의 잘 듣고 있습니다.혹시 Consumer Group과 Consumer Rebalancing 실습 부분에서 제일 위에 broker message 뜨게 하는 명령어가 어떤 건지 알 수 있을까요?  

sql_safe_updates 옵션때문에 강의처럼 쿼리문을 작성할 경우, 업데이트가 되지 않습니다. 이 부분은 끄고 진행해도 되나요? 그리고 현업에서 보통 끄고 데이터 작업을 하는지 궁금합니다

아직 수업 듣기전인데 이 프로젝트에 프론트도 포함되어 있나요? 결과물을 화면과 연계해서 보고 싶습니다

배치 상황을 고려해서 궁금증이 생겨 질문드립니다!B0, B1이 같은 배치로 묶여 있고 B0이 broker에서 저장이 실패되었 을때 producer에 저장 실패로 retry를 보내고 broker에서는 B0, B1 모두 저장에 실패 되나요? 아니면 B1은 저장되고 B0만 retry로 다시 send를 보낼 수 있는 기회가 생기나요?  

안녕하세요, 강사님강의를 들으며 꾸준히 배우고 성장하고 싶었는데, 예상치 못한 일정들로 인해 충분히 강의를 소화하지 못한 점이 아쉬움으로 남습니다.현재 수강 기간이 얼마 남지 않아, 남은 강의를 보다 충실히 학습할 수 있도록 수강 기간 연장을 요청드려봅니다..

강사님, 안녕하세요.다중 스케줄러 실행 시 정상적으로 동작하고 있는지 확인할 수 있는 방법에 대해 문의드립니다.현재 Worker와 Scheduler를 다중으로 실행하여 고가용성 테스트를 진행 중입니다. Worker의 경우 Celery Flower를 통해 정상적으로 Sync가 이뤄지는 것을 확인하였습니다. 다만 Scheduler의 경우 뭔가 정확하게 확인이 안되는 것 같습니다.우선 제가 찾은 방법으로는 메타 테이블 조회와 커맨드가 있습니다.메타 테이블 조회 아래와 같이 조회하면 running인 상태의 host가 Scheduler 수만큼 조회됩니다. hostname도 모두 일치합니다.select * from job where job_type = 'SchedulerJob' and state = 'running';커맨드 아래와 같이 커맨드 실행 시 'Found one alive job.'이 출력됩니다.$ airflow jobs check --job-type SchedulerJob Found one alive job.Scheduler 로그 확인 시 모두 heartbeat은 계속 요청하고 있습니다. 혹시 Worker와 같이 명확하게 다중 스케줄러 환경인지 확인하는 방법이 있을까요?

variables 를 추가하는 강의에서variables 추가하고, dags_bash_with_variable.py를 생성후, git push 하고 나중에 봣더니그 많던 dag(examples + 강의때 따라한 dag) 들중에 딸랑 3개만 보이고 안보여요..dags 폴더 하위를 찾아가보니 파일은 그대로 존재하는데.. 왜 3개만보이는건지 ..혹시 확인해볼만한 로그들이나... 이유에 대해서 아실까요..? docker exec -it {스케줄러노드ID} bash 로 들어가서 dags도 확인해봤습니다.

안녕하세요 개발자님.컴프런트 카프카 최근 버전들 중 실무에서 사용하기 좋은 버전은 뭐가 있을까요?(connect, ksql 등 호환 잘되는) ubuntu 22.04 LTS 카프카 와 주키퍼 버전이 궁금합니다. 오래전 집에서 강의 따라 해보고, 실무에 사용 해보고 싶어서 다시 처음 부터 듣고 있는데, 카프카 와 주키퍼 호환에 대해 궁금 하여 문의 드리게 되었습니다.공식 문서를 참조 하라는 인강 내용이 있었지만, 확실한 마음이 놓이지 않아 문의 드리게 되었습니다.최신 버전이면서, 실무에 사용해도 적합한 버전이 궁금합니다,

안녕하세요 강사님 강의 잘 보고 있습니다다름이 아니라 특정 조건에서 task가 실행되지 않아 해결방법을 묻고자 글을 남깁니다.task가 실행되지 않고 발생하는 log*** Could not read served logs: Invalid URL 'http://:8793/log/dag_id=dags_get_data_python_operator/run_id=manual__2024-12-20T09:11:57.447383+00:00/task_id=refine_data_/attempt=1.log': No host supplied  branch에 따른 dag에 작성한 taskflow는 다음과 같습니다get_data_ >> check_dir_ >> get_yesterday_data_ >> refine_data_ >> delete_dataget_data_ >> check_dir_ >> refine_data_ >> delete_databatch 당일 데이터와 전날 데이터를 이용해서 spark를 이용해 정제하는 작업인데,전날 데이터가 수집되어있지 않다면 수집하고나서 sparksubmit을 하도록 task를 구성했습니다.전날 데이터가 없는 상태로 dag를 실행하면 전체task가 잘 실행이되고전날데이터가 존재한다면 원하는 task 까지 skipped이 되고 해당 log가 나오네요 ㅠㅠtask 플로우를 잘못 작성한 이유일까요 ? 추가)BranchPython task에 찍힌 log 입니다.