173만명의 커뮤니티!! 함께 토론해봐요.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. 개발 환경 구성에서 자바를 설치하는 부분에 궁금한 점이 있어 글을 남깁니다. 제가 이미 JDK 17이 설치되어 있는데, 혹시 다시 1.8을 설치해야 하나요? 만약 해야 한다면, 충돌하는 문제는 없을까요? 답변 부탁드립니다. 감사합니다 :)
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 강사님. 4.탐색 파일럿 실행 2단계 - 03.휴(Hue) 구성 강좌를 실습 중인데, 아래와 같이 yum install centos-release-scl 커맨드와 yum install scl-utils 커맨드는 모두 정상 수행하였으나 이후 yum install python27 커맨드에서 에러가 발생하여 질문드립니다. 에러 메세지로는 패키지가 없다고 뜨는데, 이전 커맨드에서도 mirrorlist 문제가 발생하여서 다른 질문과 답변에 남겨주신 아래 mirrorlist로 갱신을 하였습니다. centos EOS 이슈인 듯 한데.. 혹시 추가로 더 수행해야할 작업이 있을까요? $ echo " http://vault.centos.org/6.10/os/x86_64/ " > /var/cache/yum/x86_64/6/base/mirrorlist.txt $ echo " http://vault.centos.org/6.10/extras/x86_64/ " > /var/cache/yum/x86_64/6/extras/mirrorlist.txt $ echo " http://vault.centos.org/6.10/updates/x86_64/ " > /var/cache/yum/x86_64/6/updates/mirrorlist.txt $ echo " http://vault.centos.org/6.10/sclo/x86_64/rh " > /var/cache/yum/x86_64/6/centos-sclo-rh/mirrorlist.txt $ echo " http://vault.centos.org/6.10/sclo/x86_64/sclo " > /var/cache/yum/x86_64/6/centos-sclo-sclo/mirrorlist.txt
미해결
15일간의 빅데이터 파일럿 프로젝트
이 화면이 나오지 않고 지나갑니다. 데이터베이스 따로 설정해야하나요??
미해결
카프카 완벽 가이드 - 코어편
안녕하세요! JAVA17을 설치하였는데, IntellJ에서 JDK 경로에 JAVA가 안 뜹니다...ㅠㅠ 계속 이렇게 loading중이라고만 뜨고, jdk가 설치된 경로를 넣어도 그런데... 혹시 어떻게 해야할까요? cmd java 버전도 이렇게 설치된 버전이 나오고 시스템 변수 설정에도 이렇게 설정하였습니다..!
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
안녕하세요! 데이터분석 직무로 SQL 수업을 듣게 되었습니다! 혹시 실습하면서 정리한 코드 깃허브에 업로드가 가능할까요? - 강의 영상에 대한 질문이 있으시면, 상세히 문의를 작성해주시면, 주말/휴일 제외, 2~3일 내에 답변드립니다 (이외의 문의는 평생 강의이므로 양해를 부탁드립니다.) - 강의 답변이 도움이 안되셨다면, dream@fun-coding.org 로 메일 주시면 재검토하겠습니다. - 괜찮으시면 질문전에 챗GPT 와 구글 검색을 꼭 활용해보세요~ - 잠깐! 인프런 서비스 운영(다운로드 방법포함) 관련 문의는 1:1 문의하기를 이용해주세요.
미해결
카프카 완벽 가이드 - 코어편
PM 4:18:45: Executing ':producers:com.example.kafka.SimpleProducer.main()'… > Task :producers:compileJava UP-TO-DATE > Task :producers:processResources NO-SOURCE > Task :producers:classes UP-TO-DATE > Task :producers:com.example.kafka.SimpleProducer.main() [main] INFO org.apache.kafka.clients.producer.ProducerConfig - ProducerConfig values: acks = -1 batch.size = 16384 bootstrap.servers = [192.168.56.101:9092] buffer.memory = 33554432 client.dns.lookup = use_all_dns_ips client.id = producer-1 compression.type = none connections.max.idle.ms = 540000 delivery.timeout.ms = 120000 enable.idempotence = true interceptor.classes = [] key.serializer = class org.apache.kafka.common.serialization.StringSerializer linger.ms = 0 max.block.ms = 60000 max.in .flight.requests.per.connection = 5 max.request.size = 1048576 metadata.max.age.ms = 300000 metadata.max.idle.ms = 300000 metric.reporters = [] metrics.num.samples = 2 metrics.recording.level = INFO metrics.sample.window.ms = 30000 partitioner.class = class org.apache.kafka.clients.producer.internals.DefaultPartitioner receive.buffer.bytes = 32768 reconnect.backoff.max.ms = 1000 reconnect.backoff.ms = 50 request.timeout.ms = 30000 retries = 2147483647 retry.backoff.ms = 100 sasl.client.callback.handler.class = null sasl.jaas.config = null sasl.kerberos.kinit.cmd = /usr/bin/kinit sasl.kerberos.min.time.before.relogin = 60000 sasl.kerberos.service.name = null sasl.kerberos.ticket.renew.jitter = 0.05 sasl.kerberos.ticket.renew.window.factor = 0.8 sasl.login.callback.handler.class = null sasl.login.class = null sasl.login.connect.timeout.ms = null sasl.login.read.timeout.ms = null sasl.login.refresh.buffer.seconds = 300 sasl.login.refresh.min.period.seconds = 60 sasl.login.refresh.window.factor = 0.8 sasl.login.refresh.window.jitter = 0.05 sasl.login.retry.backoff.max.ms = 10000 sasl.login.retry.backoff.ms = 100 sasl.mechanism = GSSAPI sasl.oauthbearer.clock.skew.seconds = 30 sasl.oauthbearer.expected.audience = null sasl.oauthbearer.expected.issuer = null sasl.oauthbearer.jwks.endpoint.refresh.ms = 3600000 sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms = 10000 sasl.oauthbearer.jwks.endpoint.retry.backoff.ms = 100 sasl.oauthbearer.jwks.endpoint.url = null sasl.oauthbearer.scope.claim.name = scope sasl.oauthbearer.sub.claim.name = sub sasl.oauthbearer.token.endpoint.url = null security.protocol = PLAINTEXT security.providers = null send.buffer.bytes = 131072 socket.connection.setup.timeout.max.ms = 30000 socket.connection.setup.timeout.ms = 10000 ssl.cipher.suites = null ssl.enabled.protocols = [TLSv1.2, TLSv1.3] ssl.endpoint.identification.algorithm = https ssl.engine.factory.class = null ssl.key.password = null ssl.keymanager.algorithm = SunX509 ssl.keystore.certificate.chain = null ssl.keystore.key = null ssl.keystore.location = null ssl.keystore.password = null ssl.keystore.type = JKS ssl.protocol = TLSv1.3 ssl.provider = null ssl.secure .random.implementation = null ssl.trustmanager.algorithm = PKIX ssl.truststore.certificates = null ssl.truststore.location = null ssl.truststore.password = null ssl.truststore.type = JKS transaction.timeout.ms = 60000 transactional.id = null value.serializer = class org.apache.kafka.common.serialization.StringSerializer [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version: 3.1.0 [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commitId: 37edeed0777bacb3 [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka startTimeMs: 1735715926395 [kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.Metadata - [Producer clientId=producer-1] Resetting the last seen epoch of partition simple-topic-0 to 0 since the associated topicId changed from null to wPaCJ0MWQ1iZ8YrJVqk8zA [kafka-producer-network-thread | producer-1] INFO org.apache.kafka.clients.Metadata - [Producer clientId=producer-1] Cluster ID: 7AaNgISvTZmWslFvoaATIA [kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Error connecting to node min-VirtualBox:9092 (id: 0 rack: null) java.net .UnknownHostException: min-VirtualBox: nodename nor servname provided, or not known at java.base/ java.net .Inet6AddressImpl.lookupAllHostAddr(Native Method) at java.base/ java.net .InetAddress$PlatformNameService.lookupAllHostAddr(InetAddress.java:933) at java.base/ java.net .InetAddress.getAddressesFromNameService(InetAddress.java:1529) at java.base/ java.net .InetAddress$NameServiceAddresses.get(InetAddress.java:852) at java.base/ java.net .InetAddress.getAllByName0(InetAddress.java:1519) at java.base/ java.net .InetAddress.getAllByName(InetAddress.java:1377) at java.base/ java.net .InetAddress.getAllByName(InetAddress.java:1305) at org.apache.kafka.clients.DefaultHostResolver.resolve(DefaultHostResolver.java:27) at org.apache.kafka.clients.ClientUtils.resolve(ClientUtils.java:110) at org.apache.kafka.clients.ClusterConnectionStates$NodeConnectionState.currentAddress(ClusterConnectionStates.java:511) at org.apache.kafka.clients.ClusterConnectionStates$NodeConnectionState.access$200(ClusterConnectionStates.java:468) at org.apache.kafka.clients.ClusterConnectionStates.currentAddress(ClusterConnectionStates.java:173) at org.apache.kafka.clients.NetworkClient.initiateConnect(NetworkClient.java:984) at org.apache.kafka.clients.NetworkClient.ready(NetworkClient.java:301) at org.apache.kafka.clients.producer.internals.Sender.sendProducerData(Sender.java:354) at org.apache.kafka.clients.producer.internals.Sender.runOnce(Sender.java:327) at org.apache.kafka.clients.producer.internals.Sender.run (Sender.java:243) at java.base/ java.lang.Thread.run (Thread.java:833) 그리고 sudo vi/ etc/hosts로192.168.56.101 min hosts 세팅은 완료했습니다
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
docker-compose.yml version: "3.9" services: redis-server: image: 'redis' container_name: redis-container restart: unless-stopped ports: - "6379:6379" healthcheck: test: ["CMD", "redis-cli", "ping"] interval: 5s timeout: 5s retries: 5 node-app: depends_on: redis-server: condition: service_healthy build: context: . dockerfile: Dockerfile container_name: node-app restart: on-failure ports: - "5000:8080" environment: - REDIS_URL=redis://redis-server:6379 server.js const express = require('express'); const redis = require('redis'); // Redis 클라이언트 생성 const client = redis.createClient({ url: process.env.REDIS_URL }); // Redis 연결 (async () => { try { await client.connect(); // 클라이언트 연결 console.log('Connected to Redis'); } catch (err) { console.error('Redis connection error:', err); } })(); const app = express(); // 초기값 설정 (async () => { try { await client.set('number', 0); } catch (err) { console.error('Failed to initialize Redis key:', err); } })(); app.get('/', async (req, res) => { try { // Redis 값 읽기 및 증가 const number = await client.get('number'); await client.set('number', parseInt(number) + 1); res.send(`숫자가 1씩 올라갑니다. ${number}`); } catch (err) { console.error('Error handling Redis operations:', err); res.status(500).send('Server error'); } }); app.listen(8080, () => { console.log('Server is running on port 8080'); }); node는 18버전 레디스 클라이언트 모듈은 4.7.0 입니다
미해결
카프카 완벽 가이드 - 코어편
안녕하세요 강사님 강의 잘 듣고 있습니다. 혹시 Consumer Group과 Consumer Rebalancing 실습 부분에서 제일 위에 broker message 뜨게 하는 명령어가 어떤 건지 알 수 있을까요?
미해결
[리뉴얼] 처음하는 SQL과 데이터베이스(MySQL) 부트캠프 [입문부터 활용까지]
sql_safe_updates 옵션때문에 강의처럼 쿼리문을 작성할 경우, 업데이트가 되지 않습니다. 이 부분은 끄고 진행해도 되나요? 그리고 현업에서 보통 끄고 데이터 작업을 하는지 궁금합니다
미해결
15일간의 빅데이터 파일럿 프로젝트
아직 수업 듣기전인데 이 프로젝트에 프론트도 포함되어 있나요? 결과물을 화면과 연계해서 보고 싶습니다
미해결
카프카 완벽 가이드 - 코어편
배치 상황을 고려해서 궁금증이 생겨 질문드립니다! B0, B1이 같은 배치로 묶여 있고 B0이 broker에서 저장이 실패되었 을때 producer에 저장 실패로 retry를 보내고 broker에서는 B0, B1 모두 저장에 실패 되나요? 아니면 B1은 저장되고 B0만 retry로 다시 send를 보낼 수 있는 기회가 생기나요?
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요, 강사님 강의를 들으며 꾸준히 배우고 성장하고 싶었는데, 예상치 못한 일정들로 인해 충분히 강의를 소화하지 못한 점이 아쉬움으로 남습니다. 현재 수강 기간이 얼마 남지 않아, 남은 강의를 보다 충실히 학습할 수 있도록 수강 기간 연장을 요청드려봅니다..
미해결
Airflow 마스터 클래스
강사님, 안녕하세요. 다중 스케줄러 실행 시 정상적으로 동작하고 있는지 확인할 수 있는 방법에 대해 문의드립니다. 현재 Worker와 Scheduler를 다중으로 실행하여 고가용성 테스트를 진행 중입니다. Worker의 경우 Celery Flower를 통해 정상적으로 Sync가 이뤄지는 것을 확인하였습니다. 다만 Scheduler의 경우 뭔가 정확하게 확인이 안되는 것 같습니다. 우선 제가 찾은 방법으로는 메타 테이블 조회와 커맨드가 있습니다. 메타 테이블 조회 아래와 같이 조회하면 running인 상태의 host가 Scheduler 수만큼 조회됩니다. hostname도 모두 일치합니다. select * from job where job_type = 'SchedulerJob' and state = 'running'; 커맨드 아래와 같이 커맨드 실행 시 'Found one alive job.'이 출력됩니다. $ airflow jobs check --job-type SchedulerJob Found one alive job. Scheduler 로그 확인 시 모두 heartbeat은 계속 요청하고 있습니다. 혹시 Worker와 같이 명확하게 다중 스케줄러 환경인지 확인하는 방법이 있을까요?
미해결
Airflow 마스터 클래스
variables 를 추가하는 강의에서 variables 추가하고, dags_bash_with_variable.py를 생성후, git push 하고 나중에 봣더니 그 많던 dag(examples + 강의때 따라한 dag) 들중에 딸랑 3개만 보이고 안보여요.. dags 폴더 하위를 찾아가보니 파일은 그대로 존재하는데.. 왜 3개만보이는건지 .. 혹시 확인해볼만한 로그들이나... 이유에 대해서 아실까요..? docker exec -it {스케줄러노드ID} bash 로 들어가서 dags도 확인해봤습니다.
미해결
카프카 완벽 가이드 - 코어편
안녕하세요 개발자님. 컴프런트 카프카 최근 버전들 중 실무에서 사용하기 좋은 버전은 뭐가 있을까요? (connect, ksql 등 호환 잘되는) ubuntu 22.04 LTS 카프카 와 주키퍼 버전이 궁금합니다. 오래전 집에서 강의 따라 해보고, 실무에 사용 해보고 싶어서 다시 처음 부터 듣고 있는데, 카프카 와 주키퍼 호환에 대해 궁금 하여 문의 드리게 되었습니다. 공식 문서를 참조 하라는 인강 내용이 있었지만, 확실한 마음이 놓이지 않아 문의 드리게 되었습니다. 최신 버전이면서, 실무에 사용해도 적합한 버전이 궁금합니다,
미해결
Airflow 마스터 클래스
안녕하세요 강사님 강의 잘 보고 있습니다 다름이 아니라 특정 조건에서 task가 실행되지 않아 해결방법을 묻고자 글을 남깁니다. task가 실행되지 않고 발생하는 log *** Could not read served logs: Invalid URL 'http://:8793/log/dag_id=dags_get_data_python_operator/run_id=manual__2024-12-20T09:11:57.447383+00:00/task_id=refine_data_/attempt=1.log': No host supplied branch에 따른 dag에 작성한 taskflow는 다음과 같습니다 get_data_ >> check_dir_ >> get_yesterday_data_ >> refine_data_ >> delete_data get_data_ >> check_dir_ >> refine_data_ >> delete_data batch 당일 데이터와 전날 데이터를 이용해서 spark를 이용해 정제하는 작업인데, 전날 데이터가 수집되어있지 않다면 수집하고나서 sparksubmit을 하도록 task를 구성했습니다. 전날 데이터가 없는 상태로 dag를 실행하면 전체task가 잘 실행이되고 전날데이터가 존재한다면 원하는 task 까지 skipped이 되고 해당 log가 나오네요 ㅠㅠ task 플로우를 잘못 작성한 이유일까요 ? 추가) BranchPython task에 찍힌 log 입니다.
미해결
카프카 완벽 가이드 - 코어편
안녕하세요 개발자 동영상 및 보이스 실시간 전송 관련 문의 드립니다. IOT 장비로 들어오는 동영상 및 보이스를 실시간(준실시간) 으로 kafka로 전송 받을 수 있을까여? 아니면 동영상 이나 보이스 는 실시간으로 받는 방법으로는 kafka 말고 다른 것을 사용 하나요? 너무 궁금 합니다.
해결됨
Airflow 마스터 클래스
안녕하세요. airflow 파일의 폴더 구성에 대해 문의드립니다. airflow 를 사용하다보면 dag 외에 여러 파일이 필요한데 이때 해당 파일을 어떻게 정리하면 좋을지 궁금해서요. plugins 폴더에는 PythonOperator 에서 사용하는 함수 혹은 커스텀 오퍼레이터를 작성하는거 같습니다. 궁금한점은 오퍼레이터에 간접적으로 사용되는 함수도 plugins 폴더에 위치하는지 궁금합니다. 예를 들어 SQL 파일을 읽을때 SQL 파일을 읽어주는 함수를 작성한다고 해보면 해당 함수는 오퍼레이터에 간접적으로 사용됩니다. 그러면 해당 함수도 plugins 폴더에 위치하는게 권장되는걸까요 아니면 dags 폴더에 위치하는게 좋을까요? shell 파일은 plugins 폴더에 위치하는게 좋다고 하셨는데 그러면 sql 파일은 어떻게 위치하는게 좋은지 궁금합니다. 아래와 같은 방식이면 되는지 확인 부탁드립니다!. dags plugins ......ㄴ sql ............ㄴ read_table.sql ......ㄴ lib ............ㄴ common.py ......ㄴ shell ............ㄴ file_read.sh ......ㄴ custom_operator ............ㄴ file_parse.py dags 폴더에는 정말 dag 파일만 위치하는게 좋은지도 궁금합니다.
미해결
카프카 완벽 가이드 - 커넥트(Connect) 편
MSSQL-Server 용도로 Debezium cdc source를 등록해서 사용하고 싶습니다만, 아래와 같이 config 등록 시 { "name": "mssql_cdc_oc_source_01", "config": { "connector.class": "io.debezium.connector.sqlserver.SqlServerConnector", "database.encrypt": "false", "database.hostname": "***.***.***.***", "database.port": "1433", "database.user": "userid", "database.password": "password", "database.names": "dbname", "topic.prefix": "MSSQL", "schema.history.internal.kafka.bootstrap.servers": "192.168.56.101:9096", "schema.history.internal.kafka.topic": "sh-history", "schema.history.internal.store.only.captured.tables.ddl": "true", "schema.history.internal.store.only.captured.databases.ddl": "true" } } 아래와 같은 에러가 납니다.,ㅠㅠ HTTP/1.1 400 Bad Request Content-Length: 280 Content-Type: application/json Date: Mon, 16 Dec 2024 02:16:43 GMT Server: Jetty(9.4.44.v20210927) { "error_code": 400, "message": "Connector configuration is invalid and contains the following 3 error(s):\nA value is required\nA value is required\nA value is required\nYou can also find the above list of errors at the endpoint /connector-plugins/{connectorType}/config/validate " } 문제 해결 방법이나, SQL-Server용 예제 소스를 제공해 주실 수 있는지요??? 회신 메일주소는 : sentrino@naver.com입니다. 감사합니다!
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요. 개발자님 실시간 이미지 및 동영상 을 kafka 로 전달 전처리 이후 다시 kafka로 전송 하는 방식이 긍금합니다. IOT 장비(카메라) 로 이미지 및 동영상으로 받아 kafka 전달 받아 전처리 후 다시 kafka로 전달 하고자 합니다. 해본 적 없어 궁금 하여 문의 드립니다. 이미지나 동영상의 경우 데이터 가 클거라고 생각 합니다. 그럴 경우 데이터를 세그먼트하여 카프카 전달 하는 걸까요? 글러 경우 순서가 보장 되어야 된느데, 하나의 파티션으로 만 전달 하여 처리 하나요? 아니면 세그먼트에 식별값과 offest을 넣어 한곳에서 받아서 처리 하는 방식인가여? 동영상과 이미지 처리에 대한 경험이 없어 이해할 수가 없네요. 동영상 및 이미지를 카르카로 전송 하는 방법과 카프카로 전송된 동영상과 이미지를 수신 하는 방법이 궁금합니다. connetor or stream 보편적으로 이 도구를 사용 하나요? 혹시 이런 사례 발표한 레퍼런스가 있다면 추천 부탁드립니다.
