173만명의 커뮤니티!! 함께 토론해봐요.
미해결
카프카 완벽 가이드 - 커넥트(Connect) 편
안녕하세요~ 강의를 듣다가 binlog관련 궁금한 점이 생겨서 질문드립니다! 해당 커넥트의 offset정보에 담긴 binlog파일이 만약 삭제됐다면 기동 중에 오류가 발생한다고 말씀을 주셨는데, 그럼 만약 binlog 파일이 커져서 다음 파일?로 넘어가서 새로운 binlog파일로 생성이 된다면 오류는 발생하지 않고 offset에는 다음 binlog파일로 기록이 되는 것일까요?
해결됨
카프카 완벽 가이드 - 코어편
안녕하세요. 여러분의 삽집을 줄이기 위해 정보 공유합니다. 또한, 질문 게시판에 꽤 많은 같은 에러를 접하시는 분들이 계시는 것 같아, 공유합니다. 이미 선생님께서 해결 방안의 힌트를 남겨줘서 찾기 수월했습니다. 자세한 내용은 해당 링크( java.net .UnknownHostException )를 참고하세요.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요? 다름아니라 지금 다시 처음부터 실습을 해 보는 중인데 계속해서 해결이 않되는 부분이 있습니다. 카프카 부분인데요 분명히 토픽도 잘 생성된 것 같아서 메시지를 프로듀싱해보면 컨슈머에서 해당 메시지가 보이지 않아서 관련해서 트러블슈팅 팁을 문의드립니다. 관련 스크린샷은 아래에 첨부하였습니다. 감사합니다. 감사합니다.
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
이 수업 내용에서 하나의 토픽에 여러개의 파티션을 생성 할 수 있고 이 파티션은 하나의 리더 파티션에 다른 broker에 팔로워 파티션을 생성한다고 해주셨던걸로 기억합니다. 또한, producer와 consumer와 소통하는건 리더 파티션만 가능하다고 했는에 위 그림에서는 팔로워 파티션도 컨슈머와 소통가능한 걸로 보여서 헷갈려서 질문드립니다. 또한, 리더 파티션만 컨슈머와 소통가능한데 어떻게 병렬 처리가 가능하고 파티션 개수가 늘리면 처리량이 증가하는건지 잘 이해가 가지 않아서요. 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요! 머하웃에서 실행하는 추천 잡이 실행이 안되어서 질문 남깁니다..! 제가 시도한 방법은 다음과 같습니다 휴에서 보이는 잡들 모두 제거하고 실행 클라우데라에서 클러스터1을 재시작하고 실행 우지를 종료하고 실행 이 방법들로는 해결되지 않았습니다.. 어찌해야 할 지 모르겠어 질문 남깁니다..!!
미해결
실리콘밸리 데이터 리더가 알려주는 기초 SQL
다음과 같이 웨어하우스에서 다운로드시 404에러가 나오며 다운로드가 되지 않고 있습니다. 주소상 문제는 아닌 것 같고, 웨어하우스 한번 확인해 주시면 좋을 것 같습니다. 감사합니다.
해결됨
데이터 분석을 위한 파이썬: 입문부터 꿀팁까지
강의에서 윈도우는 따라 하기 힘들어서 강의 아래 자료에다가 윈도우에서 파이썬 실행하는 방법을 올려주신다고 했는데 도저히 찾을 수 없고, 강의자료도 못찾겠어요. 너무 복잡해요.... 자료 있는 곳 좀 알려주세요.
미해결
15일간의 빅데이터 파일럿 프로젝트
현재 실시간 데이터 수집부분에서 Storm Topology를 배포하는 단계에서 다음의 스크린샷과 같은 에러가 발생하였습니다. 참고로 저는 storm 버전 0.9.7을 설치하여 실습을 진행중이며 에러 관련 스크린샷은 아래와 같습니다. 어떻게 해결하면 좋을지 문의드립니다. 제공하여주신 jar파일에 의존성을 추가해서 해당 의존성을 다운로드해야 할 지 아니면 스톰의 버전을 정확하게 맞추어야 할 지 고민이 되어서 문의드립니다. 감사합니다.
미해결
카프카 완벽 가이드 - 코어편
안녕하세요. 강의를 보고 설치를 따라하는 중 sudo apt-get install openssh-server가 실행이 아래처럼 되지않아서문의 드립니다. sudo apt-get update를 해봤는데 라고 뜹니다. 원래는 중간에 us 부분이 kr 이었는데 https://blog.naver.com/lewisel/221893514069 해당 블로그를 보고 변경했습니다. (다른블로그의 %s/kr.archive.ubuntu.com/ftp.daumkakao.com 로 변경하라는 글도 실행해보았습니다.) 그래도 안되어서 찾아보니 dns정보를 입력하라는 글도 보아서 /etc/resolv.conf 에 nameserver 8.8.8.8도 추가해보았고, /etc/network/interfaces파일도 추가해서 dns-nameservers 8.8.8.8 도 추가해보았지만 그대로인 것 같습니다. 현재 다른 설정은 아래와 같습니다.
미해결
카프카 완벽 가이드 - ksqlDB
카프카 타임존은 다음과 같이 9시간 전인 시간인 데이터가 들어오고있습니다. 시스템 타임존은 다음과 같습니다. 동기화 방법을 좀 찾아봤는데 안되서 질문드립니다. kafka/config/server.properties log.message.timestamp.type=CreateTime KAFKA_JVM_PERFORMANCE_OPTS="-Duser.timezone=Asia/Seoul"
미해결
카프카 완벽 가이드 - ksqlDB
기동 로그 ====== [2025-01-18 01:45:25,945] ERROR Could not submit metrics to Confluent: version-check.confluent.io : Name or service not known ( io.confluent.support .metrics.utils.WebClient:112) [2025-01-18 01:45:25,945] ERROR Failed to submit metrics via secure endpoint, falling back to insecure endpoint ( io.confluent.support .metrics.submitters.ConfluentSubmitter:135) [2025-01-18 01:45:25,947] ERROR Could not submit metrics to Confluent: version-check.confluent.io ( io.confluent.support .metrics.utils.WebClient:112) [2025-01-18 01:45:25,947] ERROR Failed to submit metrics to Confluent via insecure endpoint= http://version-check.confluent.io/ksql/anon -- giving up ( io.confluent.support .metrics.submitters.ConfluentSubmitter:165) ======= 문제 해결 방법 ksql_start.sh 스크립트 변경 KSQL_OPTS="- Dconfluent.support .metrics.enable=false" $CONFLUENT_HOME/bin/ksql-server-start $CONFLUENT_HOME/etc/ksqldb/ ksql-server.properties 참고 자료 : https://github.com/Cyb3rWard0g/HELK/issues/377
미해결
Airflow 마스터 클래스
아래와 같은 에러가 발생했습니다. 비슷한 질문의 답글을 확인하여 아래내용도 다시 봤지만 수정잘 되어 있고, 컨테이너 디렉토리내 common 폴더와 파일 여부를 확인하였는데도 똑같은 오류가 납니다. docker-compose.yaml volumes 항목 수정 컨테이너에 들어가서 plugins 디렉토리 연결이 잘 되었는지 확인
미해결
Airflow 마스터 클래스
안녕하세요! 강의 항상 잘 보고 있습니다! 강의를 보고, 배치작업이 아닌 외부 api를 1분마다 호출해서 실시간 데이터처럼 보일 수 있게 데이터를 수집하는 로직을 짜고자 합니다. 이런 데이터 수집 작업도 airflow를 쓰기도 하나요?? 이렇게 요청이 자주 발생하는 작업은 airflow에서 비추천한다고 하는 글을 봐서 강사님의 생각은 어떤지 궁금합니다! 강의랑 큰 관련은 없는 주제일 수 있지만 만약 airflow를 사용하지 않는다면 보통 이런 로직을 구현할 때 어떤 기술을 사용하는지 궁금합니다...!
미해결
카프카 완벽 가이드 - 코어편
실습단계 : 섹션2 - Java 기반에서 Producer 구현하기 - 01 실습 환경 : Windows 11 Ent x64 한글, 16GB, SSD 문제 : Gradle 빌드나, 프로젝트 빌드하면 시간이 수십초(40여초) 걸립니다. 오후 5:51:51: 실행 중 'build'... 로그 출력된 후, 아래 나머지 로그는 마지막에 순식간에 표시됩니다. > Task :producers:compileJava > Task :producers:processResources NO-SOURCE > Task :producers:classes > Task :producers:jar > Task :producers:assemble > Task :producers:compileTestJava NO-SOURCE > Task :producers:processTestResources NO-SOURCE > Task :producers:testClasses UP-TO-DATE > Task :producers:test NO-SOURCE > Task :producers:check UP-TO-DATE > Task :producers:build BUILD SUCCESSFUL in 42s 2 actionable tasks: 2 executed 오후 5:52:34: 실행이 완료되었습니다 'build'. 왜그럴까요?
미해결
Airflow 마스터 클래스
수업내용 따라서 dag 작성 및 docker-compose.yaml 파일 수정하고 실행하였는데, ConnectionRefusedError: [Errno 111] Connection refused 해당 오류로 작업실패를 하게 됩니다. 어떻게 해결하면 될지 도움 부탁드립니다. 😭
해결됨
Airflow 마스터 클래스
실습내용 그대로 적용하여 진행하였는데, 정상적으로 dag는 실행되었는데 t1_orange의 로그값이 확인이 되지 않네요. t2_avocado는 로그가 정상적으로 확인이 되는데.. 어디를 놓치고 있는건지 모르겠어서요. 혹시 이유가 뭘까요
미해결
Airflow 마스터 클래스
안녕하세요 실습 진행 중 wsl을 이용해서 가상공간에서 작업을 진행하시는 것 같은데 도커데스크탑을 깔고 그 안에서 이미지들을 다운받는 식으로 작업을 하는 것과 차이가 있을까요? 제가 알기로는 터미널에서 코드 쳐서 다운 받는 것과 도커데스크탑에서 이미지 찾아서 다운 받는 것과의 차이는 없는 걸로 알고 있어서요 혹시 wsl로 작업을 하지않고 컴퓨터 두 대로 진행하려면 어떻게 해야될까요? 같은 네트워크에 있는 상태 입니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요, 선생님. Cloudera Manager 소프트웨어 설치 중 오류가 해결되지 않네요. 도움 부탁드려요! 오류 내용입니다.
미해결
Airflow 마스터 클래스
제가 지금 백엔드 프로젝트와 Airflow를 도커 컴포즈로 EC2에 올려서 테스트를 하고 있습니다. 혹시 airflow 웹페이지에서 DAG 목록 위에 Auto-refresh 버튼이 있는데 이 옵션을 끄면 dag이 정해진 스케줄에 작동하지 않는지 궁금합니다. 제가 검색해본 결과로는 dag 내용과 목록을 자동으로 최신화하는 옵션인 것 같은데 맞을까요..?? dag 실행에 문제만 없다면 리소스 절약을 위해서 이 옵션은 꺼놓는게 좋을 것 같아서요...
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요. 열강해주셨던 강의 들으며 공부하다 질문이 있어 글 남깁니다. 스파크에 대한 설명에서 '그리고 이 리듀스가 네트워크를 타고 들어온 로컬에 떨어진 앞에 리듀스의 결과를 다시 또 로컬로 떨어뜨린다'는 설명이 있었는데, 이 설명이 어떤 경우가 있는지 감이 잘 안와서 질문드립니다. 리듀스가 네트워크를 타고 들어온다는 것이 어떤 상황을 말하는건가요..? 감사합니다.
