173만명의 커뮤니티!! 함께 토론해봐요.
미해결
다양한 사례로 익히는 SQL 데이터 분석
안녕하세요, Pandas 연계 과정 중 위와 같은 오류가 지속적으로 발생합니다. 아나콘다 관리자모드에서 psycopg2-binary 인스톨 완료했으며, 패스워드와 로컬호스트 넘버도 이상 없습니다. 버전도 모두 상위 버전으로 이상 없습니다. 해결 방법 문의 드립니다. 감사합니다.
미해결
Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기
~/hadoop$ hadoop fs -ls 2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 이 에러로 문의드렸습니다. 네 가지 설정파일 캡처 첨부해 재문의드립니다. 참고로 저는 계정명을 hadoop으로 설정하여 neuavenue를 hadoop으로 바꿔서 입력하였습니다. 제발 답변 부탁드려요.. 같은 부분에서 막혀 지우고 재설치만 세번째입니다 ㅠㅠ
미해결
Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기
~/hadoop$ hadoop fs -ls 2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable fs 명령어를 실행하면 native-hadoop library를 load할 수 없다는 경고가 뜨면서 명령이 실행되지 않습니다. 하둡 설치 및 설정 과정은 제공해주신 문서 두세번씩 훑으면서 제대로 설정했는데, 어떻게 해야 고칠 수 있을까요 ㅠㅠ? 혹시 우분투를 22.04.3 LTS로 설치하였는데 버전이 달라서 생기는 문제인가요..? 참고로 하둡 설치할 때 강의에 나온 링크는 존재하지 않는다고 나와서 $wget https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz 여기서 설치하였습니다. 자바는 동일한 버전인 8u271을 설치하였는데, 강의와 다르게 Linux ARM 64 Compressed Archive로 설치했어요.
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
카프카 강의 세그먼트와 삭제주기챕터에서 min.cleanable.dirty.ratio 설정에 대한 내용을 듣던중 궁금한 점이 생겼습니다. 액티브 세그먼트가 용량이나 시간 정책에 따라 헤드 세그먼트가 되었을 때 테일 세그먼트와 비교해서 ratio가 충족되지 않았을 경우에는 compact가 이뤄지지 않는 것인가요? 만약 그렇게 된다면 이 헤드 세그먼트는 앞으로 계속 더티 레코드를 가지고 있는 상태가 유지가 되는 것인지, 이 헤드 세그먼트가 시간이 지나 테일 세그먼트가 되었을 때는 새로운 헤드 세그먼트와 비교를 하게 될텐데 클린 레코드가 아닌데 ratio가 의미없어지는게 아닌지 생각이 들더라구요. 이에 대해서 알려주시면 감사하겠습니다 :)
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
container 들어가서 files 확인해보면 server.js 변경사항이 잘 반영되어 있습니다 근데 terminal로 들어가서 확인하면 변경사항이 반영이안되고 있어요 컨테이너 자체는 file이 변경사항 update는 잘되고 있는거 같은데 껏다 켯다 해봐도 terminal에서는 update가 안됩니다. 웹브라우져 캐시 clear 해봤구요 다른 포트에서도 띄워봐도 똑같이 나와요 npm이 변경사항을 감지를 못하나 싶어서 nodemon 깔아서 해볼까 하는데 강의자님은 nodemon 까신건 아닌거같은데 좀 도와주세요 ㅠㅠ~~~ 보니까 바인드 마운트는 잘된거 같은데 ㅜㅜ
미해결
15일간의 빅데이터 파일럿 프로젝트
어떤 식으로 해결해야할 지 잘 모르겠습니다 ㅠ 밑 캡처본은 Assign Roles 현황입니다
미해결
따라하며 배우는 도커와 CI환경 [2023.11 업데이트]
도커파일로 이미지 빌드 시 멀티 스테이지로 테스트를 실행하려고 합니디. 테스트 실행 시 testcontainers mysql를 도커로 실행되어야 하는데 가능한건지 궁금합니다. 여러 시도를 했지만 실패했네요.. 이미지 빌드 시가 아닌 컨테이너 실행 후 내부에서는 도커가 실행되는 것을 확인했습니다. 도커 파일의 RUN에서는 컨테이너가 실행되지 않았습니다.
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
... [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.streams.processor.internals.StreamThread - stream-thread [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] State transition from PARTITIONS_ASSIGNED to PENDING_SHUTDOWN [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.streams.processor.internals.StreamThread - stream-thread [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] Shutting down [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.clients.consumer.KafkaConsumer - [Consumer clientId=order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1-restore-consumer, groupId=null] Unsubscribed all topics or patterns and assigned partitions [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.clients.producer.KafkaProducer - [Producer clientId=order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1-producer] Closing the Kafka producer with timeoutMillis = 9223372036854775807 ms. [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.streams.processor.internals.StreamThread - stream-thread [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] State transition from PENDING_SHUTDOWN to DEAD [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.streams.KafkaStreams - stream-client [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43] State transition from REBALANCING to ERROR [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] ERROR org.apache.kafka.streams.KafkaStreams - stream-client [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43] All stream threads have died. The instance will be in error state and should be closed. [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.streams.processor.internals.StreamThread - stream-thread [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] Shutdown complete Exception in thread "order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1" java.lang.UnsatisfiedLinkError: /private/var/folders/16/xqv9hsq91sn7glvzckc__r100000gn/T/librocksdbjni3612565276450787735.jnilib: dlopen(/private/var/folders/16/xqv9hsq91sn7glvzckc__r100000gn/T/librocksdbjni3612565276450787735.jnilib, 0x0001): tried: '/private/var/folders/16/xqv9hsq91sn7glvzckc__r100000gn/T/librocksdbjni3612565276450787735.jnilib' (mach-o file, but is an incompatible architecture (have 'x86_64', need 'arm64e')) 샘플 코드 실행 시 해당 에러가 계속 발생하고 있습니다. 원인을 알 수 있을까요?
미해결
카프카 완벽 가이드 - 코어편
mac os 환경에서 utm에 ubuntu 설치해서 사용중입니다. 고정 IP할당하는 부분에서, 강의는 virtual box로 설명되어 세팅값 설정하는데 어려움이 있습니다 구글링 해봐도 "utm ubuntu 수동 ip 설정" 관련해서는 따로 자료가 없어서요! ㅠㅠ utm > edit selected vm > Devices > 네트워크 > 고급 설정 보기 다음에 어떤걸 설정해야되는지 모르겠습니다!
미해결
다양한 사례로 익히는 SQL 데이터 분석
데이터 복원 과정에서 에러가 발생하여 문의 드립니다. OS는 윈도우 11 사용하고 있구요, DBeaver는 23.1.5버전, Postgresql은 11.2.1 버전 사용하고 있습니다.
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
consume lag 모니터링 툴로 prometheus + grafana는 어떻게 생각하시나 궁금합니다~! prometheus에서 슬라이딩 윈도우를 지원하는 것으로 아는데, 블로그를 보다 kafka jmx exporter를 prometheus jmx metrics를 봐서요!
해결됨
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
안녕하세요 강의 잘 듣고 있습니다. 강의 [섹션 5 카프카 프로듀서 애플리케이션 개발 > 메시지 키를 가진 프로듀서 애플리케이션] 에서의 질문 드립니다.. 질문 1. 강의를 따라가며 실습을 그대로 진행해보고 있는데.. 아래와 같이 kafka-console-consumer 명령어에 --from-beginning 옵션을 주고 실행했을 때.. 보낸 순서대로 출력이 이루어지지 않는것으로 보여서 이유가 무엇인지 궁금합니다.. 질문 2. 애플리케이션에서 key1-value1 을 먼저 send 하고 key2-value2 를 send 하는 순서로 실행을하면.. kafka-console-consumer 명령어로 실시간으로 출력되는 것을 보았을 때.. key2 가 먼저 출력되고 key1 이 출력됩니다.. 이 경우 무엇이 잘못 된건지 궁금합니다. 실습환경 Kafka 2.5.0 코드는 3.4.1 kafka-producer 의 ProducerWithKeyValue 를 key value 값만 변경하였습니다. 감사합니다.
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
하나의 서버에 하나의 브로커가 설치 되어 있다고 말씀해 주셨는데 복제 옵션이 3일 때, 적어도 3개의 서버를 실행되고 있어야 하는 건가요?
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 강사님! 먼저 좋은 강의 만들어주셔서 진심으로 감사드립니다. 다름이 아니라 궁금한 점이 있는데요, 많은 사람들이 이야기하는 것이 hadoop과 스파크에 대한 비교인데요. 스파크의 인메모리 처리를 통한 속도 향상으로 인해 하둡을 넘어섰다(?) 이런 얘기가 많이 있는 것 같습니다. 그런데 본 강의에서는 스파크가 하이브와 비교되고 sql 언어를 맵리듀스로 처리하게 해주는 용도로 설명해주신 것으로 이해했습니다. 스파크는 하둡과 같은 데이터베이스가 아닌것인지 궁금합니다!
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
설날 추석을 예를 들어 설명을 해주셨는데요. 트래픽이 늘어날 경우 일시적으로 파티션 개수와 컨슈머 개수를 늘린다는 의미가 와닿지 않습니다. 파티션 개수는 늘릴 순 있지만, 줄일 수 없다고 강의를 통해 이해했습니다. 그럼 일시적인게 아니라 한번 늘리면 끝인게 아닌가 싶어서요. 그래서, 처음 파티션 개수를 설정할 때 넉넉하게 50~100개를 설정하면 이와 같은 이슈는 거의 발생하지 않고, 혹시라도 발생할 경우 더 많은 파티션 개수를 늘려야하지 않을까 싶습니다. 근데 특정 날에만 트래픽이 몰리는건데 파티션 개수를 많이 늘려놓으면, 트래픽이 적을 때는 아무 상관이 없을까요? 리밸런싱이 안생기면 좋겠지만, 리밸런싱이 실행되면 그 시간이 증가할거라 예상됩니다.
미해결
카프카 완벽 가이드 - 코어편
wakeup()이 호출되지 않으면 종료되지 않고 다시 실행되는 이유가 무엇일까요..?
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
bootstrap.servers 에 2개 이상의 브로커 정보를 입력하는 이유가 무엇일까요? 제가 생각하기로는 클러스터에 대한 주소 1개를 입력하면 되는게 아닌가 싶어서요 그래야지만 특정 브로커에서 문제가 생겼을 때 클러스터에 있는 다른 브로커로 접속해서 이슈가 없도록 설정하는 개념이 아닌가요? 클러스터에 있는 브로커중 2개 이상을 임의로 입력해야한다는 것인데, 항상 클러스터에 있는 모든 브로커 개수를 입력해야한가요? 그럼 브로커가 추가될 때마다 소스에 있는 bootstrap.servers 정보를 수정해야 하는게 아닌가요? 제가 원리를 잘못 이해한 것인지 답변부탁드립니다.
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
특정 토픽에 대한 파티션을 3개를 만든 후 소스에서 컨슈머 그룹에 대한 컨슈머를 3개를 만들었습니다. 운영 환경에서 실행중인 서버가 1개인데 CPU 사용량으로 인한 오토스케일링이 발생하여 서버가 2개가 되었을 때, 그럼 총 6개의 컨슈머가 생성되는 것이라고 생각됩니다. 그럼 3개의 컨슈머는 idle 상태로 놀고 있는게 아닌가 싶습니다. 제가 이해한게 맞을까요? 실제 운영 환경에서 이런 경우는 어떻게 하는게 좋은 방법일지 궁금합니다. --------------- 멀티스레드 컨슈머 애플리케이션 강의를 들었습니다. 그렇다면 강사님께서는 토픽 + 컨슈머 그룹 + 컨슈머 별로 각각의 프로세스를 실행시키나요? 다른 강의에서 파티션의 개수를 충분히 많은 개수 50~100개를 권장하셨는데.. 그럼 프로세스가 너무 많이 떠있는거라 생각되서요.. 강의 예로는 아래와 같이 컨슈머가 있다면, 총 7개의 프로세스에 단일 쓰레드로 실행시키는 걸까요? ex) A-TOPIC A-TOPIC-GROUP-1 A-TOPIC-GROUP-1-CONSUMER-1 A-TOPIC-GROUP-1-CONSUMER-2 A-TOPIC-GROUP-2 A-TOPIC-GROUP-2-CONSUMER-1 A-TOPIC-GROUP-2-CONSUMER-2 A-TOPIC-GROUP-2-CONSUMER-3 B-TOPIC B-TOPIC-GROUP-1 B-TOPIC-GROUP-1-CONSUMER-1 B-TOPIC-GROUP-1-CONSUMER-2
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
카프카 프로듀서 소개 강의를 보다 질문드립니다. 프로듀서에서 레코드를 send하면 Accumulator에서 배치로 묶는 과정을 한다고 하셨는데요. 실제 Sender가 발생하는 시점에 프로듀서 애플리케이션에서 항상 1개의 배치 단위로 tcp 통신이 발생하나요? 아니면 내부적으로 여러개의 배치를 한번의 tcp 통신으로 통신할까요?
미해결
[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
주키퍼는 카프카 클러스터 당 최소 1개씩 존재하는 건가요? 주키퍼가 하는 역할이 무엇인지 잘 모르겠습니다.. 좀 더 추가적인 설명을 해주실 수 있을까요? 추가로 집필하신 책에 주키퍼에 대한 자세한 설명이 있을까요?
