[Apache Kafka Application Programming] From concepts to consumers, producers, connects, and streams!
KStream, KTable 조인 스트림즈 애플리케이션에서 에러가 발생하고 있습니다.
484
37 asked
...
[order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.streams.processor.internals.StreamThread - stream-thread [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] State transition from PARTITIONS_ASSIGNED to PENDING_SHUTDOWN
[order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.streams.processor.internals.StreamThread - stream-thread [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] Shutting down
[order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.clients.consumer.KafkaConsumer - [Consumer clientId=order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1-restore-consumer, groupId=null] Unsubscribed all topics or patterns and assigned partitions
[order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.clients.producer.KafkaProducer - [Producer clientId=order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1-producer] Closing the Kafka producer with timeoutMillis = 9223372036854775807 ms.
[order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.streams.processor.internals.StreamThread - stream-thread [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] State transition from PENDING_SHUTDOWN to DEAD
[order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.streams.KafkaStreams - stream-client [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43] State transition from REBALANCING to ERROR
[order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] ERROR org.apache.kafka.streams.KafkaStreams - stream-client [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43] All stream threads have died. The instance will be in error state and should be closed.
[order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] INFO org.apache.kafka.streams.processor.internals.StreamThread - stream-thread [order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1] Shutdown complete
Exception in thread "order-join-application-05b24bf4-65d2-4fda-83be-a754a4988a43-StreamThread-1" java.lang.UnsatisfiedLinkError: /private/var/folders/16/xqv9hsq91sn7glvzckc__r100000gn/T/librocksdbjni3612565276450787735.jnilib: dlopen(/private/var/folders/16/xqv9hsq91sn7glvzckc__r100000gn/T/librocksdbjni3612565276450787735.jnilib, 0x0001): tried: '/private/var/folders/16/xqv9hsq91sn7glvzckc__r100000gn/T/librocksdbjni3612565276450787735.jnilib' (mach-o file, but is an incompatible architecture (have 'x86_64', need 'arm64e'))샘플 코드 실행 시 해당 에러가 계속 발생하고 있습니다.
원인을 알 수 있을까요?
Answer 2
1
자답입니다.
m1 칩을 사용할 때 kafka-streams 라이브러리의 rocksDB 버전이 6.29.4.1 이상이여야 정상 동작합니다.
https://github.com/facebook/rocksdb/issues/7720
kafka-streams 2.5.0 + rocksDB 6.29.4.1을 사용할 경우 2개의 버전이 호환이 되지 않아 에러가 발생합니다.
정상적으로 사용하기 위해서 implementation 'org.apache.kafka:kafka-streams:3.2.0' 이상의 버전을 사용하시면 됩니다.
consume 이후 lag가 줄어들지 않음
0
71
2
안녕하세요. 강의의 카프카 버전과 현재 시점의 카프카의 차이점 문의 드립니다.
0
102
2
멱등성 프로듀서 retries 관련 질문입니다.
0
95
2
채팅 서비스 개발 시 주의점이 있을까요?
0
95
2
충분히 큰 파티션 생성시 궁금증이 존재합니다.
0
83
2
KTable 키가 없는 레코드 처리
0
70
2
컨슈머 테스트 코드 작성
0
92
2
리밸런스 onPartitionRevoked이 필요한 상황
0
72
2
카프카 클러스터에서 감당 가능한 파티션(레플리카) 수 문의
0
117
2
reset offset 질문
0
73
2
KStreamJoinKTable 실행시 오류
0
74
2
auto.commit.interval.ms 옵션 관련 질문 드립니다.
0
137
2
파티션, 컨슈머 그룹, 컨슈머 관련 질문
0
116
1
java, kotlin
0
126
2
shutdownThread 에 대한 문의 입니다.
0
151
2
zookeeper실행시 오류가 발생합니다.
0
265
2
커스텀 소스 커넥터에서 Thread.sleep (1000) 은 왜 하는거에요?
0
149
2
처리량을 늘리기 위해서 파티션을 늘리고 컨슈머를 늘려야한다고 설명하셨는데요
0
178
3
파티션 개수와 컨슈머 개수의 처리량 관련 질문
0
162
2
동영상 및 이미지 처리 관련 문의 드립니다.
0
221
2
주키퍼 없이 사용 문의 드립니다.
0
297
1
kafka 를 띄우니 오류가 발생하고 종료합니다.
0
278
3
zookeeper 실행시 오류 .. 무엇을 해야 할까요?
0
217
2
파티션 추가로 해결할 수 있지만 늘어난 파티션은 줄일 수 없지 않나요?
0
192
2