데이터 적재 과정중 의견 주시면 감사하겠습니다.

안녕하세요, 빅디님

여러 일들로 오늘에서야 계획된 해결과정을 진행해볼 수 있었습니다.
결과는 성공했습니다. 문제는 생각보다 쉽게 해결되었는데요 (빅디님이 많이 도와 주신 덕분입니다.)

모든 근본적인 원인은 Java version 의 문제였습니다, hadoop 에서 버전 환경은 확인을 하였으나 hbase(https://hbase.apache.org/book.html#configuration) 지원 및 테스트 버전을 제대로 확인하지 않은 것을 시작으로 하여 storm 까지 영향을 입고 많은 고민을 하게 만들었네요.

파악한 문제는 hbase 에서 zookeeper 에 노드를 제대로 만들지 못한것과, storm 의 이상 동작 이였고 이는 java 버전이 원인으로 발생한것을 확인하였습니다.

꽤나 긴 기간동안 이것 저것 시도해보며 값진 경험을 했습니다. (버전별로 설치하고, 설정을 바꾸고 기동하고를 수십번 한것같습니다) 최신버전의 생태계일지라도 지원되는 java 버전을 확인하는 습관은 항상 들여야 한다는 걸 또 깨닫습니다.

아무쪼록 오랜 시간 지원해주셔서 감사합니다.
언제 또 뵐 수 있는 날 기대하겠습니다.

안녕하세요 빅디님.

주말까지 답변해주셔서 감사합니다.

빅디님 말씀처럼 포기하지는 않고 천천히 진행은 계속해볼예정입니다 격려 말씀으로 다시한번 마음을 다잡게 되네요.

첫째로 현재 사용중인 java version 은 11이며, 해결과정중 jdk 문제일 수 있다고 판단을 해서 jdk 8 로 변경후 진행을 예정하고 있습니다.

두번째로 주키퍼의 노드에는 해결과정 처음부터 /SmartCar-Topic 이 생성이 안된 상태였습니다.
예상하기로는 Storm 에서 /SmartCar-Topic 관련 노드를 생성하는 과정중 실패가 있었지만 인지하지 못하고 계속해서 찾는것처럼 보였습니다.

세번째로 스톰토폴로지(bigdata.smartcar.storm-1.0.jar) 는 올려주신 그대로도 사용해보았고, 제 환경에 맞게 java 빌드 (소스는 SmartCarDriverTopology.java 의 68 line 의 zkPathName 만 변경해서 java 11로 빌드해서 사용해보고 다시 원복하여 java 11로 빌드해서 사용해보았습니다) 후에도 테스트 해보았습니다.
결과는 생성되지도 않은 노드를 (/{변경한노드명}/{offsetId}) 참조하려고 생기는 오류 동일하게 났습니다.

안녕하세요 빅디님.

kafka 버전을 2.2.1 , 1.1.1 두가지 모두 설치후 진행하였으나 동일한 결과를 확인했습니다.

혹시 몰라 zookeeper 버전도 3.7.1 사용해봤으나 동일하였습니다.

해결과정중 jvm 관련 오류 처리도중 추가적으로 나온 오류들이 있어 별도로 화면 첨부하였습니다.
의견주시면 감사하겠습니다.

HBASE 연결수립 관련 오류는 nc 로 포트 정상접근까지는 확인한 상태입니다. (소스상에서는 zookeeper 설정되어있는 부분 확인했습니다)

생각보다 문제해결에 많은시간이 소요되고있네요, 계속해서 도움주셔서 감사합니다.

ps. 제공해주신 표준환경과 cloudera 없이 vm 환경과 앱들을 설치하며 진행해온 상황이라 우선은 그대로 강의를 쭉 보고 이후에 다시 천천히 진행해볼예정입니다.
여러 환경에 의해 많은 변수들이 있는 만큼 향후에 강의는 docker 환경으로도 제공해주시면 더욱 도움일 될 것 같습니다. 감사합니다!

안녕하세요.

네 말씀해주신대로 1-9 번 과정 진행했었고 +Topic 재생성도 진행해보았습니다.
zookeeper node 의 위치를 왜 '/SmartCar-Topic/6216a4f6-6ffa-4804-a14a-090a64726c21' dose not exists.;' 에서 보려고 하는지는 모르겠으나 Unable to get offset lags for kafka 의 Reason 으로 없는 위치의 zookeeper 노드를 참조하려고 하는 것 같아 보였습니다.

bigdata.smartcar.storm-1.0.jar 의 kafka 버전을 올려서 빌드해보려했으나 kafka.api.offsetrequest 가 버전 이후로 사라진듯하여 spout 배포에는 실패했습니다.

의견감사합니다 빅디님

스톰 버젼을 1.2.3로 바꿔서 kafka spout 이 기존 무반응 -> 반응 하는것으로 보아 버전문제는 맞는듯합니다.

이후로는 kafka 버전과 호환이 안되는건지 spout에서 다음과 같은 오류를 내는데요

Unable to get offset lags for kafka. Reason: java.lang.IllegalArgumentException: zk-node '/SmartCar-Topic/6216a4f6-6ffa-4804-a14a-090a64726c21' dose not exists. at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.getOldConsumerOffsetsFromZk(KafkaOffsetLagUtil.java:396) at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.getOffsetLags(KafkaOffsetLagUtil.java:277) at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.main(KafkaOffsetLagUtil.java:127)

zk-node '/SmartCar-Topic/6216a4f6-6ffa-4804-a14a-090a64726c21' dose not exists. /SmartCar-Topic 이 zookeeper node 에는 생성되어있지 않은것은 확인하였습니다.

 생각보다 해당오류의 원인에 대한 자료가 많이 없어서 다음 단계로는 kafka 버전 다운그레이드 또는 kafka spout 관련 library 버전 업그레이드 둘중하나 진행계획하고 있습니다.

의견주시면 감사하겠습니다.

우선 바쁘신와중 빠른 답변 감사드립니다.
제가 글을 두서없이 적은듯하여 다시 현 상황을 정리해보면,
kafka 의 SmartCar-Topic 은 만들어진 것을 확인했습니다.
zookeeper 노드에서는 ls /brokers/topics/SmartCar-Topic 에 노드가 있는것을 확인했고
질문을 드리고자 했던 부분은 소스상의 68 line의 zkPathName 이 /SmartCar-Topic 으로 할당된 부분에 대해 여쭤본것입니다.
SpoutConfig 의 해당 파라미터를 봤을때는 spout 의 consumer offset 저장 부분과 관련된듯하여 아래와 같이 진행해볼 예정입니다.
우선 말씀해주신 부분 살펴볼 예정이며, 다음은 pom.xml 상의 라이브러리 버전을 올린 후 수정 배포해볼 예정입니다.

Big.D 님의 의견이 남겨주시면 위 과정 이후에 다시 또 반복 진행 해보겠습니다.

pc. 현재 사용하는 버전은 아래 버전을 사용중 입니다.
zookeeper: 3.8.1
storm: 2.4.0
flume: 1.11.0
hadoop: 3.3.5
hbase: 2.5.4
kafka: 2.13-3.4.0
redis: 7.0.11

질문을 수정했는데 혹시 제가 미처 생각하지 못한 부분이 있는지 한번 의견주시면 감사하겠습니다.