선생님, 질문이 있습니다!

Question

안녕하세요 선생님, 지난번에 consumer가 메세지를 받지 못한다고 했던 사람입니다! 아래에 어떤 분이 저와 같은 문제를 겪고 계신것같은데, 제가 처음 질문드린 사람입니다! 말씀해주신대로 먼가 문제가 있어서 플럼 로그를 확인해보니 SmartCar-agent 컨피규레이터? 그런게 없다고 해서 플럼의 구성 tier를 확인해보니까 제가 SmartCar-Agent가 아니라 SmartCar-agent라고 카멜케이스를 지키지 않아서 생긴 문제 같습니다.  저게 컨슈머가 메세지를 받지 못하는것과 상관이 있나요?? 분명 오늘 다시해보니 hello bigdata는 잘 받는거같은데 그리고 다시 오늘 시도해보니 생긴 문제가  SmartcarStatusInfo20160101.txt 이 로그를 발생시켜서 working/SmartCar 안에 잘 있음을 계속 확인하고 mv 명령을 통해 해당 로그 파일을 car-batch-log 폴더로 옮기고 car-batch-log의 디렉토리를 확인해보면 total 0 아무것도 전달되지 않더라고요;; <--이 부분 어떻게 하면좋을까요ㅠㅠ  몇번씩 오타 확인을 해도, 그리고 mv명령을 쓰기 전 SmartCar 안 폴더에 txt가 잘 있는걸 확인해도 저 부분에서 문제가 있어서 여태  컨슈머가 잘 받지 못한건지 의아스럽네요..... 감사합니다!

sd4beatles · Answer

일단 batch-log는 잘 받아들여 지는 거 같습니다. agent 이름의 오류를 수정하고 나서는 데이터가 들어왔다는 것은 확인했습니다. 근데 여전히 카프카가 말썽이네요. 오류도 없는데,  당췌 데이터가 올라오는 것을 볼 수가 없습니다. 그냥 batch로만 받는 방법은 없는 건가요?  정말 이 부분때문에 저도 많이 지치네요 ㅠ.ㅠ

Big.D · Answer

안녕하세요! 빅디 입니다. 유사한 질문을 주신분이 계셔서 관련 답변을 복붙합니다. -빅디 올림 ----------------------------------------- 플럼은 작동할때 Agent 이름을 지정하는데 이때 Configuration에 설정된 이름을 사용 하게 되고  " No configuration found for this host:tier1.." 라는 경고 메세지는 Agent 이름(SmartCar_Agent) 이 Configuration 파일에 정의된 Agent 이름과 불일치 하여, 데이터를 수집/전송 하기 위해 파일럿 환경에 등록 했던 에이전트가 원천적으로 작동 되지 않은것 같습니다. 아래의 내용을 확인 하시고 조치해 보시기 바랍니다. 1. "클라우데라 매니져 Home > Flume > 구성" 선택 2. 구성의 중간 영역에 "Agent이름" 항목 확인 3. "SmartCar_Agent" 로 대소문자 구분 하여 명확히 표기 되어 있는지 확인 4. Flume 재기동 결국 3번이 파일럿 환경에서 사용하는 플럼의 에이전트 명이 되고, 정확히 입력 되어 있는지 확인해 보시기 바랍니다.