-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
flume으로 파일이 잘 넘어갔는지 확인하는 부분에서 오류가 납니다ㅠㅠ
21.09.30 18:33 작성 조회수 223
0
안녕하세요 플럼에서 자꾸 오류가 나서 문의 드립니다....
답변을 작성해보세요.
0
Big.D
지식공유자2021.10.05
네..플럼에 문제가 없다면, 하둡(HDFS)을 의심해 봐야할 것 같습니다.
플럼이 HDFS_Sink를 통해 하둡에 데이터를 적재 하게 되는데, 하둡에 문제가 발생하면 플럼에까지 영향을 주게 됩니다.
우선 CM홈에서 HDFS / YARN / Zookeeper 서버의 상태가 정상인지 확인해봐 주시고요..
(각 서버들의 상태가 셧다운 되어 있는지, 오류는 없는지 등을 확인)
그리고 하둡이 Safe Mode로 전환 됐는지도 Putty로 접속해 아래 명령으로 확인 부탁 드립니다.
$ hdfs dfsadmin -safemode get
만약 Safe 모드가 On 이라면 아래명령으로 해제해 주세요.
$ hdfs dfsadmin -safemode leave
- 빅디 드림
0
Big.D
지식공유자2021.09.30
안녕하세요! 빅디 입니다.
현재 보여진 로그만 가지고는 정확한 원인을 찾기가 어렵습니다. TT
좀더 위에 있는 로그들도좀 보여 주시고요~
그전에 의심스러운 부분을 추측해 보면...플럼의 채널에서 Full 이 발생 했다는 로그를 볼 수 있는데요..
앞선 강의에서 플럼 활경설정에서 힙메모리를 늘려 주었는지 체크해 보시고요..
두번째는 스마트카 로그시뮬레이터가 동시에 여러개 실행 되었는지도 확인해 보시고요..
요렇게 2개만 우선 체크하고, 아래 절차대로 진행해 봐 주세요.
1. 로그시뮬레이터 종료
2. 플럼 서비스 종료
3. car-batch-log 경로의 데이터를 아래 명령으로 모두 삭제
$ rm -rf /home/pilot-pjt/working/car-batch/*
4. 플럼 서비스 시작
5. 로그시뮬레이터 실행
이렇게 처음부터 다시 테스트해 보시기 바랍니다. -빅디 드림
답변 2