flume으로 파일이 잘 넘어갔는지 확인하는 부분에서 오류가 납니다ㅠㅠ
387
작성한 질문수 1
안녕하세요 플럼에서 자꾸 오류가 나서 문의 드립니다....
답변 2
0
알려주신 방법으로 해보았지만 아직 오류가 해결되지 않아서 한번 더 문의드립니다...!
0
네..플럼에 문제가 없다면, 하둡(HDFS)을 의심해 봐야할 것 같습니다.
플럼이 HDFS_Sink를 통해 하둡에 데이터를 적재 하게 되는데, 하둡에 문제가 발생하면 플럼에까지 영향을 주게 됩니다.
우선 CM홈에서 HDFS / YARN / Zookeeper 서버의 상태가 정상인지 확인해봐 주시고요..
(각 서버들의 상태가 셧다운 되어 있는지, 오류는 없는지 등을 확인)
그리고 하둡이 Safe Mode로 전환 됐는지도 Putty로 접속해 아래 명령으로 확인 부탁 드립니다.
$ hdfs dfsadmin -safemode get
만약 Safe 모드가 On 이라면 아래명령으로 해제해 주세요.
$ hdfs dfsadmin -safemode leave
- 빅디 드림
0
안녕하세요! 빅디 입니다.
현재 보여진 로그만 가지고는 정확한 원인을 찾기가 어렵습니다. TT
좀더 위에 있는 로그들도좀 보여 주시고요~
그전에 의심스러운 부분을 추측해 보면...플럼의 채널에서 Full 이 발생 했다는 로그를 볼 수 있는데요..
앞선 강의에서 플럼 활경설정에서 힙메모리를 늘려 주었는지 체크해 보시고요..
두번째는 스마트카 로그시뮬레이터가 동시에 여러개 실행 되었는지도 확인해 보시고요..
요렇게 2개만 우선 체크하고, 아래 절차대로 진행해 봐 주세요.
1. 로그시뮬레이터 종료
2. 플럼 서비스 종료
3. car-batch-log 경로의 데이터를 아래 명령으로 모두 삭제
$ rm -rf /home/pilot-pjt/working/car-batch/*
4. 플럼 서비스 시작
5. 로그시뮬레이터 실행
이렇게 처음부터 다시 테스트해 보시기 바랍니다. -빅디 드림
주제영역3 데이타 조회 문의
0
55
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
99
2
gcc 설치 에러
0
132
3
클러스터 설정 오류
0
107
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
154
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
161
3
환경세팅 질문있습니다.
0
113
2
버쥬얼박스
0
83
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
184
3
하이브쿼리에서 에러
0
128
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
170
2
redis-cli 데이터 적재 확인
0
144
2
카프카 토픽 생성에서 에러
0
145
2
HDFS 명령어를 치는데 오류가 납니다
0
138
2
가상환경 내보내기
0
113
1
SpoolDIR 폴더로 옮기
0
112
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
129
2