Flume SmartCar Agent 작동 테스트 에러 발생했습니다.
312
작성한 질문수 5
스마트상태정보파일을 car-batch-log폴더에 옮기고 flume 로그 실행하면 위와 같이 "SpoolDirectorySource : The Channel is full~" ,더이상 진행이 어렵습니다. 에러 원인을 인터넷으로 찾아보니, 이벤트가 모두 저장이 되지 않은 상태에서 파일을 옮겼기 때문이라고 합니다. 분명 100MB를 채워진것을 확인후 옮겼습니다. 그렇다보니 "collect" 폴더를 만들지 못했습니다. 해결 방안이 있을까요?
답변 1
0
안녕하세요! "zpzgmain"님!
플럼의 채널(메모리 채널) Full 현상은 해당 작업 수행중 일시적으로 발생 할 수도 있습니다.
또한 파일럿 프로젝트 실습중엔 아래의 원인들로 관련 문제가 발생 할 수 도 있는데요..
이전 작업이 완료 되지 않은 상태로 플럼이 종료 되었고, 이후 새로운 작업을 실행 했을 때
플럼의 채널 설정을 임으로 변경해 Heap 메모리가 부족 할 때
플럼 Sink로 적재 할 타겟 시스템에 오버헤드가 발생해 처리가 늦어 질 때
특별한 경우가 아니라면 1번의 이유로 해당 문제가 왕왕 발생합니다. ^^;;
이땐 플럼을 정상 종료/시작 하고, 남아 있는 작업이 완료 될 때까지 기다렸다가 테스트해 보세요~
ps. 플럼의 힙메모리 및 채널의 버퍼 사이즈를 늘리는 방법도 있는데요, 파일럿 환경을 그대로 이용중 이시라면 해당 설정의 문제는 아닙니다.
-빅디 드림
주제영역3 데이타 조회 문의
0
58
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
101
2
gcc 설치 에러
0
138
3
클러스터 설정 오류
0
107
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
155
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
162
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
84
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
185
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
171
2
redis-cli 데이터 적재 확인
0
145
2
카프카 토픽 생성에서 에러
0
146
2
HDFS 명령어를 치는데 오류가 납니다
0
140
2
가상환경 내보내기
0
114
1
SpoolDIR 폴더로 옮기
0
113
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
130
2