Inflearn Community Q&A
asked
Flume SmartCar Agent 작동 테스트 에러 발생했습니다.
Written on
·
281
0
스마트상태정보파일을 car-batch-log폴더에 옮기고 flume 로그 실행하면 위와 같이 "SpoolDirectorySource : The Channel is full~" ,더이상 진행이 어렵습니다. 에러 원인을 인터넷으로 찾아보니, 이벤트가 모두 저장이 되지 않은 상태에서 파일을 옮겼기 때문이라고 합니다. 분명 100MB를 채워진것을 확인후 옮겼습니다. 그렇다보니 "collect" 폴더를 만들지 못했습니다. 해결 방안이 있을까요?
데이터 엔지니어링ZooKeeperImpalaFlumeredisKafkaHadoopbigdata
Answer 1
0
빅디
Instructor
안녕하세요! "zpzgmain"님!
플럼의 채널(메모리 채널) Full 현상은 해당 작업 수행중 일시적으로 발생 할 수도 있습니다.
또한 파일럿 프로젝트 실습중엔 아래의 원인들로 관련 문제가 발생 할 수 도 있는데요..
이전 작업이 완료 되지 않은 상태로 플럼이 종료 되었고, 이후 새로운 작업을 실행 했을 때
플럼의 채널 설정을 임으로 변경해 Heap 메모리가 부족 할 때
플럼 Sink로 적재 할 타겟 시스템에 오버헤드가 발생해 처리가 늦어 질 때
특별한 경우가 아니라면 1번의 이유로 해당 문제가 왕왕 발생합니다. ^^;;
이땐 플럼을 정상 종료/시작 하고, 남아 있는 작업이 완료 될 때까지 기다렸다가 테스트해 보세요~
ps. 플럼의 힙메모리 및 채널의 버퍼 사이즈를 늘리는 방법도 있는데요, 파일럿 환경을 그대로 이용중 이시라면 해당 설정의 문제는 아닙니다.
-빅디 드림