inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

Flume SmartCar Agent 실행중 에러 발생(p157)....

214

작성자 없음

작성한 질문수 0

0

4장 적재(p157)

2022-08-30_15-09-16.png위와 같은 에러가 발생해서 "Create /pilot-pjt/collect~"를 만들수 없습니다. 해결 방안이 있을까요?

Hadoop bigdata redis ZooKeeper Flume Kafka Impala 데이터 엔지니어링

답변 1

0

Big.D

안녕하세요! "zpzgmain"님!

플럼의 채널(메모리 채널) Full 현상은 해당 작업 수행중 일시적으로 발생 할 수도 있습니다.

또한 파일럿 프로젝트 실습중엔 아래의 원인들로 관련 문제가 발생 할 수 도 있는데요..

  1. 이전 작업이 완료 되지 않은 상태로 플럼이 종료 되었고, 이후 새로운 작업을 실행 했을 때

  2. 플럼의 채널 설정을 임으로 변경해 Heap 메모리가 부족 할 때

  3. 플럼 Sink로 적재 할 타겟 시스템에 오버헤드가 발생해 처리가 늦어 질 때

특별한 경우가 아니라면 1번의 이유로 해당 문제가 왕왕 발생합니다. ^^;;

이땐 플럼을 정상 종료/시작 하고, 남아 있는 작업이 완료 될 때까지 기다렸다가 테스트해 보세요~

ps. 플럼의 힙메모리 및 채널의 버퍼 사이즈를 늘리는 방법도 있는데요, 파일럿 환경을 그대로 이용중 이시라면 해당 설정의 문제는 아닙니다.

-빅디 드림

주제영역3 데이타 조회 문의

0

54

2

환경 세팅 후 클라우데라매니저 삭제시

0

81

2

수강 기간 연장 부탁드립니다ㅠ

0

79

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

99

2

gcc 설치 에러

0

132

3

클러스터 설정 오류

0

105

2

클라우데라 클러스터 설치로 안넘어가짐

0

126

2

버추어박스 5.0 설치

0

154

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

92

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

161

3

환경세팅 질문있습니다.

0

113

2

버쥬얼박스

0

83

2

호스트 불량 문제에 관하여

0

113

2

하이브쿼리에서 에러가 나요...

0

184

3

하이브쿼리에서 에러

0

128

1

Hbase에 적재된 데이터 확인시 에러

0

159

2

파이썬 설치 시 에러

0

170

2

redis-cli 데이터 적재 확인

0

144

2

카프카 토픽 생성에서 에러

0

145

2

HDFS 명령어를 치는데 오류가 납니다

0

138

2

가상환경 내보내기

0

113

1

SpoolDIR 폴더로 옮기

0

112

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

128

2