inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

5.수집 파일럿 실행 3단계 - 플럼 기능 구현

DriverCarInfo

201

Louie(루이)

작성한 질문수 16

0

안녕하세요

SmartCar_Agent를 정의할 때에는 SmartCar_Agent.xxx = xxx과 같이 정의를 했는데

DriverCarInfo를 정의할 때에는 한 칸 띄는 것만으로 정의를 하더라고요

그렇다면 추가적인 Agent를 작성하게 되면 DriverCarInfo_Agent를 정의한 것처럼 한 칸 띄고 해야하는 건가요?

플럼 bigdata Hadoop 데이터 엔지니어링 ZooKeeper Impala redis Kafka Flume

답변 1

0

Big.D

안녕하세요! 빅디 입니다.

네 맞습니다. 플럼의 Conf 파일 규칙에 맞춰 추가 에이전트를 정의 할 수 있습니다.

하지만 플럼을 실전에서 대규모로 사용할 때는 하나의 Conf파일에 여러개의 에이전트를 정의 하지는 않습니다.

하나의 에이전트는 하나의 Conf 파일로 정의를 하는게 기본 입니다.

파일럿 프로젝트에서도 실시간 수집 에이전트와 배치 수집 에이전트를 2개의 Conf 파일로 분리 구성 하는게 정석이지만, 파일럿 환경의 특성상 복잡도를 줄이기 위핸 단순한 구성을 한것입니다.

수집/적재에 관심이 있으시면 플럼의 아키텍처를 좀더 깊이 있게 공부해 보는 것을 추천 드립니다.

추가로 플럼외에도 NiFi, Flunted, Logtash 등 다양한 오픈소스 수집 프로그램 등이 있으니 차고 하시기 바랍니다.

- 빅디 올림

주제영역3 데이타 조회 문의

0

39

2

환경 세팅 후 클라우데라매니저 삭제시

0

64

2

수강 기간 연장 부탁드립니다ㅠ

0

59

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

87

2

gcc 설치 에러

0

117

3

클러스터 설정 오류

0

87

2

클라우데라 클러스터 설치로 안넘어가짐

0

119

2

버추어박스 5.0 설치

0

141

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

79

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

148

3

환경세팅 질문있습니다.

0

106

2

버쥬얼박스

0

75

2

호스트 불량 문제에 관하여

0

109

2

하이브쿼리에서 에러가 나요...

0

168

3

하이브쿼리에서 에러

0

119

1

Hbase에 적재된 데이터 확인시 에러

0

146

2

파이썬 설치 시 에러

0

159

2

redis-cli 데이터 적재 확인

0

142

2

카프카 토픽 생성에서 에러

0

137

2

HDFS 명령어를 치는데 오류가 납니다

0

135

2

가상환경 내보내기

0

109

1

SpoolDIR 폴더로 옮기

0

103

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

122

2