Cộng đồng Hỏi & Đáp của Inflearn
câu hỏi đã được viết
tail -f flume~ 오류
Viết
·
495
0
- [root@server02 flume-ng]# tail -f flume-cmf-flume-AGENT-server02.hadoop.com.log value.serializer = class org.apache.kafka.common.serialization.ByteArray Serializer
- INFO org.eclipse.jetty.server.Server: jetty-9.3.25.v2018 0904, build timestamp: 2018-09-05T06:11:46+09:00, git hash: 3ce520221d0240229c86 2b122d2b06c12a625732
- INFO org.eclipse.jetty.server.AbstractConnector: Started ServerConnector@470d2611{HTTP/1.1,[http/1.1]}{0.0.0.0:41414}
- INFO org.eclipse.jetty.server.Server: Started @5342ms
- INFO org.apache.kafka.common.utils.AppInfoParser: Kafka version: 2.2.1-cdh6.3.2
- INFO org.apache.kafka.common.utils.AppInfoParser: Kafka commitId: null
- INFO org.apache.flume.instrumentation.MonitoredCounterGr oup: Monitored counter group for type: SINK, name: DriverCarInfo_KafkaSink: Succ essfully registered new MBean.
- INFO org.apache.flume.instrumentation.MonitoredCounterGr oup: Component type: SINK, name: DriverCarInfo_KafkaSink started
- INFO org.apache.kafka.clients.Metadata: Cluster ID: lhtw uwZxS2CI85Bn_v6BuQ
재시작 했는데도 안되네요 ㅠㅠ
문제점이 무엇일까요?
HadoopbigdataZooKeeperImpalaKafkaFlumeredis데이터 엔지니어링
Câu trả lời 2
1
빅디
Người chia sẻ kiến thức
안녕하세요! 코드몽키님!
올려주신 Flume의 로그 내용이나, Cloudera Manager의 상태 정보로만 봤을땐 특이 사항이 없어 보입니다.
문제의 상황과 오류 메세지를 좀더 상세하게 올려 주시고요..
무엇인 안되는지를 좀더 구체적으로 설명해 주세요~
- 빅디 드림
0
doctorsong8309
Người đặt câu hỏi
11:30 쯤 영상에서 위와 같이 tail -f flume-cmf-flume~~~ 치면 flume.sink.hdfs.BucketWriter: Creating ~~ 설명하시는데, 저한테는 저부분이 뜨질 안항서 질문드렸습니다 .tmp 파일도 안만들어져서요
아~ 네!! 상황파악 됐습니다. ㅎㅎ
음...보여주신 로그상에서 특별히 에러가 없는 것으로 봤을땐..
플럼의 파일 수집 이벤트(SpoolDir)가 작동하지 않은것 같습니다.
우선 스마트카 시뮬레이터가 파일을 생성 하는 위치와, 플럼이 이 파일을 읽어 들이는 위치가 달라서 다소 헷갈릴 수 있는데요. 아래와 같습니다.
1. 로그시뮬레이터가 스마트카 상태파일을 생성하는 위치: /home/pilot-pjt/working/SmartCar/
2. 플럼이 스마트카 상태파일을 읽어 들이는 위치 : /home/pilot-pjt/working/car-batch-log/
이때 1번에 생성된 파일을 2번으로 이동 시켜줘야, 플럼의 파일 이벤트가 작동해서 해당 파일을 읽어 들이는데요..이를위해 아래 명령으로 1번에 생긴 파일을 2번으로 이동 시키는 명령이 잘 실행 됐었는지도 확인해 봐야 합니다.
$ mv /home/pilot-pjt/working/SmartCar/SmartCarStatusInfo_20160101.txt /home/pilot-pjt/working/car-batch-log/
해당 강의 내용중 "SmartCar 로그시뮬레이터 작동" 과 "플럼 이벤트 작동" 부분을 한번더 꼼꼼히 보시면서 실습해 보시기 바랍니다.
추가로 플럼의 Conf 파일 수정 사항이 미적용 되어서, 파일 수집 이벤트가 발생하지 않았을 수도 있습니다. "CM Home > Flume > 재시작"도 꼭 해보시기 바랍니다.
- 빅디 드림