inflearn logo
강의

Course

Instructor

Data Engineering Course (1): Installing Big Data Hadoop Directly

질문이 있습니다!!

463

allew

2 asked

0

하둡 서버를 실행시키면 secondary namenodes가 계속 켜지지를 않습니다... 어떻게 해야할까요??

 

웹 사이트는

:9870, 8042 포트는 잘 들어가지는데 9864 포트는 접속이 안됩니다 ㅠㅠ

Hadoop bigdata 데이터 엔지니어링

Answer 4

2

Billy Lee

안녕하세요. 유현민 님에게

하둡을 설치하는 과정에서 많은 에러를 발생시킵니다. 그러나 차근히 하면 잘 소화할 줄 압니다.
저도 처음에 설치하는 과정에서 하둡 클러스터 (물론 1 server 기준) 에러를 발생했죠.
수강생 중에도 이러한 에러로 고생하여 잘 잡아주었죠.

보내주신 캠쳐를 보았을 때 잘 따라온 것을 환영합니다. 힘든 길이죠.

1. 우선 hadoop-env.sh 자바 구현 제작을 위한 파일을 열어 제 파일과 동일한 지 살펴봐야 합니다.
물론 자바 설치 홈 디렉토리가 같다면 동일해야 하고 다르면 다른 곳의 경로를 확인하시고,


2. core-site.xml 열어 하둡 핵심 모듈의 property 두 개 경로를 추가했는지, 그래서
템프 (temp) 디렉토리 hdata 경로를 추가했고, 만들었는지 확인해야 합니다.

 

3. hdfs-site.xml 파일을 열어 해당 디렉토리 경로 내용을 확인하세요. 또한 추가한 부분도 동일한 경로로 되어 있는지 알아보세요.

namenode 와 datanode 디렉토리를 새로 생성 (mkdir) 했나요? 

경로는 home/neuavenue/hadoop/hdfs/namenode 

home/neuavenue/hadoop/hdfs/datanode 
이 두 개 디렉토리를 생성해야 합니다.  

4. mapred-site.xml 파일도 열어 네 개의 속성(Property) 지정했는지 확인하세요.
             해당 경로가 로컬 파일 시스템의 설치된 경로와 동일한지 점검하세요.

5. yarn.xml 파일을 열어 두 개 속성을 넣었는지 확인하세요.

모두 제 강의에 올린대로 잘 하신다면 어려움은 없을 거라 생각됩니다.

 

만약 모든 내용이 정상적으로 문제 없다면 다시 hadoop namenode -format 로 네임노드를 포멧하셔야 합니다. 안되면 아무래도 처음부터 자바 설치와 하둡 설치를 다시 해보세요. 

안된다면 위의 모든 내용들을 캠쳐해서 공유하시면 문제점을 찾아드리죠. 

토론토에서 응원합니다. 
빅데이터 전문가 되시길 ..
빌리 올림

1

Billy Lee

유현민 님에게

 

오! 열공 대단합니다. 수강생 분들 중 간혹 포멧을 하지 않거나 다른 과정을 넘어가서

하둡 설치와 세팅에 문제가 생깁니다. 설치 및 세팅 프로세스를 잘 타고 오셨다니

앞으로 남은 강의 역시 잘 소화하시고 하둡 및 빅 데이터 전문가로 우뚝 서기를 

간절히 원합니다.

멀리 캐나다에서 응원합니다.

토론토

빌리 올림

1

Billy Lee

안녕하세요.
유현민 님에게

보내주신 캠쳐로는 에러를 찾을 수 없네요.. 


위에 올리신 캡쳐 말고 /etc/environment

그리고 hadoop configuration files 4 개 파일 

또한 bashrc 파일까지 몽땅 캠쳐해서 주세요..

datanode 가 깨진 듯합니다.

멀리 캐나다 토론토에서 

빌리 올림.

 

0

allew

데이터노드 포맷을 안해서 그런거였습니다!! 해결했습니다 감사합니다.

0

allew

해결했습니다!! 감사합니다!!

start-dfs.sh가 작동하지 않습니다.

0

444

1

우분투 버전 문의

0

351

1

Namenode 폴더 format 도중 발생한 오류입니다.

0

554

1

우분투 설치 도중 오류 문의드립니다.

1

964

1

put, copyFromLocal과 get, copyToLocal

0

395

1

특정 부분에서의 미동작

0

411

3

Ubuntu 환경에서 jdk 압축 해제시 오류 발생 관련하여 질문드립니다!

0

543

2

12강 _- 하둡 분산 파일 시스템에서 파이썬 맵퍼와 리듀서 소스 구현 실전편 ( Build Mappe..) ==> 4분37초 부분

0

241

1

하둡 설치 및 셋팅 중 에러.....

1

251

1

hadoop 명령 put 실패

0

874

1

안 됩니다

0

495

3

포맷 오류

0

234

1

월별로 뽑고 싶다면?

1

204

1

Rack이 정확히 의미하는 것이 무엇인가요?

1

6107

1

배경음악이 너무 커요

0

298

2

포맷이 안됩니다.

0

228

1

강의에서 사용하신 하둡 설치 wget 주소에서 404 not found가 떠서

0

722

3

선생님 혹시 WSL2로도 학습이 가능할까요?

1

259

1

log4j...에러문제입니다 ! ㅠㅠ

2

280

2

기준설정

0

222

1

이클립스 에러

0

169

1

자바에서 밑부분이 안나와요!

1

237

1

명령어 질문

0

155

1

명령어 질문입니다. hadoop fs -ls vs hadoop fs -ls -R

1

212

1