• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

네임노드 포맷

21.07.30 12:07 작성 조회수 232

0

선생님 강의 이부분에서요.  

저는 ls 했을때도 다르고 네임노드 포맷도 안되어서요 ㅜ

네임노드랑 데이터 노드 위치는 

입니다.

제 실행 화면입니다. 어느부분을 고쳐야 할까요 ?? ㅜㅜ 

답변 1

답변을 작성해보세요.

0

지민님에게

안녕하세요. 열심히 잘 지금까지 따라오셨다니 대단하십니다.

처음 ls 명령어는 잘 하신 듯 합니다. 그러나 그 다음 그림은 아닌 듯 합니다.


우븐투에서 ls /home/neuavenue/hadoop/hdfs/namenode 경로는 이러해야 합니다.
만약 보내주신 경로는 너무 길고 다른 폴더로 가셔서 실행시키니 못찾는 것입니다.

아래 경로를 보시면 /home/neuavenue/ 라는 폴더가 리눅스의 사용자 최상위 디렉토리입니다. 저는 그 경로 아래 하위 디럭토리에 하둡을 설치했고, hadoop폴더가 하둡의 최상위 홈 디렉토리로 되어 있는 것입니다. 여기에 데이터 노드와 네임노드 디렉토리 두 개를 생성한 것을 보시면 보내주신 경로와 무척 다르게 보입니다.

보내주신 경로는 하둡의 hdfs (곧 하둡 플랫폼의 소스)에 들어가서 소스를 열어보신 겁니다. 전혀 다른 곳에 가서 네임노드 포멧을 하셨으니 에러가 나며 파일과 디렉토리를 찾지 못한 겁니다. 다시 말씀드리면 HDFS 폴더 방에 들어가 명령어를 던져야 하는데 전혀 다른 방에 들어가셔서 던지려니 명령어 실행 파일을 찾지 못하는 겁니다. 

지민 님이 저처럼 /home/neuavenue/ 곧 home 디렉토리 및에 하위 폴더인 네오아베뉴처럼

home ---
                 |

                 |___  곧 지민님의 사용자 명 (jme)?  ==> 저처럼 사용자명 (neuavenue) 
                                      |
                                      |_____  hadoop (하둡의 최상위 홈 디렉토리 ) 

                                                                       |__________ hdfs  (하둡의 HDFS) 
                                                                                                            |__________ namenode
                                                                                                            |__________  datanode

라고 해야 합니다. 또한 hdfs-site.xml 파일의 프로퍼리 벨류 (곧 아래 소스 경로) 와 같아야 합니다.

file:///home/neuavenue/hadoop/hdfs/namenode 

file:///home/neuavenue/hadoop/hdfs/datanode



그리하여 하둡 설치를 home (곧 사용자의 경로의 우분투 최상위 디렉토리라고 하며 물론 우분투 최상위 디렉토리(/)와 다르지만 ) 디렉토리 밑에 지민 님의 고유명 아래에 설치를 하시고 네 가지 환경세팅을 잘 맞추어서 하셨으면 포멧이 시작될 겁니다. 

제가 본 상황의 짐작대로라면 다시 설치를 하시는 것도 좋을 듯 합니다. 
하둡 최상위 디렉토리에서 ls 명령어를 날리시고 제게 다시 보내주세요..
저의 짐작이 맞지 않기를 바라지만 그럼에도 보내주시면 좋겠습니다.
우분투 설치까지 무사히 맞췄다면 오라클버추얼박스에서 클론 곧 복사를 하신 뒤에
차분히 시작해보세요.. 분명 /home/사용자명(jme)/hadoop/ 에 넣어야 합니다.

그래도 진단을 한다면 /home/jme/hadoop/hadoop-hdfs-project/에 지민님께서 하둡을 설치한 듯 보이고요.. 그래서 /hadoop/hadoop-hdfs-project/이 하둡의 최상위 디렉토리로 보입니다.  왜냐하면 그 디렉토리 및에 hadoop-hdfs가 보이기 때문에 유추할 수 있겠네요.

그렇다면 file:///home/neuavenue/hadoop/hdfs/namenode  저 경로 대신에
지민님의 hdfs-site.xml 파일을 열어 

file:////home/jme/hadoop/hadoop-hdfs-project/hadoop-hdfs/namenode
file:////home/jme/hadoop/hadoop-hdfs-project/hadoop-hdfs/datanode

으로 되어 있는지 확인하시고 폴더도 생성하셨는지 확인하세요..

그리고 나서
ls /home/jme/hadoop/hadoop-hdfs-project/ 으로 가셔서 bin/hdfs namenode -format 명령어를 치셔야 합니다. 

아래는 저의 하둡 경로 입니다.




위의 네오아베뉴 경로처럼 지민님의 경로 (아마도 hadoop-hdfs-project/bin$)를 치시고 
ls 명령어를 던져 hdfs.cmd 파일을 확인하세요... 

예제) ls  /home/jme/hadoop/hadoop-hdfs-project/bin
그 빈(bin) 폴더에 hdfs.cmd 파일이 있는지 꼭 확인하세요.
그 파일이 존재한다면 준비는 된 셈입니다.

그후에 실행시켜면 정상적으로 작동될 것입니다.

안되면 다시 질문을 던져주시면 감사하겠습니다. 부디 하둡 전문가로 남길 기대합니다..


토론토에서 빌리 올림