inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기

하둡 플러그인 연동된 이클립스 IDE에서 WordDriver 클래스 구현하여 WordCount 맵리듀스 어플리케이션 로딩(Loading WordCount Application with Loading WordDriver Class in Java using Eclipse)

DFS Locaions에서 연동은 하였는데 create directiories가 안됩니다.

해결된 질문

340

wonjun1995

작성한 질문수 3

1

안녕하세요 구글링을 해도 좀 모르겠어서 질문드립니다...

DFS Locaions에서 연동은 하였는데 create directiories가 안됩니다.  혹시 directory 생성이나 삭제에 대한 권한문제일까요?? 생성이 안될때 어떻게 에러처리하는지 궁금합니다!

bigdata Hadoop 데이터 엔지니어링

답변 4

0

wonjun1995

우선적으로 ${hadoop_home}/etc/hadoop/hdfs-site/xml에 

이와 같이 permission설정을 해주어서 생성은 시켰는데 에러의 원인이 어떤 것인지 찾지는 못하였습니다... 뭐가 문제일까요..

0

Billy Lee

dfs.permission.enabled value 벨류를 true로 바꾸시면 됩니다. 해보시고 다시 말씀해주셔요.

0

wonjun1995

성공하였습니다. 감사합니다!!

0

Billy Lee

되었다니 수고하셨습니다. 인프런의 열공자 중의 열공자이시네요. 다른 분들의 에러사항을 지적할 수 있을 정도로 중급 계열에 들어오신 겁니다. 부디 빅데이터와 하둡 강의로 인해 하둡 배우는데 두려움보다는 친구처럼 대하신다면 어느 회사에서도 좋은 인연이 될 겁니다. 수고하셨습니다.

상단에 미해결 버튼을 눌려 해결하였다는 점을 알려주세요.. 다시 한 번 감사하고 수고하셨습니다.

0

wonjun1995

터미널에서는 이러한 WARN을 보여주고 있습니다!

0

Billy Lee

네 우선 터미널의 Warnning message는 신경쓰지 않으셔도 괜찮습니다.
저도 같은 메시지를 가지고 있습니다.

0

wonjun1995

코끼리 아이콘과 함께 제가 설정해놓은 디렉토리 및 결과물들이 다 출력되는데 이 상태에서 우클릭 -> New Folder 생성을 해도 생성되지가 않습니다...

0

Billy Lee

안녕하세요..  wonjun1995 님

현재 어디까지 하셨는지 제게 스크린을 보내주세요..

제가 올린 영상 아래에 도큐먼트 (https://docs.google.com/document/d/1-RGY5-p3KxwKAUvu-anMzlq8ZjefRWZ8ePZtptiBPQg/edit# ) 에서 15번부터 하시면 될 것입니다. 

만약 New Hadoop Location 을 열어 하둡 dfs 연결이 되었다면 될 것입니다. 

혹시 아래 Map/Reduce Location에 Location에 하나 생성이 되었는데 연결이 되었는지 확인해보세요. 

이렇게 코키리 아이콘과 함께  wonjun1995 님께서 연결할 때 Location Name 명칭이 DFS Location이 나타났는지 궁금하네요.. 혹시 DFS Locations 을 클릭하신 뒤 마우스 오른쪽을 클릭하여 Refresh 을 눌러보세요. 그리고 폴더들이 없다면 하둡 DFS 시스템에 아직 데이터가 없다는 말입니다.

다시 말하면 Ubuntu에 가셔서 한번 하둡DFS 폴더를 열어서 폴더와 데이터들을 생성된 것을 보실 수 있나요?

터미널을 열어서 fs shell 명령어 중 hdoop fs -ls /  명령어를 던져 디렉토리 출력물이 있는지 확인하세요.

없다면 하나 만들고 나서 이클립스로 돌아와 DFS Locations 을 오른쪽 클릭하여 Refresh 해보세요.

생성된 폴더가 나타날 겁니다. 

질문에 답변이 되었는지 궁금하네요.

스크린 캠쳐를 하여 현재 상황을 보내주세요..

답변이 되었는지 궁금하네요.

start-dfs.sh가 작동하지 않습니다.

0

458

1

우분투 버전 문의

0

364

1

Namenode 폴더 format 도중 발생한 오류입니다.

0

573

1

우분투 설치 도중 오류 문의드립니다.

1

980

1

put, copyFromLocal과 get, copyToLocal

0

402

1

특정 부분에서의 미동작

0

423

3

Ubuntu 환경에서 jdk 압축 해제시 오류 발생 관련하여 질문드립니다!

0

557

2

12강 _- 하둡 분산 파일 시스템에서 파이썬 맵퍼와 리듀서 소스 구현 실전편 ( Build Mappe..) ==> 4분37초 부분

0

245

1

하둡 설치 및 셋팅 중 에러.....

1

268

1

질문이 있습니다!!

0

472

4

hadoop 명령 put 실패

0

885

1

안 됩니다

0

510

3

포맷 오류

0

251

1

월별로 뽑고 싶다면?

1

215

1

Rack이 정확히 의미하는 것이 무엇인가요?

1

6135

1

배경음악이 너무 커요

0

311

2

포맷이 안됩니다.

0

237

1

강의에서 사용하신 하둡 설치 wget 주소에서 404 not found가 떠서

0

743

3

선생님 혹시 WSL2로도 학습이 가능할까요?

1

268

1

log4j...에러문제입니다 ! ㅠㅠ

2

291

2

기준설정

0

233

1

이클립스 에러

0

180

1

자바에서 밑부분이 안나와요!

1

249

1

명령어 질문

0

166

1