inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기

사전 작업[1] - 유분트 터미널에서 SSH/PDSH 공개키 설치 및 bashrc 파일 등록

ssh-keygen -t rsa -P "" 등 ssh 암호화? 는 하둡에서 필수인가요?

1

홍태경

작성한 질문수 71

0

강사님 안녕하세요

아래부터 자세한 설명 없이 코드를 쳤는데 하둡 셋업할때 필수로 입력 해야 하는건가요?

export PDSH_RCMD_TYPE=ssh

 

ssh-keygen -t rsa -P ""

cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

 

java 빅데이터 hadoop 데이터-엔지니어링 mapreduce

답변 1

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 홍태경님.

하둡을 구성할 때, 분산 환경에서의 노드 간 통신을 원활히 하기 위해 SSH 설정은 필수적입니다. 이 설정은 여러 노드 간에 패스워드 없이 보안 연결을 수립할 수 있도록 도와주며, 특히 하둡 클러스터를 구축할 때 중요합니다.

  1. export PDSH_RCMD_TYPE=ssh: 하둡에서 노드 관리 시에 SSH를 사용하도록 설정하는 명령입니다.
  2. ssh-keygen -t rsa -P "": 비밀번호 없이 SSH 키를 생성하는 것으로, 이는 노드 간에 패스워드 없이 안전하게 접근할 수 있도록 해주는 단계입니다.
  3. cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys: 생성한 공개 키를 authorized_keys 파일에 추가하여 SSH 접속을 허용하는 설정입니다.

이 설정들은 하둡의 호스트들이 서로 통신할 수 있도록 보장합니다. 만약 단일 노드 설치라면 SSH 설정이 필수는 아니지만, 다중 노드 환경에서는 필수적으로 이루어져야 합니다.

이와 관련하여 같은 주제를 다룬 기존 답변이 있습니다:
- 하둡 설치 및 셋팅 중 에러…..

이 링크에서는 하둡 설치 중 자주 발생하는 문제와 해결 방안을 다루고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

시계열 데이터 날짜와 시간 format

0

7

1

강의 중복 확인 요청

0

9

1

volatile에 대해 질문 있습니다.

1

17

2

평가지표 F1 스코어 질문드립니다.

0

13

2

수업 내 사용되는 프롬프트 등 강의 자료

0

12

0

Mark and Sweep

1

23

1

20년 4,5회 13번

0

18

1

GC 알고리즘

1

19

2

용어 질문

1

17

1

작업형 2 기출7회분에서

0

25

2

GROUP BY, HAVING 실습 1번문제

1

19

2

호출횟수 질문입니다.

1

25

2

자바 환경설정 PATH 연결

0

243

1

동영상 재생이 안됩니다.

0

281

2

sbin/start-dfs.sh Permission denied 에러

0

423

1

Hadop 3.2.1 버전 지원을 안하는거 같습니다

0

345

1

확장팩 필수 유무

0

319

1

jdk 설치 유무 문의

0

274

1

apt-get install openjdk-8-jdk 설치 문의

0

761

1

강의 내용 블로그 작성 관련 문의

0

325

1

하둡 명령어 실행시 오류 문의

0

492

2

하둡 명령어 실행시 오류

0

593

1

노트북 램이 8GB 인데 괜찮나요?

1

414

1

Ubuntu 환경에서 jdk 압축 해제시 오류 발생 관련하여 질문드립니다!

0

545

2