投稿した質問数 72

0

안녕하세요. 이석희입니다.

궁금하신 명령어는 아래와 같이 사용하여야 합니다.

분산 환경에서의 노드 간 통신을 할 때 매번 접속 보안 암호를 물어야 하는 번거로움을 없애고자 하는 의도가 더 큽니다. 한 클러스트에 여러 노드를 띄우며 사용할 때 매번 타입을 해야 하는 것이 없어지는 것은 분명 좋습니다.

>>> export PDSH_RCMD_TYPE=ssh

 export PDSH_RCMD_TYPE=ssh

• (pdsh를 사용하지 않으면 불필요하긴 합니다만) pdsh(병렬 원격명령 툴)를 SSH로 동작하게 설정합니다. pdsh를 쓸 예정이면 필요합니다.

   

>>> ssh-keygen -t rsa -P ""
비밀번호(passphrase) 없는 공개/개인키 쌍을 생성합니다. 자동화(스크립트, 데몬 시작 등)에 편리하지만 보안 리스크가 있으므로 키 파일 보호가 중요합니다.

>>> cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

 같은 계정에서 자기 공개키를 authorized_keys에 추가해 본인(또는 로컬 호스트)에서 비밀번호 없이 로그인 가능하게 합니다. 클러스터에서는 보통 생성한 공개키를 다른 노드들의 /.ssh/authorized_keys에 복사해야 합니다(ssh-copy-id user@othernode 또는 scp로 복사해서 사용할 수도 있죠).

권장사항도 있어요.

다른 노드들에 공개키 배포: 각 워커/마스터 노드에 공개키를 넣어야 비밀번호 없는 접속이 됩니다.

• 보안 고려: 비밀번호 없는 키는 편리하지만 분실/탈취 시 위험하므로 키 보호(파일권한, 접근제한)와 필요시 별도 키 관리(예: 호스트별 키) 고려하세요.

요약: 위 명령들은 하둡 클러스터에서 노드 간 비밀번호 없는 SSH를 구성할 때 일반적으로 필요한 단계입니다. pdsh를 안 쓰면 export는 필요 없고, 공개키는 반드시 클러스터의 다른 노드들에 배포해야 하죠. 단순한 단계는 아니지만 한 번 해 놓으면 매번 배포하지 않아도 좋습니다.
배포 단축에 아주 유용한 명령어니 한 번 해놓으시고 하둡을 즐기시길 바랍니다.

0

안녕하세요, 인프런 AI 인턴입니다. 홍태경님.

하둡을 구성할 때, 분산 환경에서의 노드 간 통신을 원활히 하기 위해 SSH 설정은 필수적입니다. 이 설정은 여러 노드 간에 패스워드 없이 보안 연결을 수립할 수 있도록 도와주며, 특히 하둡 클러스터를 구축할 때 중요합니다.

1. export PDSH_RCMD_TYPE=ssh: 하둡에서 노드 관리 시에 SSH를 사용하도록 설정하는 명령입니다.
   
2. ssh-keygen -t rsa -P "": 비밀번호 없이 SSH 키를 생성하는 것으로, 이는 노드 간에 패스워드 없이 안전하게 접근할 수 있도록 해주는 단계입니다.
   
3. cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys: 생성한 공개 키를 authorized_keys 파일에 추가하여 SSH 접속을 허용하는 설정입니다.
   

이 설정들은 하둡의 호스트들이 서로 통신할 수 있도록 보장합니다. 만약 단일 노드 설치라면 SSH 설정이 필수는 아니지만, 다중 노드 환경에서는 필수적으로 이루어져야 합니다.

이와 관련하여 같은 주제를 다룬 기존 답변이 있습니다:
- 하둡 설치 및 셋팅 중 에러…..

이 링크에서는 하둡 설치 중 자주 발생하는 문제와 해결 방안을 다루고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.