Billy Lee

Lead 레벨

안녕하세요. 빅데이터 엔지니어 코스에 오신 것을 환영합니다. 부탁하신 내용 곧 파일을 업데이트하여 올려드렸습니다. 백업을 하면서 파일들을 놓치게 된 것이 있으니 양해바랍니다. 부디 마지막까지 하둡 여정을 마무리하여 데이터 엔지니어링 전문가 되시길 바랍니다.

강사님.. 하단 URL에 있었던 코드들 다운 받거나 공유 부탁 드립니다..

안녕하세요. 이석희입니다. 궁금하신 명령어는 아래와 같이 사용하여야 합니다.분산 환경에서의 노드 간 통신을 할 때 매번 접속 보안 암호를 물어야 하는 번거로움을 없애고자 하는 의도가 더 큽니다. 한 클러스트에 여러 노드를 띄우며 사용할 때 매번 타입을 해야 하는 것이 없어지는 것은 분명 좋습니다. &nbsp;>>> export PDSH_RCMD_TYPE=ssh&nbsp;export PDSH_RCMD_TYPE=ssh<ul><li>(pdsh를 사용하지 않으면 불필요하긴 합니다만) pdsh(병렬 원격명령 툴)를 SSH로 동작하게 설정합니다. pdsh를 쓸 예정이면 필요합니다. &nbsp;</li></ul>>>> ssh-keygen -t rsa -P "" 비밀번호(passphrase) 없는 공개/개인키 쌍을 생성합니다. 자동화(스크립트, 데몬 시작 등)에 편리하지만 보안 리스크가 있으므로 키 파일 보호가 중요합니다. >>> cat ~/.ssh/id_<a target="_blank" rel="noopener noreferrer nofollow" href="http://rsa.pub">rsa.pub</a>>>~/.ssh/authorized_keys&nbsp;같은 계정에서 자기 공개키를 authorized_keys에 추가해 본인(또는 로컬 호스트)에서 비밀번호 없이 로그인 가능하게 합니다. 클러스터에서는 보통 생성한 공개키를 다른 노드들의 /.ssh/authorized_keys에 복사해야 합니다(ssh-copy-id user@othernode 또는 scp로 복사해서 사용할 수도 있죠).권장사항도 있어요. 다른 노드들에 공개키 배포: 각 워커/마스터 노드에 공개키를 넣어야 비밀번호 없는 접속이 됩니다.<ul><li>보안 고려: 비밀번호 없는 키는 편리하지만 분실/탈취 시 위험하므로 키 보호(파일권한, 접근제한)와 필요시 별도 키 관리(예: 호스트별 키) 고려하세요.</li></ul>요약: 위 명령들은 하둡 클러스터에서 노드 간 비밀번호 없는 SSH를 구성할 때 일반적으로 필요한 단계입니다. pdsh를 안 쓰면 export는 필요 없고, 공개키는 반드시 클러스터의 다른 노드들에 배포해야 하죠. 단순한 단계는 아니지만 한 번 해 놓으면 매번 배포하지 않아도 좋습니다. 배포 단축에 아주 유용한 명령어니 한 번 해놓으시고 하둡을 즐기시길 바랍니다.

ssh-keygen -t rsa -P "" 등 ssh 암호화? 는 하둡에서 필수인가요?

안녕하세요.우선 저의 강의를 들으며 따라오심에 감사드립니다.해당 리눅스가 부팅이 되고 제일 처음으로 적용하는 환경 설정 파일인 /etc/environment 파일에는 모든 프로세스의 기본 환경을 지정하는 변수가 포함 됩니다. 그 파일이 없거나 해당 경로가 있지만 읽지 못하는 경로일 수 있습니다.현재 강의 내 강의 문서를 참조하여 진행하시면 됩니다.특별히 순서 29번부터 다시 진행하시길 바라며 에러가 나면 캡쳐하여 공유해주시면 답변을 드릴 수 있을 듯 합니다.열공하여 빅데이터 전문가로 남기를 바랍니다.

자바 환경설정 PATH 연결

안녕하세요. 저는 핸드폰에서도 영상이 돌아가고 있습니다. 아마 영상 재생이 안되는 부분은 코텍이나 재생 소프트웨어 부분이 아닐까요? 혹 무료 인프런에서 제공하는 무료 강좌를 틀어보신 뒤 재생이 같은 현상이라면 인프런에 영상재생 문의하심이 어떨까요? 부디 수강하여 빅데이터 전문가 되시길 바랍니다.빌리 올림

동영상 재생이 안됩니다.

안녕하세요. 저의 강의에 관심을 가져주시니 감사드립니다. 필요하시다면 출처를 기재하신다는 약속하에 스크린 캡쳐는 기재하셔도 됩니다. 감사합니다. 더 많은 자들에게 빅데이터 세계에 빠지도록 해주신다면 말입니다. 감사합니다. 열공하세요

강의 내용 블로그 작성 관련 문의

안녕하세요.. ~/hadoop$ hadoop fs -ls2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable이 에러는 각각의 XML 파일 내에 선언한 URL 폴더 구조와 동일하여야 합니다. 예를 들어 "/home/hadoop/ 폴더 아래에 라이브러리들이 있는지 확인해보세요.열공하여 하둡 전문가로 우뚝 서길 바랍니다빌리 올림

하둡 명령어 실행시 오류 문의

안녕하세요. 해당 에러는 하둡 라이브러리 설정 사항이 잘못되어 경로를 찾지 못하는 에러 입니다. 하둡 설정 강의 노트를 다시 한번 흩어 보시면서 경로 지정을 잘 확인하시길 바랍니다. 지속적인 동일 에러가 발생시 하둡 설정 경로 네 가지 모두를 캡쳐하여 보내주시길 바랍니다.빌리 올림

하둡 명령어 실행시 오류

안녕하세요해당 어플리케이션 제작시 윈도우에서도 가능합니다. 그러나 윈도우 기반으로는 개인적으로 찾아서 따라 오셔야 하겠습니다.수고하세요.빌리 올림

우분투 설치 문의드립니다.

안녕하세요. 강의를 신청해주셔서 감사드립니다. 매 강의마다 강의노트가 제작되어 있지 않구요. 다만 세션 마다 구글 문서로 링크가 되어 있습니다. 예를 들어 섹션 3에서 Getting Started (준비 작업) -자바 클라우드 마이크로넛 어플리케이션 사전 작업 (Prerequisites) 내 강의노트는 [실전 02] 오라클 버추얼박스 위에서 우분투 20.04 가상 머신 처음 생성해보기 - [LAB02] Create VM Guest Ubuntu 20.04 on the Oracle VirtualBox 6.1내에 오른쪽 바를 내리시면 링크가 있습니다. 세션마다 확인하셔서 강의노트를 열어 따라하시면 감사하겠습니다. 수고하세요. 빌리 리 였습니다.

강의노트가 어디에 있는지요?

<h3><a target="_blank" rel="noopener noreferrer nofollow" class="user-profile-card__link " href="https://www.inflearn.com/users/@asdqweasdzxcasd">sanginida</a></h3>네 문제 없습니다. 다만 다른 응용프로그램을 띄우지 않는다면 말입니다. 느려지는 퍼포먼스만 제외하고는 그대로 진행하셔도 됩니다. 완료 하신 뒤에서 VM을 삭제하시면 됩니다. 빌리 올림 화이팅 입니다.

Billy Lee

Posts