네 파일 안을 따로 수정하지 않으셨으면 큰 문제없이 돌아갈겁니다. pyspark를 docker로 실행하셨다고 했는데 도커에서 로컬 파일을 읽으려면 따로 mount가 필요합니다. 아니면 저 인풋파일들을 실행하신 도커 컨테이너안에 복사하신다음 다시 컨테이너내 경로를 정확히 설정하셔서 진행하시면 풀릴 것으로 보입니다.
안녕하세요 Kim Jiyu님, 제가 대학원 시절에 논문 읽으면서 문뜩 궁금했던 사항인데 같은 질문을 주셨네요. " If checksums are corrupted, how could it be resolved?" 하둡 원서에서 따르면 HDFS 에서 checksum이 corrupt 될 확률은 매우 희박하므로 따로 대응하지 않는다고 나와있으니 참고하시면 좋을 것 같습니다.
안녕하세요 fade님, 지난번에 남겨주신 질문과 비슷한 것 같은데, 현재 작업 환경이 어떻게 되시나요? 현재 마스터에서 각 슬레이드 노드끼리 ssh slave01, slave02 이렇게 할때 비밀번호 없이 잘 접속이 되나요? zookeeper port setting이 2181로 잘 설정되었나요? 그리고 각 master, slave01, slave02 2888:3888로 설정이 잘 되었나요? 되었다면 각 관련 slave들에도 접속해서 잘 복사되어서 설정되었는지 확인바랍니다
안녕하세요 fade님, permission denied 의 경우 몇번 troubleshooting을 해봐야겠지만, 대체적으로 권한이나 ssh 키가 제대로 복사되지 않았을때 생길 수 있는 문제로 보입니다. 권한. 일단 ssh localhost 할때는 비밀번호 없이 잘 접속이 되나요? 여기서부터 잘 되지 않으면 처음 키복사부터 다시 해보는게 좋을 것 같습니다. 또는 key 파일이 너무 오픈되어있으면 그럴 수 있으니 처음 노드에서 키파일을 아래와 같이 권한 처리해주고 다시 AMI 복사해서 한번 해보시겠어요? chmod 600 ~/.ssh/id_rsa chmod 600 ~/.ssh/id_rsa.pub 만약 이 방법도 잘 해결되지 않는다면 처음 base node에서 다시 ssh-keygen 부터 시작하셔서 다시 진행해주시기 바랍니다. pub 키 복사할 때 꼬이면 간혹 이런 문제 생길때가 있어서요 😀 (이 챕터에서 11:50 부터 확인해주시면 됩니다) https://www.inflearn.com/course/lecture?courseSlug=%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%81%B4%EB%9F%AC%EC%8A%A4%ED%84%B0-%EA%B5%AC%EC%B6%95-%ED%8C%A8%ED%82%A4%EC%A7%80&unitId=189046&tab=curriculum
안녕하세요 홍태경님, pip3 install requests 로 설치하시면 되는데, 이미 되어있다고 보여서요. venv 킨 상태에서 python3 라고 입력하시고 interactive shell 에서 import requests 입력해보시겠어요? 특별한 이슈없이 다음 라인으로 넘어가면 문제 없이 잘 동작하고 있는 겁니다