173만명의 커뮤니티!! 함께 토론해봐요.
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
안녕하세요! m1 맥북으로 실습을 하려고 합니다. 커뮤니티에 전부 window 관련 질문들만 있어 질문드려요 ! 맥북 사용시에 권장하는 환경 설정 방법을 알려주실수 있을까요? 다른분 질문에 답변으로 docker는 권장하지 않는다고 하셔서 UTM으로 우분투를 설치해보려고 했는데 에러가 계속 발생해서 어려움에 겪고 있습니다 ㅜ (virtual box 는 m1 맥에서 지원이 안되는 상황이구요..)
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
예전에 취준생 프로모션으로 현재 수업 잘듣고 있습니다ㅎㅎ 일년기한 연장 프로모션도 연 것 같아 구글설문지에 신청했습니다 10월이면 기한이 종료될 예정이라 연장부탁드립니다~~
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
안녕하세요 강사님~. 밑에 수강기한 1년 연장 이벤트 진행한다고 보았는데 여기에 써도 되는건지 모르겠는데 괜찮으시다면 연장좀 부탁드리겠습니다. 감사합니다~!
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
`bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output_notice` 명령으로 wordcount 예제를 실행해보려고 하는데 자꾸만 에러가 납니다. Namenode도 초기화해보고, jps 입력해서 노드들이나 매니저들이 정상적으로 동작하고 있는지, 헬스체크 통해서도 용량이 부족하지는 않는지 확인하고 돌려보는데도 문제가 발생하네요.
미해결
15일간의 빅데이터 파일럿 프로젝트
java 버전을 확인해보니 1.7 이더라고요 그래서 1.8 버전을 설치 하려고 yum unstall oracle-j2sdk1.8 했는데 다음과 같은 에러가 납니다. [root@server01 yum.repos.d]# yum install oracle-j2sdk1.8 Loaded plugins: fastestmirror, refresh-packagekit, security Setting up Install Process Determining fastest mirrors YumRepo Error: All mirror URLs are not using ftp, http[s] or file. Eg. Invalid release/repo/arch combination/ removing mirrorlist with no valid mirrors: /var/cache/yum/x86_64/6/base/mirrorlist.txt Error: Cannot find a valid baseurl for repo: base 그런데 실습은 하지 말라고 했는데 1.8 버전 설치 안해도 되는건가요??
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
안녕하세요 실습1강 팔로우중 문의사항이 생겨 글 드립니다. chrome 과 chrome driver 설치하여 selenium 실행 시, 아래와 같은 에러로 실행이 되지않습니다. 해당 에러를 해결하기위해 chrome/chrome-driver 버전 맞춰서 설치 selenium 다운그레이드 및 재설치 등 버전별 검토 chromedriver 경로: find 명령어 사용하여 조회 기타 코드 추가 chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') ... 어떤 수정이 필요한건지 알 수 있을까요? 에러메세지 Traceback (most recent call last): File "/home/ian/2023_BIGDATA/5_selenium.py", line 11, in <module> driver = webdriver.Chrome ('/home/ian/2023_BIGDATA/chromedriver') File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/chrome/webdriver.py", line 76, in init RemoteWebDriver.__init__( File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 157, in init self.start_session(capabilities, browser_profile) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session response = self.execute( Command.NEW _SESSION, parameters) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally. (unknown error: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.) 실습 코드 from selenium.webdriver.common.by import By from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') chrome_options.add_argument('--no-sandbox') chrome_options.add_argument("--single-process") chrome_options.add_argument("--disable-dev-shm-usage") driver = webdriver.Chrome ('/home/ian/2023_BIGDATA/chromedriver') driver.implicitly_wait(2) driver.get(' https://www.daum.net/ ')
미해결
Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기
~/hadoop$ hadoop fs -ls 2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 이 에러로 문의드렸습니다. 네 가지 설정파일 캡처 첨부해 재문의드립니다. 참고로 저는 계정명을 hadoop으로 설정하여 neuavenue를 hadoop으로 바꿔서 입력하였습니다. 제발 답변 부탁드려요.. 같은 부분에서 막혀 지우고 재설치만 세번째입니다 ㅠㅠ
미해결
Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기
~/hadoop$ hadoop fs -ls 2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable fs 명령어를 실행하면 native-hadoop library를 load할 수 없다는 경고가 뜨면서 명령이 실행되지 않습니다. 하둡 설치 및 설정 과정은 제공해주신 문서 두세번씩 훑으면서 제대로 설정했는데, 어떻게 해야 고칠 수 있을까요 ㅠㅠ? 혹시 우분투를 22.04.3 LTS로 설치하였는데 버전이 달라서 생기는 문제인가요..? 참고로 하둡 설치할 때 강의에 나온 링크는 존재하지 않는다고 나와서 $wget https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz 여기서 설치하였습니다. 자바는 동일한 버전인 8u271을 설치하였는데, 강의와 다르게 Linux ARM 64 Compressed Archive로 설치했어요.
미해결
15일간의 빅데이터 파일럿 프로젝트
어떤 식으로 해결해야할 지 잘 모르겠습니다 ㅠ 밑 캡처본은 Assign Roles 현황입니다
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
안녕하세요 실습 1강을 듣고 있는 수강생입니다. 오늘 블로그를 개설하여 수업 내용을 기록하였는데요, 제가 실습 코드를 자세하게 서술하는건 아닌지 걱정되어 여쭤보게 되었습니다. 게시글 상단에 해당 인프런 강의 링크를 기재하였는데요, 데이터 스크래핑 데이터 크롤링 환경세팅 실습 코드 기록하는 것에 대해 의견 주시면 코드 수정하겠습니다! 감사합니다.
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
안녕하세요. 영상 7분 30초 경에 있는 ppt가 Replica Placement 를 설명해주고 있는데요. 1번 단계에서 local rack에 replica를 하나 생성한다고 되어있는데 생성 위치가 same node of local rack 인가요? 아니면 different node of local rack 인가요? 그림을 보면 same node of local rack 인데, 같은 노드에 replica를 배치하면 어떤 의미가 있나 궁금해서 질문 드립니다. 감사합니다.
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 강사님! 먼저 좋은 강의 만들어주셔서 진심으로 감사드립니다. 다름이 아니라 궁금한 점이 있는데요, 많은 사람들이 이야기하는 것이 hadoop과 스파크에 대한 비교인데요. 스파크의 인메모리 처리를 통한 속도 향상으로 인해 하둡을 넘어섰다(?) 이런 얘기가 많이 있는 것 같습니다. 그런데 본 강의에서는 스파크가 하이브와 비교되고 sql 언어를 맵리듀스로 처리하게 해주는 용도로 설명해주신 것으로 이해했습니다. 스파크는 하둡과 같은 데이터베이스가 아닌것인지 궁금합니다!
해결됨
빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
안녕하세요! 제 OS는 윈도우인데요, 강의 섹션 1을 듣다가 궁금한 점이 있어서 질문을 올리게 되었습니다. 강의 소개에 [OS] 우분투 or 리눅스 [머신사양] - Aws t2.medium 2 Core 4GB // ec2 free.tier 참석은 가능 - Virtualbox 이용하여 위 OS로 참석가능 이라고 안내되어 있는데요, 섹션 1 Data Acquisition [Basic] Crawling and Scraping(Urlib, BS4, Selenuim)을 실습할때부터 virtualbox 설치 후 우분투 환경에서 실습해야되는건지 궁금합니다. 즉, 강의(섹션 15개) 중에서 어떤 섹션부터 리눅스와 그 Virtualbox 가 필요한지 궁금합니다! 섹션 1의 이론강의를 본 후 실습영상을 보고 따라하려고 하는데, 이때 윈도우에서도 가능한건지 아니면 지금부터 virtualbox상에서 우분투로 진행해야 되는건지 궁금합니다. 감사합니다!
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요 강사님 ! 좋은 강의를 꾸준하게 들어 성장하고 싶지만, 항상 마음과 달리 쉽지가 않네요 수강 신청하고 얼마 듣지도 못 했는데 벌써 기간이 얼마 남지 않아 수강 기간을 연장을 요청드리고자 합니다. 좋은 강의 감사드립니다 강사님 !
미해결
15일간의 빅데이터 파일럿 프로젝트
실습에서는 server01에 zookeeper 설치하고, server02에서 zookeeper-client 실행시 문제가 없는데 제환경에서는 Server01에 설치하여 server01에서만 클라이언트 실행되고, server02에서는 오류가 나는데요 정상일까요
해결됨
Data Engineering Course (1) : 빅데이터 하둡 직접 설치하기
서버를 계속 켜두고 싶어서 사용하지 않는 노트북에 2gb ubuntu desktop을 설치했는데, 강의를 진행하는데 문제 없을까요? 해당 노트북은 다른 용도로는 전혀 사용하지 않고, 강의내용은 다른 pc에서 Xshell과 크롬 데스크톱 화면 공유를 활용하면서 실행하려고 해요.
미해결
15일간의 빅데이터 파일럿 프로젝트
좋은 강의에 항상 신경써주셔서 감사합니다 미처 수강하지 못한 부분이 있어서 수강을 하고자 합니다 너무 좋은 강의에 감사드리며 요청드립니다
미해결
15일간의 빅데이터 파일럿 프로젝트
안녕하세요! "5. 빅데이터 클러스터 구성 4 - putty로 서버환경 접속"을 수강중에 있습니다. putty server01 login : root는 입력되는데, password가 쳐지지 않고 조금 있으면 접속이 끊긴다는 오류 메세지가 출력됩니다. "Remote side unexpectedly closed network connection" 어떻게 조치해야 하나요?
미해결
15일간의 빅데이터 파일럿 프로젝트
설치중 해당 오류가 발생합니다. 어떤게 원인일까요? 전에 꺼놨던 서비가 원인일까 전부 재기동해봤지만 동일하네요...
미해결
15일간의 빅데이터 파일럿 프로젝트
만약 그렇다면 켜서 설치되어 있는 것들과 강의를 보면서 설정값들을 확인해 보고 싶은데 어떻게 하는지 모르습니다. 공식문서도 어딜 봐야 할 지 모르겠어서요. 파일럿 프로젝트 진행하는 데에는 아무 문제가 없다는 걸 알지만 그래도 하나씩 짚어보고 싶어요.
