안녕하세요 Jupyter terminal 오픈하고, crawling 실습하기 위한 준비부터 문제가 발생했어요 ㅜ 폴더까지 생성을 했는데, virtualenv 활성화하기 위해 source이라는 명령어가 실행이 되지 않습니다. jupyter notebook workspace도 실행되지 않고...vim 명령어도 인식 하지 못합니다. 빠른 속도에 추가 설명이 없어서, 어디서 어떻게 실행을 하는지 제가 이해하지 못한것 같습니다. visual studio code에서도 실행을 해봤는데, 같은 부분에 계속 예러가 납니다. 도와주세요. 제가 어떻게 하면 되나요?
4분 50초 경 " rack 전체가 뻗는것 보다 노드 하나 뻗는 확률이 더 올라간다? " 라고 해주셨는데 잘 이해가 가지 않아서 질문드립니다. 제가 이해한 바로는 결국 신뢰성과 가용성 둘중 하나는 포기를 해야하고 그 둘 사이의 타협적 결정을 잘 해야 한다. 가용성을 위해 단일 노드에 모든 복제본을 둘 경우 속도는 빠르지만 신뢰성 보장이 어렵고 장애 대응이 불가능 하다. 신뢰성을 위해 복제본을 모든 데이터 센터 혹은 많은 가상 노드에 복제해둘 경우 신뢰성은 극한으로 올라가지만 데이터를 가져오는데 시간이 너무 오래결려 가용성이 떨어진다. 그래서 그 둘 사이의 타협점을 구한 것이 Replica Placement다. 위처럼 이해하면 될까요??
안녕하세요. 강사님. 훌륭한 강의 잘 들었습니다. (금일 완강했어요 -_- v) 강의를 듣다가 좋아서 클러스터 구축도 같이 신청하였습니다. 회사일을 병행하다 보니 오늘 막 강의를 다 들었는데 마지막 ( ELK /EFK/Docker 관련 등등) 은 제가 하는 일이라서 쉽게 들었습니다. 그런데 데이터 pyspark 같은 것은 여전히 생소하기만 합니다. 그래서 강의 연장을 부탁드립니다. 좋은 강의라 몇번을 더 보면서 레퍼런스 삼으려고 합니다. 부탁드립니다. 그간 정말 재미있었어요. 이제 클러스터도 보러 가려구요. 감사합니다.
안녕하세요, 강사님. 좋은 강의 올려주셔서 감사합니다. 보면서 열심히 따라하고 있습니다. 저는 비전공자라서 처음 들을 때는 물음표의 연속이었지만 신기하게 두번째 들을 때는 이해가 되고 점점 따라하기 수월해지고 있습니다. 다름이 아니라 두가지 질문이 있어서 문의드립니다. 1. ec2 linux/Ubuntu를 ssh로 접속한 상태에서 크롬페이지를 새창으로 뿅 띄우는 것이 안됩니다 ㅠㅠ 처음에 스크립트를 실행했을 때는 아래와 같은 에러 때문에 실행이 안되었습니다. AttributeError: 'str' object has no attribute 'capabilities' 여러가지 찾아보니 이유는 셀리니움이 업데이트 되어서 이제 크롬 드라이버를 다운받지 않아도 된다고 하더라구요. 그래서 아래와 같이 추가하고 경로를 비우고 실행하면 된다고 합니다. chrome_options = webdriver.ChromeOptions() driver = webdriver.Chrome () 그랬더니 에러를 뿜지 않고 그냥 스크립트가 종료되어 버리는 것 같아요. 다만 sudo를 이용해서 스크립트를 실행하면 아래와 같은 에러가 나타납니다. ===== ubuntu@ip-172-31-43-47:~/bigdata$ sudo python3 5_ chrome.py Traceback (most recent call last): File "/home/ubuntu/bigdata/5_chrome.py", line 4, in <module> driver = webdriver.Chrome() File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/chrome/webdriver.py", line 45, in init super().__init__( File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/chromium/webdriver.py", line 61, in init super().__init__(command_executor=executor, options=options) File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 209, in init self.start_session(capabilities) File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 293, in start_session response = self.execute(Command.NEW_SESSION, caps)["value"] File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/webdriver.py", line 348, in execute self.error_handler.check_response(response) File "/usr/local/lib/python3.10/dist-packages/selenium/webdriver/remote/errorhandler.py", line 229, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.SessionNotCreatedException: Message: session not created: Chrome failed to start: exited normally. (session not created: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.) Stacktrace: #0 0x562ff172ef83 <unknown> #1 0x562ff13e7cf7 <unknown> #2 0x562ff141f60e <unknown> #3 0x562ff141c26e <unknown> #4 0x562ff146c80c <unknown> #5 0x562ff1460e53 <unknown> #6 0x562ff1428dd4 <unknown> #7 0x562ff142a1de <unknown> #8 0x562ff16f3531 <unknown> #9 0x562ff16f7455 <unknown> #10 0x562ff16dff55 <unknown> #11 0x562ff16f80ef <unknown> #12 0x562ff16c399f <unknown> #13 0x562ff171c008 <unknown> #14 0x562ff171c1d7 <unknown> #15 0x562ff172e124 <unknown> #16 0x7fc769a94ac3 <unknown> ==== 혹시나 해서 linux 인스턴스에서 다시 수행해보았지만 linux에서는 sudo 일 때와 아닐 때 모두 에러 메시지는 똑같네요... ㅠㅠ 뒤에 실습 2에서 linkedIn을 제어할 때에도 새롭게 창이 뜨는 것으로 보이니 해결하고 넘어가야 할텐데 답을 찾을 수가 없습니다 ㅠㅠ 무엇이 문제일까요? 도와주세요 선생님 ㅠㅠ 2."https://docs.python.org/3.5/library/"페이지를 크롤링해오는 스크립트가 에러 없이 일부만 실행되는 현상이 있는데 이유를 모르겠습니다. 스크립트를 실행하면 딱 이렇게 pygments.css 까지만 크롤링이 되고 그 다음 단계인 /library/intro.html 아래 페이지 정보는 크롤링되지 않은 상태에서 작업이 끝납니다. ====================== (venv) [ec2-user@ip-xxx-xxx bigdata]$ python3 practice1.py downloaded = https://docs.python.org/3.5/library/ analyzed html = https://docs.python.org/3.5/library/ downloaded = https://docs.python.org/3.5/_static/pydoctheme.css downloaded = https://docs.python.org/3.5/_static/pygments.css ====================== 몇번이나 공유해주신 코드와 비교해보아도 틀린 부분을 못찾겠네요 ㅠㅠ 스크립트가 에러를 뿜지도 않고 일단 일부 정보라도 가져오는 상태라 더 확인이 어렵습니다 ㅠㅠ 혹시 이런 경우에 대해 어떻게 해결하는지 아실까요? 새해 복 많이 받으세요!
아래와 같은 양식으로 질문을 남겨주세요 🙂 수업을 들으시면 이해하기 어려운 부분이 있으면 상세히 질문을 남겨주세요. 서로 Tone and Manner 를 지키며, 즐거운 수업 시간을 만들어보아요. 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 강의를 통해 열심히 공부중인 학생 입니다. 혹시 슬라이드 자료를 따로 열람 가능한지 여쭙고 싶습니다. 좋은 강의 잘듣고 공부하고 있습니다. 감사합니다.
섹션7] 과제2번 질문있습니다. users1 = [(0, "ALEX"), (1, "BERT"), (2, "CURT"), (3, "DONT")] subs1 = [(0, "Writing"), (0, "Gym"), (1, "Swimming")] userRDD = sc.parallelize(users1) subsRDD = sc.parallelize(subs1) mergedRDD = userRDD.rightOuterJoin(subsRDD) mergedRDD.map(lambda value : value[1][0] + " loves " + value[1][1]) 조인되어서 collect 되었을 때 데이터 구조가 key (leftvalue, rightvalue) 이렇게 반복구조가 되는 것 같은데 답이 ['ALEX loves Writing'] 이것만 나오는 것이 아니라 ['ALEX loves Writing', 'ALEX loves Gym', 'BERT loves Swimming'] 이렇게 나오는 이유를 모르겠습니다. 좋은 강의 잘 듣고 있습니다. 감사합니다. 아래와 같은 양식으로 질문을 남겨주세요 🙂 수업을 들으시면 이해하기 어려운 부분이 있으면 상세히 질문을 남겨주세요. 서로 Tone and Manner 를 지키며, 즐거운 수업 시간을 만들어보아요. 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.
안녕하세요. 강의 잘 듣고 있습니다. 영상찍은 시점과 제가 실습하는 시점이 달라서 그런 것 같은데 실습하는 중에 자동 로그인 까지는 했는데 그 이후에 간단한 보안 인증이 뜨면서 직접 그림을 맞춰야만 다음 단계로 넘어가집니다. 이러한 과정을 생략할 수 있는 방법이 있을까요? 그리고 그림 맞춘 후 지원하기 요소를 찾을 수 없다고 이러한 오류가 발생합니다. NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".jobs-apply-button--top-card"} (Session info: chrome=118.0.5993.117)
안녕하세요! 강의를 들으면서 데이터와 관련된 기술 스택들을 익히는데 많은 도움을 받고 있습니다. 다름이 아니라 수강 연장 이벤트를 신청하려고 하는데, 구글 설문 링크가 보이지 않아서 이렇게 커뮤니티에 글을 남깁니다. 혹시 이벤트 기간이 종료가 된건지 아니라면 어떻게 신청하면 되는지 궁금합니다. 좋은 강의 만들어주셔서 감사합니다!
안녕하세요 이번에 데이터 엔지니어 직무로 취업을 준비하고 있습니다. 데이터 엔지니어가 되기 위해서 여러 강의들을 찾던중에 빅데이터 파이프라인에 대해서 이렇게 자세히 설명해주는 강의는 처음이였습니다. 남은 강의 잘 듣고 데이터 엔지니어가 되기 위해서 열심히 더 공부하도록 하겠습니다.
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output_notice 의 커맨드 실행하면 아래와 같은 로그가 나오고 더이상 실행되지 않습니다. 23/10/04 20:52:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 23/10/04 20:52:14 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032 23/10/04 20:52:15 INFO input.FileInputFormat: Total input paths to process : 1 23/10/04 20:52:16 INFO mapreduce.JobSubmitter: number of splits:1 23/10/04 20:52:16 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1696420330687_0001 23/10/04 20:52:16 INFO impl.YarnClientImpl: Submitted application application_1696420330687_0001 23/10/04 20:52:17 INFO mapreduce.Job: The url to track the job: http://218.38.137.27:8088/proxy/application_1696420330687_0001/ 23/10/04 20:52:17 INFO mapreduce.Job: Running job: job_1696420330687_0001 위 상태에서 그대로 멈춰있습니다. jps 결과값은 아래와 같습니다. 80752 NodeManager 80805 RunJar 80996 Jps 68263 NameNode 80663 ResourceManager 15464 68495 SecondaryNameNode 68366 DataNode 혹시 몰라서 리소스매니저(port 8088)의 스크린샷을 첨부하였습니다. 아래는 yarn-site.xml입니다. <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>127.0.0.1</value> </property> 해결할 수 있는 방법을 알 수 있을까요?
안녕하세요! m1 맥북으로 실습을 하려고 합니다. 커뮤니티에 전부 window 관련 질문들만 있어 질문드려요 ! 맥북 사용시에 권장하는 환경 설정 방법을 알려주실수 있을까요? 다른분 질문에 답변으로 docker는 권장하지 않는다고 하셔서 UTM으로 우분투를 설치해보려고 했는데 에러가 계속 발생해서 어려움에 겪고 있습니다 ㅜ (virtual box 는 m1 맥에서 지원이 안되는 상황이구요..)
안녕하세요 실습1강 팔로우중 문의사항이 생겨 글 드립니다. chrome 과 chrome driver 설치하여 selenium 실행 시, 아래와 같은 에러로 실행이 되지않습니다. 해당 에러를 해결하기위해 chrome/chrome-driver 버전 맞춰서 설치 selenium 다운그레이드 및 재설치 등 버전별 검토 chromedriver 경로: find 명령어 사용하여 조회 기타 코드 추가 chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') ... 어떤 수정이 필요한건지 알 수 있을까요? 에러메세지 Traceback (most recent call last): File "/home/ian/2023_BIGDATA/5_selenium.py", line 11, in <module> driver = webdriver.Chrome ('/home/ian/2023_BIGDATA/chromedriver') File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/chrome/webdriver.py", line 76, in init RemoteWebDriver.__init__( File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 157, in init self.start_session(capabilities, browser_profile) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session response = self.execute( Command.NEW _SESSION, parameters) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally. (unknown error: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.) 실습 코드 from selenium.webdriver.common.by import By from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') chrome_options.add_argument('--no-sandbox') chrome_options.add_argument("--single-process") chrome_options.add_argument("--disable-dev-shm-usage") driver = webdriver.Chrome ('/home/ian/2023_BIGDATA/chromedriver') driver.implicitly_wait(2) driver.get(' https://www.daum.net/ ')
안녕하세요 실습 1강을 듣고 있는 수강생입니다. 오늘 블로그를 개설하여 수업 내용을 기록하였는데요, 제가 실습 코드를 자세하게 서술하는건 아닌지 걱정되어 여쭤보게 되었습니다. 게시글 상단에 해당 인프런 강의 링크를 기재하였는데요, 데이터 스크래핑 데이터 크롤링 환경세팅 실습 코드 기록하는 것에 대해 의견 주시면 코드 수정하겠습니다! 감사합니다.
안녕하세요. 영상 7분 30초 경에 있는 ppt가 Replica Placement 를 설명해주고 있는데요. 1번 단계에서 local rack에 replica를 하나 생성한다고 되어있는데 생성 위치가 same node of local rack 인가요? 아니면 different node of local rack 인가요? 그림을 보면 same node of local rack 인데, 같은 노드에 replica를 배치하면 어떤 의미가 있나 궁금해서 질문 드립니다. 감사합니다.
안녕하세요! 제 OS는 윈도우인데요, 강의 섹션 1을 듣다가 궁금한 점이 있어서 질문을 올리게 되었습니다. 강의 소개에 [OS] 우분투 or 리눅스 [머신사양] - Aws t2.medium 2 Core 4GB // ec2 free.tier 참석은 가능 - Virtualbox 이용하여 위 OS로 참석가능 이라고 안내되어 있는데요, 섹션 1 Data Acquisition [Basic] Crawling and Scraping(Urlib, BS4, Selenuim)을 실습할때부터 virtualbox 설치 후 우분투 환경에서 실습해야되는건지 궁금합니다. 즉, 강의(섹션 15개) 중에서 어떤 섹션부터 리눅스와 그 Virtualbox 가 필요한지 궁금합니다! 섹션 1의 이론강의를 본 후 실습영상을 보고 따라하려고 하는데, 이때 윈도우에서도 가능한건지 아니면 지금부터 virtualbox상에서 우분투로 진행해야 되는건지 궁금합니다. 감사합니다!
