안녕하세요. 이번 12월달에 있는 빅데이터분석기사 실기 시험을 준비중인 학생입니다. 비전공자에다가 파이썬을 이번 강의 수강하면서 처음 접해봤는데 강의만 열심히 듣고 따라해도 합격하는데 있어서는 문제가 없을까요?! 그리고 강의 수강하면서 궁금점도 있습니다. 문자변경시에 replace를 사용해서 하는 경우는 df = df.replace('아메리카노','룽고') 이런 식으로 df= <-이부분 에다 대입해서 하시고 loc를 사용하신 경우에는 df= 을 적지 않고 바로df.loc[3,'원두'] 를 사용하셨는데 df= 에다 대입하는 경우의 차이가 있을까요? 그리고 '' , "" (작은 따옴표, 큰 따옴표)는 문자 사용 시 아무거나 사용해도 괜찮나요?
안녕하세요 실습1강 팔로우중 문의사항이 생겨 글 드립니다. chrome 과 chrome driver 설치하여 selenium 실행 시, 아래와 같은 에러로 실행이 되지않습니다. 해당 에러를 해결하기위해 chrome/chrome-driver 버전 맞춰서 설치 selenium 다운그레이드 및 재설치 등 버전별 검토 chromedriver 경로: find 명령어 사용하여 조회 기타 코드 추가 chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') ... 어떤 수정이 필요한건지 알 수 있을까요? 에러메세지 Traceback (most recent call last): File "/home/ian/2023_BIGDATA/5_selenium.py", line 11, in <module> driver = webdriver.Chrome ('/home/ian/2023_BIGDATA/chromedriver') File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/chrome/webdriver.py", line 76, in init RemoteWebDriver.__init__( File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 157, in init self.start_session(capabilities, browser_profile) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 252, in start_session response = self.execute( Command.NEW _SESSION, parameters) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute self.error_handler.check_response(response) File "/home/ian/2023_BIGDATA/venv2023/lib/python3.10/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally. (unknown error: DevToolsActivePort file doesn't exist) (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.) 실습 코드 from selenium.webdriver.common.by import By from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--headless') chrome_options.add_argument('--no-sandbox') chrome_options.add_argument("--single-process") chrome_options.add_argument("--disable-dev-shm-usage") driver = webdriver.Chrome ('/home/ian/2023_BIGDATA/chromedriver') driver.implicitly_wait(2) driver.get(' https://www.daum.net/ ')
- 학습 관련 질문을 남겨주세요. 상세히 작성하면 더 좋아요! - 먼저 유사한 질문이 있었는지 검색해보세요. - 서로 예의를 지키며 존중하는 문화를 만들어가요. - 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요. 안녕하세요 필기 1~2 수업자료 통합본 발송이 가능할까요? 부탁 드립니다..! 이메일 주소는 kimjiji8105@gmail.com 입니다. 감사합니다!
~/hadoop$ hadoop fs -ls 2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 이 에러로 문의드렸습니다. 네 가지 설정파일 캡처 첨부해 재문의드립니다. 참고로 저는 계정명을 hadoop으로 설정하여 neuavenue를 hadoop으로 바꿔서 입력하였습니다. 제발 답변 부탁드려요.. 같은 부분에서 막혀 지우고 재설치만 세번째입니다 ㅠㅠ
~/hadoop$ hadoop fs -ls 2023-08-29 12:55:53,700 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable fs 명령어를 실행하면 native-hadoop library를 load할 수 없다는 경고가 뜨면서 명령이 실행되지 않습니다. 하둡 설치 및 설정 과정은 제공해주신 문서 두세번씩 훑으면서 제대로 설정했는데, 어떻게 해야 고칠 수 있을까요 ㅠㅠ? 혹시 우분투를 22.04.3 LTS로 설치하였는데 버전이 달라서 생기는 문제인가요..? 참고로 하둡 설치할 때 강의에 나온 링크는 존재하지 않는다고 나와서 $wget https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz 여기서 설치하였습니다. 자바는 동일한 버전인 8u271을 설치하였는데, 강의와 다르게 Linux ARM 64 Compressed Archive로 설치했어요.
안녕하세요 실습 1강을 듣고 있는 수강생입니다. 오늘 블로그를 개설하여 수업 내용을 기록하였는데요, 제가 실습 코드를 자세하게 서술하는건 아닌지 걱정되어 여쭤보게 되었습니다. 게시글 상단에 해당 인프런 강의 링크를 기재하였는데요, 데이터 스크래핑 데이터 크롤링 환경세팅 실습 코드 기록하는 것에 대해 의견 주시면 코드 수정하겠습니다! 감사합니다.
안녕하세요. 영상 7분 30초 경에 있는 ppt가 Replica Placement 를 설명해주고 있는데요. 1번 단계에서 local rack에 replica를 하나 생성한다고 되어있는데 생성 위치가 same node of local rack 인가요? 아니면 different node of local rack 인가요? 그림을 보면 same node of local rack 인데, 같은 노드에 replica를 배치하면 어떤 의미가 있나 궁금해서 질문 드립니다. 감사합니다.
안녕하세요 강사님! 먼저 좋은 강의 만들어주셔서 진심으로 감사드립니다. 다름이 아니라 궁금한 점이 있는데요, 많은 사람들이 이야기하는 것이 hadoop과 스파크에 대한 비교인데요. 스파크의 인메모리 처리를 통한 속도 향상으로 인해 하둡을 넘어섰다(?) 이런 얘기가 많이 있는 것 같습니다. 그런데 본 강의에서는 스파크가 하이브와 비교되고 sql 언어를 맵리듀스로 처리하게 해주는 용도로 설명해주신 것으로 이해했습니다. 스파크는 하둡과 같은 데이터베이스가 아닌것인지 궁금합니다!
안녕하세요! 제 OS는 윈도우인데요, 강의 섹션 1을 듣다가 궁금한 점이 있어서 질문을 올리게 되었습니다. 강의 소개에 [OS] 우분투 or 리눅스 [머신사양] - Aws t2.medium 2 Core 4GB // ec2 free.tier 참석은 가능 - Virtualbox 이용하여 위 OS로 참석가능 이라고 안내되어 있는데요, 섹션 1 Data Acquisition [Basic] Crawling and Scraping(Urlib, BS4, Selenuim)을 실습할때부터 virtualbox 설치 후 우분투 환경에서 실습해야되는건지 궁금합니다. 즉, 강의(섹션 15개) 중에서 어떤 섹션부터 리눅스와 그 Virtualbox 가 필요한지 궁금합니다! 섹션 1의 이론강의를 본 후 실습영상을 보고 따라하려고 하는데, 이때 윈도우에서도 가능한건지 아니면 지금부터 virtualbox상에서 우분투로 진행해야 되는건지 궁금합니다. 감사합니다!
