수강이 제한됩니다.
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
Scrapy shell 사용할 때 안되지만 selenium으로 검색하면 작동하는 이유가 뭔가요?
안녕하세요 강사님, 질문드리기에 앞서 항상 수업 잘 듣고 있습니다. 감사합니다. SK엔카 http://www.encar.com/dc/dc_carsearchlist.do?carType=kor&searchType=model&TG.R=A#! 이 사이트의 차량목록 데이터를 받으려고 했습니다. 아래 사진과 같이 해당 파일의 css를 개발자 도구에서 copy해서 scrapy shell의 response.css 로 검색했으나 [ ] 이렇게 빈칸의 검색 결과가 나왔습니다. 그런데 selenium으로 해당 css로 접근하니까 데이터를 받을 수 있었습니다. 노란풍선 https://www.ybtour.co.kr/product/localList.yb?menu=PKG&dspSid=AACA000 노란풍선에서도 동일하게 여행지 정보를 얻으려고 scrapy를 사용하니 안되고, selenium을 사용하니 작동이 되었습니다. 이러한 경우는 scrapy의 response.css의 한계인 건가요 아니면 웹페이지 구조가 다른 홈페이지들과 달라서 발생한 문제인가요? 노란풍선과 sk엔카 홈페이지 모두 해당 url에 데이터가 있다기 보다는 다른 링크를 통해 데이터 정보를 가져오는 느낌을 받았습니다만 제 html 지식이 부족해서 이해하지 못했습니다. 설명 부탁 드립니다. 감사합니다.
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
오류발생
이대로 치면 오류가 나와요 ㅜㅜ SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 85오류 내용은 버전이 85만 지원한다고 적혀있는데 제 크롬 버전은 84이거든요.. 이건 어떻게 해결해야 하나요?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
ipython 파일 요청
ipython 파일들은 어디에 있는건가요? 수업자료 다운로드하면 pdf파일들만 다운로드되는데요. 글씨가 잘려서 안보입니다.
- 해결됨현존 최강 크롤링 기술: Scrapy와 Selenium 정복
scrapy shell에서 실행이 너무 복잡하게 보입니다
scrapy shell로 css 값을 확인할려고 하면 이렇게 다 붙어져서 나옵니다.(오류는 없습니다) 동영상에 나오듯 하나씩 띄어쓰게 나오게 하는 방법은 없나요?? 확인할려고 하면 너무 꼬여서 가독성이 떨어집니다ㅠㅠ 터미널은 iterm2를 사용하고 있습니다
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
selenium 오픈 문제
부트 캠프를 잘 수강했다고 생각하고 selenium 강좌로 넘어왔는데 오자마자 위와 같은 문제가 발생하네요 ㅠㅠ 강사님 말씀해주신 것 처럼 chromdriver.exe 파일 C드라이브에 폴더 만들어서 넣어 놨는데 위와 같은 오류 메시지가 바로 발생해서 문의드립니다.
- 현존 최강 크롤링 기술: Scrapy와 Selenium 정복
셀레니움 크롤링 GUI 표기할때 질문
삭제된 글입니다
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
덧글 결과가 20개만 출력이 되는데요
loop, count=True, 0 #loop=0 #count=0 while loop and count <10: try: # 더보기 버튼 태그 입력 element=WebDriverWait(driver, 5).until( EC.presence_of_element_located((By.CSS_SELECTOR, '#alex-area > div > div > div > div.cmt_box > div.alex_more')) ) more_button=driver.find_element_by_css_selector('#alex-area > div > div > div > div.cmt_box > div.alex_more') webdriver.ActionChains(driver).click(more_button).perform() count +=1 # count += count+1 time.sleep(2) #except: except TimeoutException: loop=False 선생님, 안녕하세요. 크롤링 강의도 잘 듣고 있습니다. 그런데 다음 덧글 가져오는 부분에서 코드를 실행하니까 저는 20개밖에는 출력이 안되는데 혹시 제가 코드를 잘못 입력한 부분이 있나요? 덧글이 20개는 나오는 것으로 보아 다른 곳은 이상이 없고 위 부분에서 제가 뭔가 잘못한 건가 싶어서요. (혹은 중국 인터넷이 느린 게 원인이 될 수 있을까요? 그런데 여러 번 시행해 봐도 항상 20개씩만 불러져 오는 것으로 보아 코드의 문제 같은데요.) 죄송하지만 확인 좀 부탁드릴게요. 감사합니다.
- 해결됨현존 최강 크롤링 기술: Scrapy와 Selenium 정복
네이버 API 연결문제
1강에 올려주신 파일로 코드 복붙한다음 API id랑 key만 저의것으로 발급받아 돌려봐도 인증이 안되는것 같아 문의드립니다. handle이 없다는 오류가 크롤링할 권한이없다(?) 뭐 이런 의미인것 같은대 지금은 네이버가 막은것 인가요??
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
naver api 교안이 없네요
교안이 없어요
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
셀레늄으로 네이버 로그인 불가능 한가요?
ㄴ이렇게 코드를 작성해서 네이버 로그인 해보려 했더니 안되던데.. 방법이 있나요? ^^; 그리고 셀레늄으로 카페 매일 간단한 인사말 같은거 자동으로 남기는 것도 가능한가요?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
선생님 수강기한이요.....
선생님 수강기한이요..... 제것은 기한이 있는데,,, 지금 구매하는 사람들은 무제한이네요.... • 수강을 계속 듣고 싶은데요.... 또 결재를 해야 하나요?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
크롬드라이버 설치 및 이동 문의
맥 사용자 입니다. downloads 터미널로 실행 후, mv chromedriver usr/local/Cellar/chromedriver/ 했지만.. No such file or directory 에러가 뜹니다. sudo도 해봤지만 안되구요.. 그래서 숨긴 파일 다 보이게 하는 법 찾아서 찾았더니 usr/local/ 폴더에 아-무 것도 없어요.. Cellar폴더도 없고.. (네이버 검색하니 다른 분들은 있는 것 같은데 왜 전 없을까요 ㅎㅎ;;) 크롬드라이버도 역시 없습니다. 그래서 그냥.. local 폴더 안에 드라이버 넣고 from selenium ~~ chromedriver ='usr/local/chromedriver' ~~~ 하니까 선생님 화면처럼 뜨긴 합니다.. 그냥 이렇게 써도 될까요? 일단 되긴 하는데.. 이렇게 써도 문제가 없는건지 ㅠㅠ Cellar 폴더는 왜 없는건지.. (이 부분은 강의와 무관한 내용이지만..) 좀 찝찝해서 문의 드립니다..
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
Sublime Text 사용하여 Scrapy 코드 작성시 indent 맞추는 팁이 있나요?
강사님 내실있는 강의 잘보고 있습니다. Scrapy 강의 따라하면서 강의 수강중인데 , Sublime Text로 코드 작성 후에 CMD에서 실행하면 indent 에러가 자주 발생합니다. 한번은 어떻게 하다보니 풀렸는데 또 발생했습니다. 화면상으로 indent가 잘 맞아 있는 것으로 보이는데 코드 실행시에 문제가 발생하고 있습니다. 저는 강의를 한번에 쭉 보지 못해서 조금씩 추가하고 중간에 넣고 하는 일이 잦은데 그것이 하나의 원인으로 생각됩니다. 이유는 강의를 장시간 보면서 한번에 쭉작성할 때는 문제가 없는데 다음날 한줄 추가해보면 문제 발생하는 경우가 많아서 입니다. 현재 상황에 대하여 켭처한 화면 같이 올립니다. 당장의 문제의 해결책이 아니더라도 indent 오류없이 코드 작성하는 요령 같은 것이라도 알려 주시면 감사하겠습니다. Sublime Text에서는 작성하기 편리하게 indent 안내선도 있고 접업다 폈하면서 상하위 위치도 파악할 수 있게 되있는데 그걸 활용하면서도 계속 문제가 발생하니 답답합니다. 추가로 indentation error 수정하는 법을 검색해 보니 일단 코드 전체 선택을 해서 에러난 부분을 파악하라는데 전체 선택을 해도 뭐가 문제인지 감이 안오네요 error 나는 discount_percent 부분을 주석 처리하고 실행하면 잘됩니다.
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
질문드립니다!
DEBUG: Filtered duplicate request: <GET http://corners.gmarket.co.kr/Bestsellers> - no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates) 마지막 G마켓 크롤링 예재에서 세부카테고리(subcategory)를 크롤링할때 동일한 for문을 2번 작성하여 위와 같은 duplicate오류가 발생하는것을 확인했습니다. 이에, request 안에 dont_filter = True처리를 해주어서 처리를 하였더니 정상적으로 출력이 되었습니다. 혹시 선생님께서는 DUPEFILTER_DEBUG의 default값을 FALSE로 설정해 놓으셔서 별도로 코드 작성없이 정상적으로 실행이 되신건가요??? 또한 혹시 만약에 INFINITE LOOP안에서 크롤링을 해야하는 경우는 위와 같이 duplicate처리를 어떻게 하면 좋을까요???
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
iterm2를 사용하면서 터미널에서 오류가 발생합니다...
안녕하세요! 크롤링 강의를 듣고 더 배우고 싶어서 스크래피를 듣고 있는 학생입니다. 저는 맥을 사용하고 있기 때문에 영상에서 iterm2를 보고 따라하면서 사용을 하는데 자꾸 zsh: command not found: scrapy 라는 문구가 나옵니다. 이 오류때문에 계속 나아가질 못해서 해결방법이 궁금합니다ㅜㅜ 만약 iterm2 자체 문제이면 기본적으로 설치되어있는 터미널이나, 아나콘다 터미널을 계속 사용해야 하는지 궁금합니다!
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
scrapy shell
scrapy shell로 해서 하나하나 response 결과를 확인할때는 잘 파싱되서 결과값이 나오는데, 전체 scrapy를 생성해서 crawl 돌리면 400 HTTP status code is not handled or not allowed 이 나는건 왜 때문인가요...?
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
scrapt shell re() 정규표현 적용시 에러
강사님이 알려주신데로 re를 쓰게되면 이런 에러가 나는데 방법이 있을까요...?
- 현존 최강 크롤링 기술: Scrapy와 Selenium 정복
크롬 드라이버 실행 문제
삭제된 글입니다
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
크롤링 후 가공에서 원이랑 , 빼는 부분에서 되는 열이 있고 안되는 열이 있는데 왜 그런지 몰르겠어요
크롤링 후 가공에서 원이랑 , 빼는 부분에서 되는 열이 있고 안되는 열이 있는데 왜 그런지 몰르겠어요
- 미해결현존 최강 크롤링 기술: Scrapy와 Selenium 정복
트위터 크롤링 관련해서 질문이 있습니다!
안녕하세요. 트위터를 크롤링 할 때 어려움이 있어서 질문 드립니다! 트위터를 크롤링 해 보니 한 페이지에 있는 텍스트만 크롤링이 돼서 많은 양의 데이터가 크롤링 되지 않았습니다.제 생각에 트위터는 스크롤을 내려야 다음 트윗이 보이는 특징 때문에스크롤을 내리는 코드를 지시해야 여러 트윗이 크롤링이 될 것 같아요 스크롤을 내리는 동작 코드 혹은 더 많은 양의 트윗을 크롤링 할 수 있는 방법이 있을까요? 그리고 동적 웹페이지 크롤링에서 다음 기사 댓글 부분도 추천댓글 기능이 디폴트로 되어있는데 추천 댓글은 양이 정해져 있어서 원하는만큼의 양의 댓글을 크롤링 할 수 없는 것 같아요. 그래서 최신순 버튼을 누르는 버튼을 추가해서 코드를 짜봤는데 강의에 도움이 될까 싶어서 말씀드려요!