현존 최강 크롤링 기술: Scrapy와 Selenium 정복
현존 최강 크롤링 기술: Scrapy와 Selenium 정복
수강정보
(50개의 수강평)
571명의 수강생
김지윤 프로필

head 김지윤 3일 전
서버로 요청할 때 headless가 아닌 head를 채워서 보내는 방법이 있다고 하셨는데 각 개인의 head내용은 어디서 볼 수 있는건지 궁금합니다! 항상 좋은 강의 올려주시느라 감사합니다 ㅎㅎ

1
major 프로필

스크롤해서 나오는 정보는 어떻게 할까요 major 3일 전
안녕하세요 댓글에서는 더보기 클릭해서 정보를 수집하는데요 스크롤해서 정보가 나오는 데이터는 어떻게 크롤링해야할까요? 감사합니다 

1
wonwoo 프로필

셀렉터 질문 드립니다. wonwoo 4일 전
안녕하세요. 오늘 강의와는 크게 상관이 없는데, 유용하게 느껴져서 질문드립니다. id가 있는 것만 선택할 경우 [id] 이런식으로 처리되는데, 클래스에는 적용이 되지 않는 것 같더라고요. 클래스가 있는 태그만 뽑아내는 것도 가능한가요?

1
이홍기 프로필

selenuim 로그인 하기 질문 있습니다!! 이홍기 10일 전
제가 특정 사이트를 로그인 하는 실습을 진행 중인데요 send_keys("python") 이부분에 아이디, 패스워드를 넣고 실행 시키면 아이디 부분은 내용이 입력이 되는데 패스워드는 내용 입력이 안됩니다. 패스워드 쪽은 복사 붙여넣기 기능을 못하게 해놓고 먼가 크롤링을 못하게 해놓은거 같은데 다른 방법은 없는건가요?? 강의와 관련있는 질문을 남겨주세요.• 강의와 관련이 없는 질문은 지식공유자가 답변하지 않을 수 있습니다. (사적 상담, 컨설팅, 과제 풀이 등)• 질문을 남기기 전, 비슷한 내용을 질문한 수강생이 있는지 먼저 검색을 해주세요. (중복 질문을 자제해주세요.)• 서비스 운영 관련 질문은 인프런 우측 하단 ‘문의하기’를 이용해주세요. (영상 재생 문제, 사이트 버그, 강의 환불 등) 질문 전달에도 요령이 필요합니다.• 지식공유자가 질문을 좀 더 쉽게 확인할 수 있게 도와주세요.• 강의실 페이지(/lecture) 에서 '질문하기'를 이용해주시면 질문과 연관된 수업 영상 제목이 함께 등록됩니다.• 강의 대시보드에서 질문을 남길 경우, 관련 섹션 및 수업 제목을 기재해주세요. • 수업 특정 구간에 대한 질문은 꼭 영상 타임코드를 남겨주세요! 구체적인 질문일수록 명확한 답을 받을 수 있어요.• 질문 제목은 핵심 키워드를 포함해 간결하게 적어주세요.• 질문 내용은 자세하게 적어주시되, 지식공유자가 답변할 수 있도록 구체적으로 남겨주세요.• 정확한 질문 내용과 함께 코드를 적어주시거나, 캡쳐 이미지를 첨부하면 더욱 좋습니다. 기본적인 예의를 지켜주세요.• 정중한 의견 및 문의 제시, 감사 인사 등의 커뮤니케이션은 더 나은 강의를 위한 기틀이 됩니다. • 질문이 있을 때에는 강의를 만든 지식공유자에 대한 기본적인 예의를 꼭 지켜주세요. • 반말, 욕설, 과격한 표현 등 지식공유자를 불쾌하게 할 수 있는 내용은 스팸 처리 등 제재를 가할 수 있습니다. 

1
이홍기 프로필

크롤링에서 크롤링 하기에서 'href' 호출 문의 이홍기 12일 전
안녕하세요 질문이 있어서 글을 올립니다 크롤링 하고 다시 크롤링 하는 부분에서  href 부분이 a href = "ncas/analysis-reports/ar20" 이부분만 나타나서 https://us-cert.cisa.gov/ 생략.. res_info = requests.get(title['href']) 시  https:// 포맷에 안맞다고 오류가 납니다. 이럴떄 해결 방법이 있나요??

1
윤진건 프로필

Scrapy shell 사용할 때 안되지만 selenium으로 검색하면 작동하는 이유가 뭔가요? 윤진건 17일 전
안녕하세요 강사님, 질문드리기에 앞서 항상 수업 잘 듣고 있습니다. 감사합니다. SK엔카 http://www.encar.com/dc/dc_carsearchlist.do?carType=kor&searchType=model&TG.R=A#! 이 사이트의 차량목록 데이터를 받으려고 했습니다. 아래 사진과 같이 해당 파일의 css를 개발자 도구에서 copy해서 scrapy shell의 response.css 로 검색했으나 [ ] 이렇게 빈칸의 검색 결과가 나왔습니다. 그런데 selenium으로 해당 css로 접근하니까 데이터를 받을 수 있었습니다.    노란풍선 https://www.ybtour.co.kr/product/localList.yb?menu=PKG&dspSid=AACA000 노란풍선에서도 동일하게 여행지 정보를 얻으려고 scrapy를 사용하니 안되고, selenium을 사용하니 작동이 되었습니다.  이러한 경우는 scrapy의 response.css의 한계인 건가요 아니면 웹페이지 구조가 다른 홈페이지들과 달라서 발생한 문제인가요?  노란풍선과 sk엔카 홈페이지 모두 해당 url에 데이터가 있다기 보다는 다른 링크를 통해 데이터 정보를 가져오는 느낌을 받았습니다만 제 html 지식이 부족해서 이해하지 못했습니다. 설명 부탁 드립니다.   감사합니다.

2
송윤희 프로필

오류발생 송윤희 20일 전
이대로 치면 오류가 나와요 ㅜㅜ SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 85오류 내용은 버전이 85만 지원한다고 적혀있는데 제 크롬 버전은 84이거든요.. 이건 어떻게 해결해야 하나요?

1
최경호 Choi 프로필

ipython 파일 요청 최경호 Choi 24일 전
ipython 파일들은 어디에 있는건가요? 수업자료 다운로드하면 pdf파일들만 다운로드되는데요. 글씨가 잘려서 안보입니다.

1
안서준 프로필

scrapy shell에서 실행이 너무 복잡하게 보입니다 안서준 27일 전
scrapy shell로 css 값을 확인할려고 하면 이렇게 다 붙어져서 나옵니다.(오류는 없습니다) 동영상에 나오듯 하나씩 띄어쓰게 나오게 하는 방법은 없나요?? 확인할려고 하면 너무 꼬여서 가독성이 떨어집니다ㅠㅠ 터미널은 iterm2를 사용하고 있습니다

1
Learner 프로필

selenium 오픈 문제 Learner 28일 전
부트 캠프를 잘 수강했다고 생각하고 selenium 강좌로 넘어왔는데 오자마자 위와 같은 문제가 발생하네요 ㅠㅠ 강사님 말씀해주신 것 처럼 chromdriver.exe 파일 C드라이브에 폴더 만들어서 넣어 놨는데 위와 같은 오류 메시지가 바로 발생해서 문의드립니다.

1
길벗의 앤Anne Kim 프로필

덧글 결과가 20개만 출력이 되는데요 길벗의 앤Anne Kim 1달 전
loop, count=True, 0 #loop=0 #count=0 while loop and count <10:         try: # 더보기 버튼 태그 입력         element=WebDriverWait(driver, 5).until(             EC.presence_of_element_located((By.CSS_SELECTOR, '#alex-area > div > div > div > div.cmt_box > div.alex_more'))         )         more_button=driver.find_element_by_css_selector('#alex-area > div > div > div > div.cmt_box > div.alex_more')         webdriver.ActionChains(driver).click(more_button).perform()           count +=1 # count += count+1         time.sleep(2)          #except:      except TimeoutException:         loop=False 선생님, 안녕하세요. 크롤링 강의도 잘 듣고 있습니다. 그런데 다음 덧글 가져오는 부분에서 코드를 실행하니까 저는 20개밖에는 출력이 안되는데 혹시 제가 코드를 잘못 입력한 부분이 있나요? 덧글이 20개는 나오는 것으로 보아 다른 곳은 이상이 없고 위 부분에서 제가 뭔가 잘못한 건가 싶어서요. (혹은 중국 인터넷이 느린 게 원인이 될 수 있을까요? 그런데 여러 번 시행해 봐도 항상 20개씩만 불러져 오는 것으로 보아 코드의 문제 같은데요.) 죄송하지만 확인 좀 부탁드릴게요. 감사합니다.

5
Ji woo Kim 프로필

네이버 API 연결문제 Ji woo Kim 1달 전
1강에 올려주신 파일로 코드 복붙한다음 API id랑 key만 저의것으로 발급받아 돌려봐도 인증이 안되는것 같아 문의드립니다. handle이 없다는 오류가 크롤링할 권한이없다(?) 뭐 이런 의미인것 같은대 지금은 네이버가 막은것 인가요??

2
김태환 프로필

naver api 교안이 없네요 김태환 1달 전
교안이 없어요

1
Snake R.black 프로필

셀레늄으로 네이버 로그인 불가능 한가요? Snake R.black 1달 전
ㄴ이렇게 코드를 작성해서 네이버 로그인 해보려 했더니 안되던데..  방법이 있나요? ^^;   그리고 셀레늄으로 카페 매일 간단한 인사말 같은거 자동으로 남기는 것도 가능한가요? 

3
김명진 프로필

선생님 수강기한이요..... 김명진 1달 전
선생님 수강기한이요..... 제것은 기한이 있는데,,, 지금 구매하는 사람들은 무제한이네요.... • 수강을 계속 듣고 싶은데요.... 또 결재를 해야 하나요?

1
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강의들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스