현존 최강 크롤링 기술: Scrapy와 Selenium 정복

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

(7개의 수강평)

146명의 수강생
Apple 프로필

강의자료 Apple 14시간 전

안녕하세요

강의자료에 대한 source나 참조자료는 어디서 볼수있을까요

0
empty - 프로필

scrapy 동적 웹페이지 empty - 1달 전

안녕하세요 강의 정말 잘 보고 있습니다 ㅎㅎ

내용을 쉽게 설명해주셔서 바로바로 이해하면서 열심히 공부하고 있습니다.

다름이 아니라 scrapy에 selenium을 응용하여 동적 웹페이지를 크롤링 하려하는데

가이드 라인이 있으면 좋을거 같아서 이렇게 질문드려봅니다.

selenium에서의 response를 scrapy에서 이용 할 수 있지 않을까 생각하는데

scrapy 에서 selenium을 이용하여 동적웹페이지를 크롤링 하는 정말 간단한 소스 하나만 예제로 볼 수 있을까요

2
Seungwoon Song 프로필

한 함수에서 Request를 두번 쓰면 한번만 작동하는 문제 발생 Seungwoon Song 1달 전

for index, category_link in enumerate(category_links):
            yield scrapy.Request(url='http://corners.gmarket.co.kr/'+category_link, callback=self.parse_subcategory, meta={'category_name':  category_names[index]})
for index, category_link in enumerate(category_links):
            yield scrapy.Request(url = 'http://corners.gmarket.co.kr/'+category_link, callback = self.parse_item, meta = {'category_name':  category_names[index]})
      

위와 같이 한 함수 내에서 Request를 두번 요청하는 경우 한번은 작동하지 않는 문제가 발생되는데 혹시 해결 방법을 아실까요/

1
이상희 프로필

실행결과가 안나와요 이상희 1달 전

print("안녕")  shift+enter 눌렀는데 별표생기고 결과를 보여주지 않아요. 왜그런거죠.?

2
하록 프로필

현업에서의 크롤링 활용 하록 2달 전

완강 후 하고 싶었던 크롤링들 시도해봤는데... 꼭 해보고 싶었던 사이트는 자체적으로 크롤링 못하게 다 막아놨네요ㅠㅠ

현업에 계신분들은 보통 어떤 것들을 크롤링하는지 궁금합니다.

예시에서와 같이 네이버, 지마켓 등등 위주로 크롤링 하시는지요?

1
하록 프로필

naver open api 강좌 강의교안 하록 2달 전

선생님. naveropenapi 강좌 pdf 강의 교안을 못 찾겠습니다.

 

도움 부탁드립니다.

 

감사합니다.

2
하록 프로필

ROBOTSTXT_OBEY 와 DUPEFILTER_CLASS 하록 2달 전

settings.py의 ROBOTSTXT_OBEY 와 DUPEFILTER_CLASS의 역할에 대해 한번만 더 설명해주시면 감사드리겠습니다.

 

'실전 크롤링: gmarket 크롤링하며, scrapy 실전 활용법 익히기5' 편의 09:19 쯤에 미리 작성하셨다고(?) 언급하신 것 같은데 하다보니 궁금해졌습니다.

 

감사합니다!

1
hs moon 프로필

스크래피를 실전에 활용하기위한 체크리스트 hs moon 2달 전

안녕하세요.

크롤링에 관심이 많은 전산 비전공자 입니다.

제가 크롤링을 자주하는 편이고 라이브러리도 만들어보긴했는데 어설퍼서 이번에 스크래피를 배우고자 하고있습니다.

친절한 강의는 잘듣고 있습니다.

강의를 듣고 실습중 발생한 의문이나 궁금증들을 정리해 보았는데요.. 열댓가지 정도 되서...ㅠㅠ일일이 여줍기가 힘들어서...

자문자답 하는 형식으로 md 문서를 만들어 보았습니다.

구글링 해서 금방 찾을수 있는것도 있지만 실제로 뭐라고 검색해야 할지도 모르는 상황도 있어서...

https://github.com/zwolf21/scrapy-playground

혹시 스크래피 고급 과정 강좌를 만드실 계획이 있으시다면 위와 같은 내용을 반영이 될런지 궁금합니다 ㅎㅎ

1
하록 프로필

강의누락 하록 2달 전

객체지향 프로그래밍 3은 목록은 있는데 강의가 없습니다.

 

확인 부탁드립니다!

 

감사합니다.

1
LB 프로필

실전크롤링:지마켓 크롤링하면 Scrapy실전활용법 익히기부분에서 질문있습니다. LB 3달 전

위실전크롤링:지마켓 크롤링하면 Scrapy실전활용법 익히기부분에서 위와 같이 메인카테고리와 서브카테고리를

추출하는 부분을 테스트 해보니 메인카테고리만 추출하는 for문과 서브카테고리를 추출하는 for문이 

개별적으로 돌리면 정상적으로 잘 구동되는데 위와 같이 모두 활성화하고 parse_mainpage에서 호출하면 

메인카테고리만 추출하는 부분만 구동되고 함수가 종료되어 버립니다. 혹시 돌리기 위한 추가적인 설정이 필요한가요?

parse_item, parse_subcategory 모두 try-catch문에는 아무 에러가 없습니다. 

3
김기동 프로필

크롬브라우저 종료 김기동 3달 전

셀레니움으로 크롬실행을 하면, 바로 종료되는데요

유지시키는 방법은 없을까요?

1
설동헌 프로필

영상이 잘못 업로드 되었네요 설동헌 3달 전

scrapy 실전 활용법 3,4에 같은 영상이 올라와 있어요.

흐름상으로 봤을때 3번 영상을 빠트리신거 같아요.

여차저차 코드를 따라치면서 따라가긴했지만

좀 많이 혼란스러웠어요 ㅠㅠ

빠른 수정 부탁드릴게요

1
Jake 프로필

강의내용이 빠진 것 같습니다. Jake 3달 전

따라서 하다보니 금방 끝까지 왔네요.

너무 쉽게 설명해주셔서 이렇게 쉬운 걸 왜 이제서야 배웠나 싶습니다.

 

그런데, 강의 내용 중에서 

"실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기2" 강좌와

그 다음 강좌인 "실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기3"  사이에

아주 짧은 부분이지만 강의 내용이 약간 빠진 것 같습니다. 

확인해주시면 감사하겠습니다.

2
서유찬 (지대로보고있음) 프로필

제가 프로그램 만들고 싶은게 있어서 서유찬 (지대로보고있음) 3달 전

제가 프로그램 만들고 싶은게 있어서  여러강의듣고 예전에 강의들었던 적이 있어서 

 

파이참, 비주얼코드 , 아톰 이 깔려있는데 주피터 노트북과 겹쳐서 오류날 가능성이있나요?? 

오늘 주피터인스톨 까는걸 모르고 실행도 안되서 

삭제했다 깔았다 반복해서 약간 파일이 간거같긴한데

같이 듣고싶은게 Pyqt 강의도 들을려고해서 병행하고싶은데 프로그램적으로 안좋나요 ?? 

 

 

1
서유찬 (지대로보고있음) 프로필

오류가 났는데 Selenium 이 알깔린거 쉬운건데 답답 서유찬 (지대로보고있음) 3달 전

 실행이 안되네요 ㅠ 처음부터 막히니까 ㅠ 공부를 계속해야되는데 ㅠ진행이 안되서 답답합니다 ㅠ 

3
지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강좌들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스