인프런 업데이트 소식 🔨👷🏼‍♂️
현존 최강 크롤링 기술: Scrapy와 Selenium 정복

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

(7개의 수강평)

140명의 수강생
잔재미코딩 프로필
[공유] scrapy에서 중복 request 호출이 안되는 경우
잔재미코딩 15일 전

안녕하세요.

scrapy에서 request를 여러번 할 경우, 첫번째 request 이외에는 호출이 안되는 부분에 대해 고민을 하시는 분들을 뵈어서,

다시 새소식으로 공유드립니다.

request시 URL이 중복된 경우, (예를 들어, www.daum.net/news1.html, www.daum.net/news2.html 은 앞의 URL 이 동일합니다.) 두 번째 요청은 처리를 하지 않습니다.

이 부분은 scrapy에서는 중복 URL에 대해, 디폴트로 중복 request를 안하도록 설정이 되어 있기 때문입니다.

settings.py 에서 다음 항목에 앞에 # 을 삭제해서, enable 하시면, 중복 URL에 대해서도 요청이 가능합니다.

DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter'

이 부분은 강좌 후반부에서 설명을 하였고, 강좌에서 첨부드린 scrapy 프로젝트 코드에서도 확인하실 수 있습니다.

감사합니다.

잔재미코딩 프로필
강좌 할인쿠폰 공유[10월 한정]
잔재미코딩 1달 전

안녕하세요. 잔재미코딩 Dave Lee 강사입니다.

인프런에 오픈한 강좌가 벌써 4개가 되었는데요. 이 중에 일부 강의를 수강하시는 분들을 위해, 간단히 4개의 강의를 공유드릴겸, 할인쿠폰을 제공해드리려고 공지를 드립니다.

최종 목표는 올해 내에, 데이터 분석 과정과 풀스택 과정을 모두 오픈하는 것인데요. 두 과정 모두 데이터 수집, 데이터 저장, 데이터 분석 기술을 공통으로 하며, 기 오픈된 4강의는 데이터 수집, 데이터 저장, 데이터 분석(일부) 기술을 설명드린 것입니다. 

어느 기술이나, 처음 익히기 시작할 때가 굉장히 시간이 오래걸리는 법인데요. 막무가내로 익히시려면, 한참 헤멜 수 있는 부분들을 가능한 쉽고, 빠르게! 핵심 내용을 중심으로 현업에서 실제 활용까지 가능하도록 하는데 중점을 두어 만들었습니다.

수강생분들을 위해, 다음 테이블과 같이 할인 쿠폰을 공유해드리니, 필요하시면 수강하실 때 활용하시면 좋을 것 같습니다. 할인 쿠폰의 유효기간은 10월말일 까지 입니다. 

과목명 쿠폰 할인금액
파이썬입문과 크롤링기초 부트캠프 [쉽게! 하지만, 견고한 자료로!] 20-bf7f0bda1111 5000원
현존 최강 크롤링 기술: Scrapy와 Selenium 정복 19-e19bcffe7d05 5000원
NoSQL/DB(몽고DB)기초와 파이썬활용 [최신 풀스택/데이터과학 첫걸음] 18-871115b33679 5000원
SQL/DB(MySQL) 기본부터 파이썬/데이터분석 활용까지! 16-6cc2f0a86976 5000원

참고로, 위 강좌를 기반으로 다음 로드맵도 오픈하였으니, 수강하실 때 참고하시면 좋을 것 같습니다. (각 이미지를 클릭하시면 해당 로드맵 페이지를 보실 수 있습니다.)

잔재미코딩 프로필
강의 자료 다운로드 관련 공유
잔재미코딩 1달 전

안녕하세요.

각 강의 관련 자료를 다운로드받으실 수 있는 방법에 대해 공유드립니다.

각 강의마다, 관련 자료를 올려놓았습니다만, 어디서 다운로드를 받아야 하는지에 대해, 문의가 많았습니다. 아마도 인프런 강의 자료 인터페이스가 변경이 된듯도 해서, 공지로 올려드립니다. 다음과 같이 오른쪽 상단부 목차를 클릭하시고, 각 강의 목차 왼쪽의 다운로드 아이콘을 누르시면 각 강의에 맞는 자료를 다운로드받으실 수 있습니다.

각 강의에 맞는 자료를 각 강의에 매칭해서 일일이 올려드리므로, 각 강의에 맞는 자료를 그때그때마다 다운로드받으셔서 강의를 수강하시면 보다 학습효과가 컸었습니다. 그럼 꼭 도움이 되셨으면 좋겠습니다. 감사합니다.

지식공유자 되기
많은 사람들에게 배움의 기회를 주고,
경제적 보상을 받아보세요.
지식공유참여
기업 교육을 위한 인프런
“인프런 비즈니스” 를 통해 모든 팀원이 인프런의 강좌들을
자유롭게 학습하는 환경을 제공하세요.
인프런 비즈니스