-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
왜 크롤링이안될까요?ㅠㅠ
21.05.01 19:45 작성 조회수 144
0
강사님 코드로 똑같이 실행했는데 이렇게해서 오류가 나는데 아무리 생각해도 뭐가 잘못된건지모르겠습니다
답변을 작성해보세요.
0
잔재미코딩 DaveLee
지식공유자2021.05.03
안녕하세요.
우선 혹시... allowed_domains 가 본래 코드에 없는 것 아닌가요? 하도 오랜만이라서, 저도 찾아봤는데, 해당 변수값이 없는 것 같아서요. 이 부분 확인부탁드리고요.
다음으로, 해당 사이트가 실제 사이트다보니, 해당 사이트가 업데이트되며, 수시로 변경이 되는 부분이 있습니다. 그렇더라도, css selector 만 다시 한번 확인해보시면서, 적용해보시면 가능은 하신데요. 우선 다음과 같이 해당 코드에서 li[id] 부분을 수정해서, 관련 코드에도 업데이트를 하였습니다.
2021년 5월 3일 자료 업데이트 사항:
gmarket_best.py 파일의 다음 코드가 변경되어 관련 코드를 업데이트하였습니다. 해당 사이트가 실제 사이트이다보니, 사이트가 변경되어 CSS Selector 를 그때마다 변경하였으며, 이와 같이 css selector 사용법만 잘 적용하신다면, 크롤링이 가능합니다.
------------
# 2021.05.03 해당 사이트의 li 태그가 변경되어, 기존 li[id] 를 li 로 변경하였습니다. 참고부탁드립니
#titles = response.css('div.best-list > ul > li[id] > a::text').getall()
#prices = response.css('div.best-list > ul > li[id] > div.item_price > div.s-price > strong > span > span::text').getall()
titles = response.css('div.best-list > ul > li > a::text').getall()
prices = response.css('div.best-list > ul > li > div.item_price > div.s-price > strong > span > span::text').getall()
--------------
해당 자료는 다음 강의에 첨부파일로 업데이트하여 넣어놓았습니다.
- 실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1
감사합니다.
답변 1