-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
403 에러
21.02.09 23:29 작성 조회수 151
0
특정 사이트의 경우 start_urls 부터 안되던데,
이 경우 어떻게 크롤링을 해야할까요?
"2021-02-09 23:27:33 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403 http://bodyluv.kr/product/3%EC%B0%A8-renewal-%EB%B0%94%EB%94%94%EB%9F%BD-%EB%A7%88%EC%95%BD%EB%B2%A0%EA%B0%9C/44/category/1/display/2/?crema-product-reviews-1-page=1>: HTTP status code is not handled or not allowed"
구체적으론 위와 같은 에러가 발생합니다.
답변을 작성해보세요.
0
Dohwan Kim
질문자2021.02.10
https://study-grow.tistory.com/entry/scrapy-403-error-%EB%B0%9C%EC%83%9D%EC%8B%9C-%EB%8C%80%EC%B2%98%EB%B2%95
해결 방법을 찾아 공유합니다. 말씀해주신 질문할 때 주의사항 기억하겠습니다.
강의 즐겁게 보고있습니다. 정말 감사합니다.
0
잔재미코딩 DaveLee
지식공유자2021.02.10
안녕하세요. 개인적인 크롤링 문의는 양해를 부탁드립니다. 이 부분은 새소식등에서도 상세히 이해를 부탁드린다는 이야기를 드려서요. 다음과 같이 에러가 있을 경우, 에러 메세지와 함께 검색을 해보셔도 좋을 것 같습니다. 그래도 다음 링크에서 상세히 이야기를 하고 있는데 이와 관련이 있지 않을까 생각합니다. 굉장히 다양한 이슈가 있을 것 같아서, 해당 부분만 봐서는 어떤 부분이 문제인지는 저도 알기가 어려워서요.
https://stackoverflow.com/questions/46746701/scrapy-http-status-code-is-not-handled-or-not-allowed
감사합니다. 또 다음이 새공지에 예전에 올린 부분이라 이해를 부탁드립니다.
-----------
안녕하세요. 잔재미코딩 Dave Lee 입니다.
오늘은 한가지 공지를 드려요~~
그동안 정말 다양하고 많은 분들께서 수강을 해주고 계시는데요. 그러다보니, 질문/답변 란에 동일한 이야기를 드릴 때가 많아서 공유를 드려요.
질문/답변 란에, 각자 원하시는 크롤링 코드 관련 문의를 해주시는 경우가 꽤 있었는데요. 그 때마다, 가급적 배려를 드리는 차원으로, 가볍게 볼 수 있는 부분에 대해서만 답변을 드리기는 했습니다. 하지만, 해당 질문/답변 란은 본 강의 영상과 관련한 질문이 있을 때를 답변해드리는 것이 기본 취지인 것 같아요.
온라인 수학 강의를 수강하면서, 강의에 나온 수학공식을 사용하는 강의 외에 각자 풀고 있는 수학 문제를 질문하고, 이를 풀어드리는 강의는 본 적이 없는데요. 마찬가지로 본 강의를 수강하시면서, 각자의 코드나, 각자 원하시는 크롤링 코드를 작성해드리거나, 함께 풀어나가는 것은 현실적으로 큰 무리가 있습니다.
더군다나 본 강의가 평생 수강이 가능하기 때문에, 이를 지원해드릴 경우, 본 강의를 들으면 내가 원하는 크롤링 코드는 모두 해결해드려야 하는 오해 아닌 오해도 생길 수 있고요. 심지어, 저도 실제 코드를 작성해봐야 해서, 코드를 작성하느라 답변이 늦어지면, 다른 답변이 늦어질 수도 있어서, 다른 수강생분들께도 문제가 될 수 있을 것 같습니다.
그래서, 질문/답변란에 문의를 주실 때에는 각자의 원하시는 크롤링 코드 관련 문의는 안해주시면 감사하겠습니다. 이 부분 꼭 양해를 부탁드립니다.
------------
답변 2