inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

현존 최강 크롤링 기술: Scrapy와 Selenium 정복

참고: scrapy로 네이버 오픈API 활용 크롤링1 (크롤링 부트캠프의 오픈API 이해 기반)

ROBOTSTXT_OBEY

177

Ethan yoo

작성한 질문수 1

0

ROBOTSTXT_OBEY = False 입력했는데,

Ignoring response <400 https://openapi.naver.com/v1/search/shop.json/query=iphone>: HTTP status code is not handled or not allowed

이런 에러가 뜹니다..

세팅에서 user_agent부분도 바꿨는데도 정확히 어떤건지 모르겠네요...

scrapy 웹-크롤링 selenium

답변 1

0

잔재미코딩 DaveLee

안녕하세요.

일단 해당 API 가 혹시라도 바뀌었나 싶어서, 확인해봤는데, API 주소도 동일하고요. 

https://developers.naver.com/docs/serviceapi/search/shopping/shopping.md#%EC%87%BC%ED%95%91

지금 해당 API 주소를 그대로 웹브라우저에 넣으면, 동일한 Bad Request 400 에러가 납니다.

https://openapi.naver.com/v1/search/shop.json/query=iphone

1. 그렇다는 의미는 웹브라우저에 넣을 때, 제가 Client ID 등을 전혀 안넣은 상태니까요. 물론 Client ID 나 Secret key 등을 정상적으로 써넣으셨겠지만, 이 부분을 새로 발급받아서, 테스트해보시면 좋을 것 같고요.

2. 다음으로 내 에플리케이션 메뉴에 가보시면, 자신의 API 에 대한 API 설정이 있을꺼예요. 해당 설정에서 아마 사용 API 등에 검색등의 권한이 없어서 그럴 수 있습니다. 모든 권한을 다 넣어서 해보셔도 좋을 것 같습니다.

마지막으로 다음 '궁금한 점에 대한 답변 찾기 꿀팁' 글도 읽어보시면, 훨씬 도움이 되실 것 같습니다.
궁금한 점에 대한 답변 찾기 꿀팁!
궁금한 부분이 있거나, 문제가 있을 때, 항상 google.co.kr 에서 질문에 대해 검색해보세요! (아직까지는 네이버?로 검색하는 개발자는 없습니다.)
에러 메시지는 맨 마지막 라인을 복사해서 구글에서 검색해보시고, 질문에 대해서는 질문 관련 키워드들을 조합해서 구글에서 검색해보세요. 개발자들은 모두 이를 통해, 답변을 얻습니다. 한발짝 나아 가시려면, 반드시 이런 연습이 꼭 필요합니다.
저는 한가지 확인이 필요한 사안을 위해, 20 ~ 30분 검색과 10개 이상의 블로그를 찾아보는 일을 하루에도 한두번씩 한답니다.
검색이 처음이신 분들은 개발자를 위한 정보 검색 팁을 참고하시면 훨씬 성장하시는데 도움이 되실 것입니다.
두번째, 각 강의마다, 다른 분들께서도 이미 질문하신 사항들이 있습니다.
해당 부분을 확인해보시면, 답변을 기다릴 필요 없어서, 훨씬 도움이 되실 것 같습니다.
세번째, 각자 작성하신 코드 에러의 경우는
제가 제공해드린 코드자료를 수정하지 않고, 단계별로 그대로 실행해보신 후, 해당 코드와 자신의 코드가 어떤 부분이 다른지를 단계별로 확인해보시면, 훨씬 좋습니다.
키보드로 그대로 따라 치시기 보다, 제공해드린 코드를 그대로 복사해서 붙여넣고 테스트를 해보시면 좋고, 여기에서 자신의 코드와 다른 부분을 최대한 작게 쪼개서 조금씩 넣어보시면서, 테스트를 해보시면 가장 좋습니다. 각자 코드를 작성하신다면, 이렇게 작업해보시면 훨씬 도움이 되실꺼예요.
마지막으로, 질문하실 경우에는 어느 강의 영상의 어느 구간(가능하다면 몇분 몇초)에 대해 질문하시는 것인지 꼭 명기해주시면 좋습니다.
그래야 맥락이 이해가 가서, 보다 좋은 답변할 수 있습니다. 만약 구간 명기가 가능하지 않다면, 강의 영상 외적인 문의인지에 대해 확인 부탁드립니다. 본 질문 답변란은 강의 영상 이해를 돕기 위한 자리입니다. 강의 영상 외적인 부분은 양해를 부탁드립니다. 특히 극히 일부 개인별 코드 리뷰나 기능 구현등 무리가 되는 요청을 하시는 분들도 계셨는데, 좋은 강의가 선순환될 수 있도록 부탁드립니다.
잔재미코딩 Dave Lee 드림

코딩을 잘 따라 한 것 같은데 오류가 발생하는 것 같습니다

0

624

1

scrapy를 jupyter 환경에서 할 수 있나요

0

357

1

[실전 크롤링: scrapy 크롤링 팁] 질문있습니다.

0

309

1

[실전 크롤링: 지마켓 크롤링하며, scrapy 실전 활용법 익히기1] 5분50초쯤 질문

0

220

1

[강력/최신 크롤링 기술: Scrapy 로 지마켓 크롤링하기1] 관련 질문

0

276

1

xml을 parsing할때 <을 &lt; 로 인식합니다.

0

332

1

pipelines.py에서 process_item내에서 print문이 작동을 하지 않네요 ㅠ

0

289

3

PhantomJS 문의

0

292

1

selenium 문의

0

327

1

브라우저 제어해서 크롤링하기 - 처음강의 마지막부분 문의

0

3002

1

on error 해결 방법 질문

0

354

1

[팁] 윈도우 cmd 커맨드

0

345

1

[팁]Chrome User Agent 아는법

0

325

1

실전 크롤링: 브라우저를 제어해서 트위터 사이트 로그인 하기 질문

0

252

1

동영상 강의 만드실 때 사용한 툴을 알려주실 수 있을까요?

0

234

1

CSS Selector 에서 질문이 있습니다.

0

432

2

pip install scrapy 오류

0

481

1

셀레니움 실행불가

0

1575

1

실전 크롤링: XPATH와 Selenium 활용해서 페이스북 로그인 하기 에서 질문이 있습니다.

0

224

1

언제 get_text()를 사용하고 또 언제 .text를 사용하나요?

0

284

1

강의교안자료 받을수있을까요?

0

261

1

[강의 9:27관련 질문] price, title 열 위치

0

157

1

div에 있는 클래스가 2개이면 어떻게 하나요?

0

365

1

css 셀렉터에 대해 질문이 있습니다.

0

143

1