scrapy shell로 해서 하나하나 response 결과를 확인할때는 잘 파싱되서 결과값이 나오는데,

전체 scrapy를 생성해서 crawl 돌리면 400 HTTP status code is not handled or not allowed 이 나는건 왜 때문인가요...?

이 부분은 요청이 잘못되었다는 뜻입니다. 즉 scrapy 프로젝트가 잘못만들어진 것으로 보여져요. 꼼꼼하게 한번 start_urls 부터 확인해보시면 좋을 것 같습니다. 감사합니다.
start_urls = ['http://corners.gmarket.co.kr/Bestsellers/']
<a href="https://developer.mozilla.org/ko/docs/Web/HTTP/Status/400" target="_blank" rel="noopener noreferrer"><code style="margin: 0px; padding: 0px 2px; border: 0px; font-style: inherit; font-weight: inherit; background-color: rgba(220, 220, 220, 0.5); border-radius: 2px; font-family: consolas, 'Liberation Mono', courier, monospace; overflow-wrap: break-word;">400 Bad Request</code></a>이 응답은 잘못된 문법으로 인하여 서버가 요청을 이해할 수 없음을 의미합니다.<a href="https://developer.mozilla.org/ko/docs/Web/HTTP/Status" target="_blank" rel="noopener noreferrer">https://developer.mozilla.org/ko/docs/Web/HTTP/Status</a>

인프런 커뮤니티 질문&답변

scrapy shell