• 카테고리

    질문 & 답변

  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.

22.05.30 16:59 작성 조회수 152

1

영상의 8분 즈음에서 

cmd 창에서,

C:\Users\junyo\잔재미코딩\최종 복습\mynaverapi\mynaverapi>scrapy genspider navershopapi openapi.naver.com/v1/search/shop.json

작성하면, cmd 창에

Created spider 'navershopapi' using template 'basic' in module:

  mynaverapi.spiders.navershopapi

이렇게 뜨고, navershopapi.py가 생성됩니다.

navershopapi.py 파일을 보면

class NavershopapiSpider(scrapy.Spider):
    name = 'navershopapi'
    allowed_domains = ['openapi.naver.com']
    start_urls = ['http://openapi.naver.com/']

이렇게 뜹니다. 

 

제공해주신 파일의 navershopapi.py 에서는

class NavershopapiSpider(scrapy.Spider):
    name = 'navershopapi'
    allowed_domains = ['openapi.naver.com/v1/search/shop.json']
    start_urls = ['https://openapi.naver.com/v1/search/shop.json']
 
 

처럼 start_urls가 다르게 나옵니다. 

 

물론, 제공한 파일의 start_urls로 변경해서 저장한 뒤에 실행하면 문제 없습니다. 

다만,  왜 start_urls에 제가 cmd 창에서 명령한 대로 작동되지 않는 지 궁금합니다. 

 

 

 

course-thumbnail

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

Scrapy 다양한 사용법: Scrapy 로 네이버 Open API 크롤링하기1

강의실 바로가기

답변 2

·

답변을 작성해보세요.

0

가후님의 프로필

가후

2023.01.08

같은 증상이었는데, 이글을 보고 잘해결되었습니다. 감사합니다.

0

잔재미코딩 DaveLee님의 프로필

잔재미코딩 DaveLee

지식공유자

2022.05.31

안녕하세요.

 

말씀해주셔서, 저도 동일하게 영상과 같이 실행을 해보았어요.

영상과 같이 다음과 같이 명령을 수행하였고요.

scrapy genspider navershopapi openapi.naver.com/v1/search/shop.json

 

spiders 폴더 내의 navershopapi.py 파일을 보니, 다음과 같이 보여져서요. 제공해드린 파일과 유사하게 나오고 있어서요. 말씀하신대로 openapi.naver.com 으로만 나오지는 않습니다. 물론 start_urls 는 자동으로 http:// 으로 붙어있어서, https:// 로 직접 수정해주셔도 좋은데요. 기본적으로는 유사하게 동작하는 것은 확인하였고, 혹시라도 수강생님의 PC 에서는 정상동작하지 않는다면,  start_urls 를 직접 수정해주셔도 진행하시는데는 이슈는 없습니다. 

 

# -*- coding: utf-8 -*-

import scrapy

 

 

class NavershopapiSpider(scrapy.Spider):

    name = 'navershopapi'

    allowed_domains = ['openapi.naver.com/v1/search/shop.json']

    start_urls = ['http://openapi.naver.com/v1/search/shop.json/']

 

    def parse(self, response):

        pass

 

감사합니다.

이 글과 비슷한 Q&A