inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

쉽게 처음하는 파이썬 고급 크롤링 [Scrapy, Selenium, Headless Chrome]

Scrapy 다양한 사용법: Scrapy 로 네이버 Open API 크롤링하기1

네이버 Open API 크롤링하기1 강의 질문

197

허쿡

작성한 질문수 51

0

네이버 Open API 크롤링하기1 강의에서

self.start_urls로 start_urls가 여러 페이지의 리스트형태로 되어있는

경우 아래와 같이 for 문으로 풀어주신다고 하셨는데요.

 

for url in self.start_urls:

     yield ~~ 

 

예를 들어

start_urls =[www.xxxx, www.yyyy, www.ssss] 로 여러 페이지가

리스트로 되어있는 경우 그냥

for url in start_urls로 써도 되지 않나요?

왜 self. 을 붙여서 하는지 궁금합니다.

 

답변 부탁드립니다. 감사합니다.

웹-크롤링 scrapy bigdata selenium

답변 1

1

잔재미코딩 DaveLee

맞습니다. 말씀하신대로 start_urls 로 하셔도 됩니다.

프레임워크에 정의된 attribute 변수를 쓰기 위해서는 self 를 붙여야 하니까 그런 것이고요. 말씀하신대로 start_urls 로 하셔도 문제 없습니다. 항상 여러가지 방법이 있는 것이라고 가볍게 생각해주셔도 좋을 것 같습니다.

0

허쿡

답변 감사합니다~!

[REST API] data의 교환방식 질문

1

676

1

headless chrome 오류 문의

0

1495

1

Selenium 처리 속도 관련 문의드립니다.

0

1964

1

동적 웹사이트에서 element가 선택되지 않는 문제에 관해 질문드립니다

0

695

1

webdriver manager

0

451

1

__init__() got an unexpected keyword argument 'service' 에러 질문드립니다.

1

11722

1

Jupiter NoteBook 파일과 PDF 파일은 어디서 다운로드 받을 수 있나요?

0

451

1

scrapy option질문

1

247

1

response.css 질문드립니다.

0

377

1

scrapy 크롤링 수행시 ffi.callback() 에러가 발생합니다

0

403

1

selenium으로 여러페이지 수집시 질문

0

387

1

연습6 모범 코드: 로그인 시나리오 해보기

0

279

1

셀레니움 문법 업그레이드 , find_element_by_tag_name 오류

3

2840

1

셀레니움 버전 변경으로 인한 코드 변경

0

1289

1

headless error

0

447

1

질문있습니다!

0

467

1

안녕하세요 선생님! 질문있습니다.

0

236

1

selenium&scrapy문의

0

286

1

아래분(phantele47)과 동일한 문제가 발생해서 문의드립니다.

0

921

6

ip 차단을 피하려면 어떻게 해야 하나요?

0

3394

2

start_urls = ['']가 제공해주신 것과 다르게 작동합니다.

1

299

2

json, data = json.loads(response.body_as_unicode()) 부분에 문제가 있는 것 같습니다.

0

614

3

웹크롤링이 상대방 서버에 부담이 될 때는 어떻게 하나요~?

0

693

1

scrapy 윈도우버전의 설명은 따로 없나요??

0

335

1