inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[리뉴얼] 파이썬입문과 크롤링기초 부트캠프 [파이썬, 웹, 데이터 이해 기본까지] (업데이트)

직접 작성해보며 익숙해지기: 크롤링 기본 연습문제 풀기 (업데이트)

[바로 실전 크롤링해보기: 네이버 쇼핑 사이트 크롤링하기] 편 코드 중 질문드립니다.

461

니니의엑셀

작성한 질문수 1

0

 

import requests

from bs4 import BeautifulSoup

site_list = ['https://search.shopping.naver.com/best100v2/detail.nhn?catId=50000000, https://search.shopping.naver.com/best100v2/detail.nhn?catId=50000002']

for site in site_list:

    res = requests.get(site)

    soup = BeautifulSoup(res.content, 'html.parser')

    data = soup.select('#productListArea > ul > li> p > a')

    print(site)

    for item in data:

        print(item.get_text())

[바로 실전 크롤링해보기: 네이버 쇼핑 사이트 크롤링하기]

에서 진행하신 크롤링인데 선생님과 완전히 동일하게 코드를 작성했는데 다른 결과가 나오네요. 저의 경우 사이트 링크 1개만 출력됩니다. 왜 그런지 알 수 있을까요?

늘 좋은 강의 잘 듣고 있습니다.

감사합니다! 

python 웹-크롤링

답변 1

0

잔재미코딩 DaveLee

안녕하세요

공유해주신 코드에서 site_list로 리스트 변수를 만드실 때, 

따옴표를 열고'  닫을 때, ' 닫는 기호가 ['    '] 맨 끝에 놓으셔서, 사이트 링크 두개가 하나의 사이트 링크인것처럼 설정되어 있어서 그렇습니다.

예를 들어, ['A', 'B'] 와 같이 작성하셔야, 해당 리스트가 'A' 와 'B'를 가질 텐데, ['A, B'] 와 같이 적으셔서, 해당 리스트는 'A, B' 라는 데이터 하나만 가지게 된 상황이 되었고, 그래서 해당 링크 두개가 묶여 있는 상태에서 request를 하니 결과도 나오지 않는 상태가 되었습니다. 다음 코드로 비교해보시면 더 좋을 것 같습니다. 미세한 실수에 대해서 찬찬히 원인을 코드하나씩 확인해보시면서, 체크해보시는 연습을 하시면 더 금방 하시고자 하시는 프로그래밍을 잘 하실 수 있으실 것 같습니다. 감사합니다.

-----------

site_list = ['https://search.shopping.naver.com/best100v2/detail.nhn?catId=50000000', 'https://search.shopping.naver.com/best100v2/detail.nhn?catId=50000002']

위와 같이 site_list만 바꿔보시면 바로 실행이 됩니다.

-----------

크롤링, 영상을 따라해도 제미나에게 물어봐도 안되요

0

33

1

정규표현식 및 여러 코드 꼭 외워야 하나요?

0

40

1

리스트 함수형도 정수 데이터 받을 수 있나요?

0

46

1

크롤링 관련 질문

0

64

1

문제 답이 없는 버전은 없나요?

0

74

1

requests, BeautifulSoup 임포트 부분에 대해 문의드립니다.

0

83

1

업데이트 강의

0

98

2

선생님 강의중에서 sqlite3 강의를 제공한 강의가 있나요?

0

124

2

연습용 예제 파일

0

76

1

lxml 관련 오류

0

106

1

SAVE Request 창 띄우는 법

0

92

1

포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다. 2

0

75

1

포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다.

0

98

1

예제 2, 4, 6에 대한 풀이 방식 질문.

0

89

1

문제 파일

0

78

1

pdf 파일 내 코드 복붙시 공백

0

291

1

데이터 저장 강좌 문의 건

0

96

1

" " 와 ' '의 차이를 알고 싶습니다

0

243

1

Exercise 22. 문자열 다루기 (strip)

0

132

1

list함수로 리스트 선언하면 실패하는데 이유는 무엇입니까?

0

188

1

셀 삽입후 바로 기입이 가능합니까?

0

139

2

주피터 노트북 마우스 스크롤? 오류

0

1550

2

등호 2개('==')의 의미가 뭐죠?

0

460

2

페이지가 넘어갈 때 url 변하지 않는 경우

0

267

1