inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

따라하며 익히는 크롤링 마스터 with데이터공방

엑셀 파일에 저장하기

넷플릭스 크롤링 데이터 엑셀파일저장

659

jiwon6760

작성한 질문수 7

0

! pip install selenium

from selenium import webdriver

browser = webdriver.Chrome('c:/인프라수업자료/chromedriver')

url = 'https://www.netflix.com/kr/browse/genre/839338'

browser.get(url)

html = browser.page_source

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'html.parser')

section_list = soup.select('section')

results = []

for section in section_list:

    section_title = section.select('h2')[0].text

    program_list = section.select('li')

    for program in program_list:

        program_title = program.select('span.nm-collections-title-name')[0].text

        program_img = program.select('img')[0]['src']

        program_link = program.select('a')[0]['href']

        data = [section_title,program_title, program_img, program_link]

        results.append(data)

import pandas as pd

df = pd.DataFrame(results)

df.columns = ['카테고리', '프로그램명', '이미지', '링크']

df.to_excel('c:/인프라수업자료/엑셀파일저장하기.xlsx')

section_title설정해줄 때 [0].text를 해줬는데도 엑셀파일 상에서 카테고리명이 저렇게 나타나요. 그리고 데이터 이미지도 일부분은 주소가 잘 써져있는데 일부분은 저렇게 나타나는데 왜그럴까요..??

웹-크롤링 python

답변 1

0

데이터공방

 

동일한 코드로 테스트를 해봐도 이상이 없는데,, 이상하네요. 

section_title = section.select('h2')[0].text

실제 실행하셨을때에는  위 코드가 아닌

section_title = section.select('h2')

코드로 실행이 되었을 것 같습니다.

(혹은,, 아래 부분에서 한번 더 실행이 되었을 수도 있을 것 같네요)

 

쥬피터노트북으로 실행중이시면 

코드 하나 하나 정리해보면서 실행해보시는 것을 추천드립니다.

 

 

 

넥플릭스 이미지 주소의 경우에는 

넷플릭스 크롤링(1page 크롤링) - 프로그램 정보 수집하기 강의에서 18분 이후부터 설명 드렸던 것 처럼

화면에 보이는 이미지만 가져오기 때문에 그렇습니다. 

강의 내용 한번 더 확인 요청드려요

 

 

0

jiwon6760

감사합니다!!

프롬프트의 영문 버전을 만들 때, 출력 규칙에 포함된 한글 부분은 영어로 번역하지 않고 그대로 유지하면서, 영문 편과 한글 편을 한 번에 함께 출력하려면 어떤 워크플로우로 구성하면 좋을까요?

0

7

0

프로그램은 뭘 사용하시는 건가요??

1

10

2

수업자료와 노션 공유 문제

0

16

3

python run.py 실행시 에러 문제

1

28

2

조건 반복문 질문: for 문 ?

0

21

0

54강 4분 41초에서 질문 있어요.

0

19

1

커서창

1

32

2

강의 제작

1

34

1

23강 질문드립니다, 강사님.

0

23

1

import

0

17

1

45강 예제4번에서 질문 있어요!

0

29

1

45강 강의 10분 03초 내용에서 x + 1 을 하는 이유는 뭔가요?

0

25

1

Json.stringify 관련 오류일까요?

0

25

2

3강, 7강 화면이 안나옵니다. 그냥 검은화면으로만 노출되요;;

0

28

1

cursor 환경

1

36

2

Gradio 실행 시 에러 발생 문의

0

33

2

Gradio 실행 시 Jinja2 / ASGI TypeError: unhashable type: 'dict' 에러 문의

0

39

2

안녕하세요, 강의자료 요청드립니다

0

25

1

개발 환경 준비와 프로젝트 구조 강의 관련

1

31

2

자료실 문의합니다. AIDU 툴 다운받으려고합니다.

0

21

1

수강연장요청 문의

0

39

1

크롤링 페이지 접속 에러

0

544

1

넷플릭스 크롤링

0

774

2

유튜브 크롤링 방법

0

401

1