넷플릭스 크롤링 데이터 엑셀파일저장
659
작성한 질문수 7
! pip install selenium
from selenium import webdriver
browser = webdriver.Chrome('c:/인프라수업자료/chromedriver')
url = 'https://www.netflix.com/kr/browse/genre/839338'
browser.get(url)
html = browser.page_source
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'html.parser')
section_list = soup.select('section')
results = []
for section in section_list:
section_title = section.select('h2')[0].text
program_list = section.select('li')
for program in program_list:
program_title = program.select('span.nm-collections-title-name')[0].text
program_img = program.select('img')[0]['src']
program_link = program.select('a')[0]['href']
data = [section_title,program_title, program_img, program_link]
results.append(data)
import pandas as pd
df = pd.DataFrame(results)
df.columns = ['카테고리', '프로그램명', '이미지', '링크']
df.to_excel('c:/인프라수업자료/엑셀파일저장하기.xlsx')
section_title설정해줄 때 [0].text를 해줬는데도 엑셀파일 상에서 카테고리명이 저렇게 나타나요. 그리고 데이터 이미지도 일부분은 주소가 잘 써져있는데 일부분은 저렇게 나타나는데 왜그럴까요..??
답변 1
0
동일한 코드로 테스트를 해봐도 이상이 없는데,, 이상하네요.
section_title = section.select('h2')[0].text
실제 실행하셨을때에는 위 코드가 아닌
section_title = section.select('h2')
코드로 실행이 되었을 것 같습니다.
(혹은,, 아래 부분에서 한번 더 실행이 되었을 수도 있을 것 같네요)
쥬피터노트북으로 실행중이시면
코드 하나 하나 정리해보면서 실행해보시는 것을 추천드립니다.
넥플릭스 이미지 주소의 경우에는
넷플릭스 크롤링(1page 크롤링) - 프로그램 정보 수집하기 강의에서 18분 이후부터 설명 드렸던 것 처럼
화면에 보이는 이미지만 가져오기 때문에 그렇습니다.
강의 내용 한번 더 확인 요청드려요
프롬프트의 영문 버전을 만들 때, 출력 규칙에 포함된 한글 부분은 영어로 번역하지 않고 그대로 유지하면서, 영문 편과 한글 편을 한 번에 함께 출력하려면 어떤 워크플로우로 구성하면 좋을까요?
0
7
0
프로그램은 뭘 사용하시는 건가요??
1
10
2
수업자료와 노션 공유 문제
0
16
3
python run.py 실행시 에러 문제
1
28
2
조건 반복문 질문: for 문 ?
0
21
0
54강 4분 41초에서 질문 있어요.
0
19
1
커서창
1
32
2
강의 제작
1
34
1
23강 질문드립니다, 강사님.
0
23
1
import
0
17
1
45강 예제4번에서 질문 있어요!
0
29
1
45강 강의 10분 03초 내용에서 x + 1 을 하는 이유는 뭔가요?
0
25
1
Json.stringify 관련 오류일까요?
0
25
2
3강, 7강 화면이 안나옵니다. 그냥 검은화면으로만 노출되요;;
0
28
1
cursor 환경
1
36
2
Gradio 실행 시 에러 발생 문의
0
33
2
Gradio 실행 시 Jinja2 / ASGI TypeError: unhashable type: 'dict' 에러 문의
0
39
2
안녕하세요, 강의자료 요청드립니다
0
25
1
개발 환경 준비와 프로젝트 구조 강의 관련
1
31
2
자료실 문의합니다. AIDU 툴 다운받으려고합니다.
0
21
1
수강연장요청 문의
0
39
1
크롤링 페이지 접속 에러
0
544
1
넷플릭스 크롤링
0
774
2
유튜브 크롤링 방법
0
401
1





