inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Python cơ bản và tạo nhiều ứng dụng tự động hóa khác nhau bằng cách sử dụng web crawling

Hướng dẫn sử dụng BeautifulSoup và Thực hành web parsing cơ bản (2) - Naver, Inflearn

인프런 추천강좌 에러

324

valencia10024339

2 câu hỏi đã được viết

0

네이버는 문제 없이 잘 되는데 유독 인프런에서만 요소를 하나밖에 잡지 못하는 문제가 발생합니다.

https://www.inflearn.com/추천-강좌는 링크가 없어서

 https://www.inflearn.com/courses

에 있는 제목과 이미지를 가지고 따라해봤는데요.

(courses말고 인프런 메인에 있는 이미지로 해도 마찬가지로 안됩니다.)

from bs4 import BeautifulSoup
import urllib.request as req
import urllib.parse as rep
import os
import errno

# 인프런 이미지 검색
base = "https://www.inflearn.com/courses"
quote = rep.quote_plus("")
url = base + quote
# print(url)
res = req.urlopen(url)
savePath = "C:\\tutorials\python_2\imagedown\\"

try:
if not (os.path.isdir(savePath)):
os.makedirs(os.path.join(savePath))
except OSError as e:
if e.errno != errno.EEXIST:
print("폴더 만들기 실패!")
raise

soup = BeautifulSoup(res, "html.parser")
# print(soup)
img_list = soup.select("#courses_section")
print(img_list)

여기서 img_list = soup.select("")에 무엇을 넣던 첫번째 요소 즉, 노션(notion) 완벽 활용법만 나오고 끝이 납니다.

하다하다 안되니까 두번째 요소 남박사의 파이썬 실전 100% 활용을 그대로 copy selector 하니까 결과값이 [] 으로 나옵니다.

제 추측으로는 두번째 요소부터는 불러오는 방식이 다른 거 같은데 제가 뭘 잘못하고 있는 건가요?

웹-크롤링 python

Câu trả lời 2

1

niceman

네 확인했습니다.

해당 예제는 인프런 사이트가 변경되면서 현재 소스코드 수정 해서 올려놨습니다.

https://github.com/eunki7/python_create_app_1/blob/master/section2/2-8-2_new_1.py

위에 예제 소스를 참조하세요.

 해당 영상 공지 올리도록 하겠습니다.

나중에 확인해주세요 감사합니다.

0

valencia10024339

안녕하세요.

실행 결과 정상적으로 실행이 되는 것을 확인했습니다.

그런데

recommand = soup.select("div.course_card_item")
recommand = soup.select(".courses_container")

첫번째는 정상적으로 출력되고 두번째는 그렇지 않은 이유가 뭔가요?

.courses_container가 더 상위요소라서 div.course_card_item의 내용까지 포함해야하는 거 아닌가요?

개발자도구로 보니까 json으로 강의 목록을 불러오는 거 같은데, 제가 json을 잘 모르지만 json 때문인가요?

그렇다고 하더라도 단순히 선택자만 바꿨다고 이건 되고 저건 안 되고의 차이가 이해가 안 가네요.

현재 예제에서 error 발생

0

510

3

유튜브 동영상 다운로드

0

1582

2

Atom 에디터 관련

0

398

1

위시켓 폼데이터

0

330

1

스케줄러 사용 관련 질문 드립니다

0

700

1

selenium 에러

0

493

1

Progress bar 쓰레드 관련

0

543

1

Install Package 관련 문의

0

383

1

tkinter 샘플 코드 실행 오류 건

0

1337

1

4-7-6 네이버 & 카카오 주식 정보 가져오기

0

425

1

네이버자동로그인_by_selenium

0

935

1

위시캣 로그인 처리 및 크롤링 질문

0

400

1

2-8-1 네이버이미지 크롤링 질문

1

696

3

li:nth-of-type 질문

0

430

2

에러가 뜨는데 잘 모르겠어요ㅠ

0

453

2

Install Packages 항목이 안보이는 이유가 뭘까요?

0

472

2

환경변수 Path 설정 방법

0

715

1

웹 브라우저 없는 스크랩핑 및 파싱 실습(1) - 인프런

0

398

1

웹 브라우저 없는 스크랩핑 및 파싱 실습(1) -git주소

0

558

3

download2-8-1. py질문

0

245

1

ip 차단 당하는 거 같은데 아무리 랜덤주고, sleep 줘도 안 되는데 다른 방법 더 있을까요??

0

685

1

인프런 환경이 바뀌어서 제나름대로 하는데

0

230

1

다시올려주신 예제파일로하는데

0

232

1

아직도 에러가뜨나보네요?

0

637

1