인프런 크롤링 질문
193
작성한 질문수 5
현재 인프런 개편되서 강의대로 하기는 힘들어서 그냥 메인 페이지를 크롤링 해 와서 print로 찍은 것과 실제 인프런 사이트에서 F12로 element를 비교해 보는데 왜 정보가 다른 것인지 모르겠습니다.
from bs4 import BeautifulSoup
import urllib.request as req
import sys
import io
sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding='utf-8')
sys.stderr = io.TextIOWrapper(sys.stderr.detach(), encoding='utf-8')
url = "https://www.inflearn.com/"
res = req.urlopen(url).read()
soup = BeautifulSoup(res, "html.parser")
main= soup.select("#pg___main")
print(main)
이렇게 찍어보면 해당id : pg___main 밑에 section을 다 못가져올뿐만 아니라 배치도 다릅니다.
이런 것부터 해결이 안되니...진도가 너무 안나갑니다...ㅠ.ㅠ
문제는 매 강의마다 이러한 것들이 너무 많네요...
답변 1
0
안녕하세요. 이경님
항상 사이트들이 변화하고 있습니다.
디자인이 바뀌고 dom 구조가 바뀌어서 엘리먼트들이 자주 변경되는대요
저도 주기적으로 바뀐 부분을 github 소스코드에 올려놓고 있습니다.
최근에 몇 개가 또 변경된것 같은데 저도 지금 반영해서 업데이트 후 공지하도록 하겠습니다.
불편을 끼쳐드려 죄송해요~
CSS 선택자 부분을 더 열심히 공부하시면 원리는 변하지 않으니 응용하는대 무리가 없을 것으로 생각됩니다.
감사합니다.
현재 예제에서 error 발생
0
365
3
유튜브 동영상 다운로드
0
1445
2
Atom 에디터 관련
0
337
1
위시켓 폼데이터
0
274
1
스케줄러 사용 관련 질문 드립니다
0
627
1
selenium 에러
0
428
1
Progress bar 쓰레드 관련
0
489
1
Install Package 관련 문의
0
328
1
tkinter 샘플 코드 실행 오류 건
0
1266
1
4-7-6 네이버 & 카카오 주식 정보 가져오기
0
380
1
네이버자동로그인_by_selenium
0
875
1
위시캣 로그인 처리 및 크롤링 질문
0
343
1
2-8-1 네이버이미지 크롤링 질문
1
604
3
li:nth-of-type 질문
0
350
2
에러가 뜨는데 잘 모르겠어요ㅠ
0
401
2
Install Packages 항목이 안보이는 이유가 뭘까요?
0
400
2
환경변수 Path 설정 방법
0
631
1
웹 브라우저 없는 스크랩핑 및 파싱 실습(1) - 인프런
0
333
1
웹 브라우저 없는 스크랩핑 및 파싱 실습(1) -git주소
0
472
3
download2-8-1. py질문
0
202
1
ip 차단 당하는 거 같은데 아무리 랜덤주고, sleep 줘도 안 되는데 다른 방법 더 있을까요??
0
643
1
인프런 환경이 바뀌어서 제나름대로 하는데
0
195
1
다시올려주신 예제파일로하는데
0
189
1
아직도 에러가뜨나보네요?
0
583
1





