웹 크롤링
여기까지 매우 재밌게 보았습니다.
실습중에 궁금한건, bs4로는 '더보기'가 있는 웹페이지는 크롤링이 불가능한지요?
구글링해보니 selenium 이라는 라이브러리가 있던데,
이 다음단계 강의에서 이 부분도 추가로 다루는지 궁금합니다
답변 2
1
안녕하세요. 재미있게 보셨다니 정말 다행이고, 기쁩니다.
관련 내용은 '현존 최강 크롤링 기술: Scrapy와 Selenium 정복' 강의에서 설명드리고 있습니다. 더보기 라는 버튼이 어떤식으로 구성되어 있는지는 웹페이지마다 다르긴 할텐데요. 일단 동적 웹페이지와 관련된 부분은 크롤링 중급에 해당하는 내용이고 이 부분은 selenium 으로 가져와야 합니다. 이 부분은 지금까지 익힌 부분과는 살짝 더 나아가서, 각 웹페이지에 맞게 코드를 작성해야해서, 일정부분 파이썬이 숙련이 되어있어야 되기도 하고 내용이 이외에 많고, scrapy 라는 성능 좋은 크롤링 기법도 있어서, 이 부분과 함께 설명드리고 있습니다. 감사합니다.
데이터 분석/과학 코스: 원하는 데이터를 가져와서 분석하고, 예측까지 할 수 있는 최신 테크트리
1. 파이썬 입문과 크롤링 기초 부트캠프 (파이썬과 데이터 수집 기본)
2. Scrapy와 Selenium 정복 (현존 최강 크롤링 중급 기술 및 관련 IT 지식)
3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석)
4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석)
5. 파이썬 데이터 분석 기본 (데이터 분석)
6. 머신러닝/인공지능 기본 (데이터 예측, 열심히 준비하고 있습니다)
* 현재까지의 데이터 과학 강의 패키지를 할인된 가격으로도 제공합니다. (할인율은 곧 축소 예정입니다.)
[입문~초급] 취업을 위한 데이터 분석 기본 기술 쉽게! 꼼꼼하게 익히기
크롤링, 영상을 따라해도 제미나에게 물어봐도 안되요
0
29
1
정규표현식 및 여러 코드 꼭 외워야 하나요?
0
36
1
리스트 함수형도 정수 데이터 받을 수 있나요?
0
45
1
크롤링 관련 질문
0
62
1
문제 답이 없는 버전은 없나요?
0
74
1
requests, BeautifulSoup 임포트 부분에 대해 문의드립니다.
0
83
1
업데이트 강의
0
97
2
선생님 강의중에서 sqlite3 강의를 제공한 강의가 있나요?
0
123
2
연습용 예제 파일
0
76
1
lxml 관련 오류
0
106
1
SAVE Request 창 띄우는 법
0
91
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다. 2
0
74
1
포스트맨 사용법이 바뀌어서 강의를 따라가지 못하겠습니다.
0
94
1
예제 2, 4, 6에 대한 풀이 방식 질문.
0
89
1
문제 파일
0
78
1
pdf 파일 내 코드 복붙시 공백
0
291
1
데이터 저장 강좌 문의 건
0
95
1
" " 와 ' '의 차이를 알고 싶습니다
0
242
1
Exercise 22. 문자열 다루기 (strip)
0
131
1
list함수로 리스트 선언하면 실패하는데 이유는 무엇입니까?
0
187
1
셀 삽입후 바로 기입이 가능합니까?
0
139
2
주피터 노트북 마우스 스크롤? 오류
0
1545
2
등호 2개('==')의 의미가 뭐죠?
0
459
2
페이지가 넘어갈 때 url 변하지 않는 경우
0
263
1