"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,,
996
작성한 질문수 4
"쿠팡 제품 검색 결과 크롤링" 강의를 응용해서 타오바오 사이트에서 해보려고 하는데,
자꾸 안돼서 아래와 같이 print(html) 했더니
뭔가 차단된거 같은 html 막 쭉 뜨네요 이럴때는
어떻게 해야하나요?
req = requests.get(links, timeout=5, headers=headers, cookies=cookie)
html = req.text
soup = BeautifulSoup(html, "html.parser")
print(html)
답변 2
0
타오바오는 방금 제가 해봤을때 위 코드로 차단없이 잘 실행이 되었습니다.
만약 같은 코드인데 안된다면 아이피가 차단됐을수도 있습니다.
그리고 중요한건,
제가 아이디가 없기때문에 메인페이지만 볼수있어서 다른 페이지는 모르겠지만
일단, 메인페이지가 동적으로 되어있기 때문에 뷰티풀수프와 리퀘스츠만으로는 제품 정보를 가져올수가 없습니다.
셀레니움을 사용해서 직접 화면에 접속을 해서 정보를 가져와야 합니다.
다만, 이건 메인페이지의 경우이고 다른 페이지는 제가 볼수가 없어서 파악을 못했습니다.
0
선생님 답변너무 감사합니다!
강의에는 셀레니움만 이용한 예, 뷰티플수프만 이용한 예가 있는데
이런 동적 사이트에서 셀레니움으로 이용해 접근해서 뷰티플로 크롤링 하는 강의를
추후에 업데이트 해주실수 있으신지요 ㅠㅠㅠ 혼자 응용하기 너무 빡쎄네요 ㅠㅠ
멜론 사이트 수집부터 안됩니다
0
60
1
강의 시점이랑 현재랑 네이버 사이트 변화가 많은거 같아서 질문드립니다.
0
57
1
-href 가져오기
0
91
2
수업내용 프로젝트의 완성된 코드는 제공이 안돼나요?
0
157
1
안녕하세요 쿠팡 크롤링 막힌거 같아요 3번돌리니깐 막았어요 해결방법없을까요?
0
3635
1
쿠팡 BeautifullSoup 헤더넣어도 막히네요
0
443
1
네이버 쇼핑 크롤링 1 코드 사용 시, 접속 제한됐을 때의 해결 방법이 궁금합니다.
0
3181
1
추가 강의 업데이트 있나요?
0
246
1
lambda 중에 문의가 있습니다.
0
269
1
텔레그램 sendMessage 시 400에러가 뜹니다.
0
901
2
ftp 로긴 문제입니다. ㅜ
0
408
2
네이버 쇼핑 크롤링 질문입니다.
0
367
1
XPATH 네이버에서 카페 찾는 과정 문의입니다.
1
312
1
셀레니움 By.XPATH 를 이용한 키워드 입력 작성 질문입니다.
0
669
2
쿠팡 이미지 파일 다운받기에서 동일하게 코드 작성 후 요청하였지만 파일 다운로드가 안됩니다.
0
809
2
파이썬에 키워드를 치는게 아닌...
0
275
2
50프로 수강중입니다~
0
218
1
제품 링크를 타고 들어가야 원하는 정보가 나오는 사이트
0
385
2
lst = lst50 + lst100 이거 대신에
0
323
2
증권, 메일 등 서비스 목록을 못가져와요 ㅠㅠ
1
283
1
네이버에 view탭이 업데이트가 됐는지 없어졌네요... ㅠㅠ
1
245
1
선생님이랑 똑같이 적었는데 저는 왜 오류가 날까요?ㅠ
0
355
2
네이버쇼핑 크롤링 문의
0
429
2
asyncio.run() cannot be called from a running event loop 에러 질문 드립니다
0
3902
4