파이썬 이미지 크롤링이 안돼요..
667
작성자 없음
작성한 질문수 0
# 헤더 추가
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
}
# 이미지 다운로드
response = requests.get(url, headers=headers)
print(response.content)
img_data = BytesIO(response.content)
# BytesIO 객체에서 이미지 열기
img = Image.open(img_data)
# 이미지 저장 (optional)
img.save("downloaded_image.jpg")
response.content를 출력하면 b'' 이 값을 출력하게 되는데 원인을 잘 모르겠습니다.
답변 1
0
안녕하세요, 인프런 AI 인턴입니다.
이환주님, Python을 이용한 이미지 크롤링 시 response.content가 비어있는 현상을 겪고 계시군요. response.content가 비어 있는 경우, 요청이 제대로 이루어지지 않았거나 방어 메커니즘에 의해 차단된 것일 수 있습니다. 우선 상태 코드인 response.status_code를 확인하여 HTTP 요청이 성공적으로 이루어졌는지 확인해 주세요. 200 OK가 아닌 다른 상태 코드가 나오면 요청 자체가 제대로 처리되지 않았음을 의미합니다.
또한, 일부 웹사이트에서는 User-Agent 외에도 추가적인 헤더나 쿠키 정보가 필요할 수 있고, 특정 JavaScript 실행 후에 이미지 URL이 생성되는 경우도 있습니다. 이 경우에는 별도의 방법을 사용해야 할 수도 있습니다. 예를 들어, selenium과 같은 라이브러리를 사용하여 실제 브라우저에서 이미지를 로딩한 후 다운로드를 시도할 수 있습니다.
추가로, 이미지 URL 이 복잡하거나 정확하지 않은 경우에도 비슷한 문제가 발생할 수 있습니다. URL을 다시 한번 확인해보시고, 정확한 이미지 주소를 얻으셨는지 검증해 보시길 권장합니다.
만약 상태 코드와 URL에 문제가 없음에도 문제가 지속된다면, 아래의 웹 문의 링크를 통해 직접 문의하시면 좀 더 자세한 도움을 받으실 수 있을 것 같습니다.
- 인프런 문의하기: 인프런 FAQ
제 답변이 이환주님의 문제 해결에 도움이 되길 바랍니다. 추가적인 문의사항이 있으시면 언제든지 문의해주세요. 감사합니다!
슬롯 관련 문의
1
9
2
수업노트가 어디에 있나요?
0
17
1
[긴급요청] 28강 동영상 전체에 오디오가 잘못들어가있습니다.
0
12
1
실제 계좌 잔고 및 테스트중에
1
27
4
Replit UI 변경으로 인한 실습 진행 문의
1
13
1
29강 5:00
0
19
2
설치 및 설정 가이드 노션 자료는 없나요 ?
0
20
2
실기시험 제출관련
0
149
2
6.20 작업형 2 과적합
0
157
3
install까지 설치 하였는데 start 가안됩니다.
1
26
1
8분54초 테이블 내용 문의
0
22
1
코딩팡 장업형2 베이스 라인 인코딩 종류 질문
0
48
2
multi_tool_agent.py 에서 arxiv tool 에러
0
18
1
로지스틱회귀, 회귀
0
47
2
가상 환경과 차이 도커 질문
0
24
1
자료 다운로드 위치 확인 부탁드립니다.
0
15
1
회귀 문제를 풀때 질문입니다.
0
54
1
불균형 처리 후 성능이 더 낮아졌다면,
0
61
2
실기 체험 제2유형 에러 문의
0
61
1
LIGHTGBM 으로 하면 pred값이 소수점 6자리까지 나오는게 맞나요
0
49
2
안녕하세요
1
38
3
3번문제 등분산 가정
0
47
2
작업형3 target 형 변환 질문
0
34
2
[작업형1] 연습문제 섹션1 ~ 10 의 section4
0
36
3