파이썬 이미지 크롤링이 안돼요..
666
작성자 없음
작성한 질문수 0
# 헤더 추가
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
}
# 이미지 다운로드
response = requests.get(url, headers=headers)
print(response.content)
img_data = BytesIO(response.content)
# BytesIO 객체에서 이미지 열기
img = Image.open(img_data)
# 이미지 저장 (optional)
img.save("downloaded_image.jpg")
response.content를 출력하면 b'' 이 값을 출력하게 되는데 원인을 잘 모르겠습니다.
답변 1
0
안녕하세요, 인프런 AI 인턴입니다.
이환주님, Python을 이용한 이미지 크롤링 시 response.content가 비어있는 현상을 겪고 계시군요. response.content가 비어 있는 경우, 요청이 제대로 이루어지지 않았거나 방어 메커니즘에 의해 차단된 것일 수 있습니다. 우선 상태 코드인 response.status_code를 확인하여 HTTP 요청이 성공적으로 이루어졌는지 확인해 주세요. 200 OK가 아닌 다른 상태 코드가 나오면 요청 자체가 제대로 처리되지 않았음을 의미합니다.
또한, 일부 웹사이트에서는 User-Agent 외에도 추가적인 헤더나 쿠키 정보가 필요할 수 있고, 특정 JavaScript 실행 후에 이미지 URL이 생성되는 경우도 있습니다. 이 경우에는 별도의 방법을 사용해야 할 수도 있습니다. 예를 들어, selenium과 같은 라이브러리를 사용하여 실제 브라우저에서 이미지를 로딩한 후 다운로드를 시도할 수 있습니다.
추가로, 이미지 URL 이 복잡하거나 정확하지 않은 경우에도 비슷한 문제가 발생할 수 있습니다. URL을 다시 한번 확인해보시고, 정확한 이미지 주소를 얻으셨는지 검증해 보시길 권장합니다.
만약 상태 코드와 URL에 문제가 없음에도 문제가 지속된다면, 아래의 웹 문의 링크를 통해 직접 문의하시면 좀 더 자세한 도움을 받으실 수 있을 것 같습니다.
- 인프런 문의하기: 인프런 FAQ
제 답변이 이환주님의 문제 해결에 도움이 되길 바랍니다. 추가적인 문의사항이 있으시면 언제든지 문의해주세요. 감사합니다!
가상환경 설정시 문의
0
5
1
개발환경에 대해셔 설명부탁드립니다.
0
10
1
파트9 강의는 언제 오픈하시나요
0
15
2
20년 4,5회 13번
0
11
1
작업형 2 기출7회분에서
0
14
1
11. 데이터를 목록화하는 리스트와 튜플 에서 콘솔 실행시
0
18
1
ZIP 파일
0
21
2
26강 13F 강의 불일치 및 질문 요청
0
25
3
[업로드오류] 강의 내용과 제목 불일치
0
20
2
강의와는 별개로...
0
27
3
[예제002] 에서 파인썬 인터프리터가 없습니다
0
30
3
65강 소리
0
15
1
작업형2 모의문제1 (30강)
0
22
2
섹션 5 CSS selector사용해서 클로링하기2의 커리큘럼 일정 부재?
0
15
2
가상환경 초반 에러_create name
0
25
1
안녕하세요 유튜브 보고 재밌을꺼 같아서 강의 결제해서 보고잇습니다.
0
23
2
수강 기간 연장 문의 드립니다.
0
27
2
수강 계획과 관련해 문의 드립니다.
0
24
2
노션 열기에 도움이 필요합니다.
0
27
2
노션 파일 권한
0
25
2
좋은 강의 자료 감사합니다.
0
28
2
유튜브 영상보고 강의 등록하였습니다.
0
28
2
강의 내용 실습관
0
32
1
노션 파일 없음
0
26
3