• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

다른 사이트를 크롤링해보려는데 인코딩쪽에 문제가 있는 것 같습니다.

23.03.19 21:08 작성 조회수 273

0

안녕하세요 선생님. 선생님 강의를 듣고 제가 원하는 사이트를 크롤링 해보려는데 인코딩문제가 생기는 것 같습니다. 사이트 주소는 이렇습니다. http://veganfesta.kr/modules/company/company_list.html?mc_code=1013

import requests
url = "http://veganfesta.kr/modules/company/company_view.html?seq=241&mc_code=1013"
headers = { 'user-agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'}
response = requests.get(url,headers=headers)
response.encoding='utf-8'
print(response.text)

이렇게 코드를 짜봤는데요 결과는스크린샷 2023-03-19 오후 9.05.39.png

이런식으로 나옵니다. 인코딩 문제인가 하였는데

response.encoding을 통해 uff-8인것을 확인했습니다.

response.status는 200으로 정상이구요 ㅜ

뭐가 잘못된 걸까요? 2시간가량 전전긍긍해보았지만 답을 찾지못해 선생님께 질문드립니다..

제가 url을 구글이나 네이버로 바꿔 시도를 해보았을때는 잘되었는데 저 사이트로 url을 설정했을때 이렇게 나오네요.. 읽어주셔서 감사하며 답변 부탁드리겠습니다.

답변 1

답변을 작성해보세요.

1

안녕하세요. HTML 페이지 인코딩과 데이터 인코딩이 다른 경우도 있습니다. utf-8 이 아닌 cp949 등의 다른 인코딩으로 시도해 보세요!