인프런 커뮤니티 질문&답변

손과발

작성한 질문수

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

크롤링시 한글 부분이 이상한 문자로 나옵니다.

해결된 질문

작성

109

수정됨

python 웹-크롤링

답변 1

스타트코딩

지식공유자

안녕하세요!
한글이 깨지는 것은 인코딩 문제인데요

서버에서 돌려준 응답을

utf-8이나 euc-kr 등으로 다시 인코딩하는 형태로 개발해보시면 좋을 거 같습니다.

그리고 전체 코드를 첨부해주시면 저도 테스트 해볼게요 ^^

스타트코딩

지식공유자

import requests
from bs4 import BeautifulSoup
import pandas as pd

data = []

url = "https://jungjinmall.co.kr/shop/index.php?category=C1625644964"
url1 ="https://www.seahtool.com/goods/goods_list.php?cateCd=020001"

response = requests.get(f"{url}")
html = response.text
soup = BeautifulSoup(html, 'html.parser')

items = soup.select(".output-skin01.p1")

for i in items:
    link = i.select_one('.pv1 > a').attrs['href']
    response = requests.get(f"https://jungjinmall.co.kr{link}")
    response.encoding = 'utf-8'
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')

    name = soup.select_one('.f5.pv3').text.strip()
    price = soup.select_one('.strong.money').text
    image = soup.select_one('.margintb5.border-1-s-ccc').attrs['src']
    image1 =f"https://jungjinmall.co.kr{image}"
    print(name ,price, image1)

이런식으로 response.encoding을 utf-8 로 맞춰 주면 정상적으로 한글이 깨지지 않고 표시가 됩니다 :)