09차 네이버 영화 리뷰 수집 실습 관련 질문

n03192297081jhle2370

投稿した質問数 2

0

안녕하세요, 인프런 AI 인턴입니다.

이정훈님, 네이버 영화 검색 결과의 관람평이 공란으로 추출되는 것은 대부분 관람평 데이터가 HTML에 처음부터 포함되어 있지 않고 자바스크립트로 동적으로 렌더링되기 때문입니다.

Q1) 관람평의 정확한 URL

이정훈님께서 제공해 주신 주소는 영화 관람평 자체의 URL이라기보다 네이버 검색 결과 URL입니다.

오디세이 관람평 네이버 검색 결과

네이버는 검색 결과에서 영화 관람평을 자바스크립트로 불러오기 때문에, 과거처럼 iframe 주소를 직접 찾아서 요청하는 방식이 현재는 정상적으로 동작하지 않을 수 있습니다.

또한 네이버의 영화 상세 페이지와 관람평 영역은 개편에 따라 URL과 HTML 클래스가 변경될 수 있으므로, 특정 URL이나 soup.select() 선택자를 고정해서 사용하는 방식은 유지보수가 어렵습니다.

Q2) soup.select()에서 사용할 선택자

현재 페이지에서 requests와 BeautifulSoup만 사용하면 브라우저에 표시되는 관람평이 HTML에 존재하지 않아 다음처럼 빈 결과가 나올 수 있습니다.

import requests
from bs4 import BeautifulSoup

url = "네이버 검색 결과 URL"

response = requests.get(
    url,
    headers={
        "User-Agent": (
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
            "AppleWebKit/537.36 Chrome/131.0.0.0 Safari/537.36"
        )
    }
)

soup = BeautifulSoup(response.text, "html.parser")

print(len(soup.select("span")))

이 경우 soup가 읽은 HTML은 브라우저가 자바스크립트를 실행하기 전의 초기 문서이므로, 관람평 텍스트가 포함되지 않을 수 있습니다.

따라서 현재 네이버 검색 결과에서는 BeautifulSoup만 사용하는 것보다 Selenium 또는 Playwright로 브라우저를 실행한 뒤, 렌더링이 완료된 HTML을 BeautifulSoup으로 분석하는 방식이 적합합니다.

Selenium을 이용한 기본 예시

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup

url = "https://search.naver.com/search.naver?where=nexearch&query=오디세이 관람평"

options = Options()
options.add_argument("--headless")
options.add_argument("--window-size=1920,1080")
options.add_argument(
    "--user-agent=Mozilla/5.0 "
    "(Windows NT 10.0; Win64; x64) "
    "AppleWebKit/537.36 Chrome/131.0.0.0 Safari/537.36"
)

driver = webdriver.Chrome(options=options)

try:
    driver.get(url)

    wait = WebDriverWait(driver, 10)

    # 관람평 영역의 텍스트가 화면에 나타날 때까지 대기합니다.
    wait.until(
        EC.presence_of_element_located(
            (By.XPATH, "//*[contains(text(), '관람평')]")
        )
    )

    html = driver.page_source
    soup = BeautifulSoup(html, "html.parser")

    # 우선 관람평 관련 영역을 찾은 뒤 내부 텍스트를 확인합니다.
    review_sections = soup.find_all(
        string=lambda text: text and "관람평" in text
    )

    for section in review_sections:
        parent = section.parent
        print(parent.get_text(" ", strip=True))

finally:
    driver.quit()

실제 선택자를 찾는 방법

네이버의 클래스명은 변경될 수 있으므로 다음 순서로 확인하는 것이 가장 정확합니다.

1. 크롬에서 관람평 페이지를 엽니다.
   
2. 관람평 문장 위에서 마우스 오른쪽 버튼을 클릭합니다.
   
3. 검사를 선택합니다.
   
4. 개발자 도구에서 관람평 텍스트를 감싸고 있는 태그를 확인합니다.
   
5. 해당 태그에서 Copy selector를 선택합니다.
   
6. 복사한 선택자를 Selenium 또는 BeautifulSoup에서 테스트합니다.
   

예를 들어 개발자 도구에서 다음과 같은 구조를 확인했다면,

<div class="review_area">
    <p class="review_text">영화에 대한 관람평입니다.</p>
</div>

다음과 같이 사용할 수 있습니다.

reviews = soup.select("div.review_area p.review_text")

for review in reviews:
    print(review.get_text(" ", strip=True))

다만 위의 review_area, review_text는 예시이며, 현재 네이버 페이지의 실제 클래스명과 다를 수 있습니다.

핵심 정리

• 제공해 주신 주소는 관람평 데이터 주소가 아니라 네이버 검색 결과 주소입니다.
  
• 현재 네이버 관람평은 자바스크립트로 동적 생성될 가능성이 높습니다.
  
• requests + BeautifulSoup만 사용하면 공란이 추출될 수 있습니다.
  
• Selenium이나 Playwright로 페이지를 렌더링한 후 driver.page_source를 BeautifulSoup으로 분석해야 합니다.
  
• 네이버의 클래스명은 변경될 수 있으므로 soup.select() 선택자는 개발자 도구에서 현재 HTML을 기준으로 다시 확인해야 합니다.
  
• 네이버의 이용약관과 robots 정책을 확인하고, 과도한 요청이나 대량 수집은 피해서 실습하시기 바랍니다.