네이버 스마트스토어 크롤링시 페이지 변하는거 문의요ㅠㅠ

안녕하세요, BeautifulSoup 이용해서

네이버 스마트스토어 크롤링 하고있는데요

스마트스토어에서 페이지 바뀐걸 어떻게 적용해야 할지 모르겠어요...

원래는 그냥 URL 입력해서 했는데요, 2,3,4,,,페이지의 URL을 넣으면 자동으로 1페이지만 나옵니다.

아래의 URL도 분명 page=2라고 되어있는데 클릭하면 page=1으로 열릴것입니다.

https://brand.naver.com/chansol/category/9aee63ea6c3e46aebd6c266a47897b5b?st=POPULAR&dt=LIST&page=2&size=40

그래서 2페이지이 이상의 자료들을 크롤링 할 수가 없습니다.

대체 어떻게 해야하나요...

3일째 이 해결만 찾아봤는데 통 없네요...

자동으로 페이지 넘기는 코드만 있고 ㅠㅠ

뭐라도 좀 알려주시면 감사하겠습니다.

import requests
import re
from fake_useragent import UserAgent
from bs4 import BeautifulSoup
import xlsxwriter 
 
savePath = "/Applications/Python 3.11/py practice/" 
workbook = xlsxwriter.Workbook('네이버스토어.xlsx') 

worksheet = workbook.add_worksheet()
 
url = "https://brand.naver.com/chansol/category/9aee63ea6c3e46aebd6c266a47897b5b?st=POPULAR&dt=LIST&page=1&size=40"

headers = { 'User-Agent': UserAgent().chrome }
res = requests.get(url, headers=headers)
res.raise_for_status()
soup = BeautifulSoup(res.content,'html.parser')

excel_row = 1
 
worksheet.set_column('A:A', 58) 
worksheet.set_row(0,18) 
worksheet.set_column('B:B', 12) 

worksheet.write(0, 0, '제품명')
worksheet.write(0, 1, '가격')

items = soup.select('#CategoryProducts > ul > li')
 
shopItemList = [] 
for item in items:
    name = item.select_one('#CategoryProducts > ul > li > a > div > div > strong').text 
    price = item.select_one('#CategoryProducts > ul > li > a > div > div > div > strong._30FIlIXokR > span').text 
    
    worksheet.write(excel_row, 0, name)
    worksheet.write(excel_row, 1, price)
    
    excel_row += 1
 
workbook.close() 
 
 

import requests
from bs4 import BeautifulSoup
import xlsxwriter

savePath = "/Applications/Python 3.11/py practice/" 
workbook = xlsxwriter.Workbook('네이버스토어.xlsx')
worksheet = workbook.add_worksheet()

headers = { 'User-Agent': 'Mozilla/5.0' }  # User-Agent 수정

# 10 페이지까지 크롤링 예시
for page in range(1, 11):
    url = f"https://brand.naver.com/chansol/category/9aee63ea6c3e46aebd6c266a47897b5b?st=POPULAR&dt=LIST&page={page}&size=40"

    res = requests.get(url, headers=headers)
    res.raise_for_status()
    soup = BeautifulSoup(res.text, 'html.parser')
    
    # 크롤링 코드 작성
    # 원하는 데이터를 추출하는 로직을 구현하세요.
    # 예시로 제목만 추출하는 코드를 작성했습니다.
    titles = soup.select('.item_title')
    for title in titles:
        print(title.get_text())
    
workbook.close()