Javascript와 iframe이 포함된 url cawling시 문제점

김플님, 답변 감사합니다. ^^

지적해 주신대로 아래와 같이 수정하였습니다.

class_name = "rax-view-v2.list--item--26w71PF"
elements=wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, class_name)))

Exception has occurred: TimeoutException

하지만 위와 같이 30초 동안 못찾고 ERROR가 발생합니다.

관련해서 많이 찾아 봤는데 javascript와 iframe등으로 복잡한 구조에서 rendered된 html을 얻으려면 쉽지 않은 과정을 거져야 하는 것 같이 써있는던데요? 어떻게 방법이 없을까요?

쉽지 않습니다. 하지만 포기하지 않고 해결 하고 싶습니다. ^^

벌써 2달째 해매고 있습니다. 도와주세요 ㅠㅠ

김플 안녕하세요. ^^ 미리 감사 드립니다.

전체코드를 보시면 아시겠지만 핵심적인 코드는 밑에 있습니다.

wait = WebDriverWait(driver, 30)
class_name = "rax-view-v2 list--item--26w71PF"
elements=wait.until(EC.presence_of_element_located((By.CLASS_NAME, class_name)))

전체 코드는 아래와 같습니다만, taobao에 등록을 하셔야 하는 것이라요. 일단 pw/id제외하고 코드공유하겠습니다.

#("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.6045.106 Safari/537.36")

from webdriver_manager.chrome import ChromeDriverManager 
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.common.exceptions import NoSuchElementException
import time 
from selenium.webdriver.common.keys import Keys

from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.chrome.options import Options

from random import random

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

from fake_useragent import UserAgent
from urllib.parse import quote
import time, random


import win32clipboard
from openpyxl import Workbook
import requests
from PIL import Image
import io
from io import BytesIO
from fake_useragent import UserAgent
from bs4 import BeautifulSoup
import re

from requests_html import HTMLSession
import asyncio

def send_to_clipboard(clip_type, data):
    win32clipboard.OpenClipboard()
    win32clipboard.EmptyClipboard()
    win32clipboard.SetClipboardData(clip_type, data)
    win32clipboard.CloseClipboard()

options = webdriver.ChromeOptions()
options.add_argument("--disable-blink-features=AutomationControlled")
user_ag = UserAgent().random
options.add_argument('user-agent=%s'%user_ag)
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option("useAutomationExtension", False)
options.add_experimental_option("prefs", {"prfile.managed_default_content_setting.images": 2})
# 비밀번호 저장 대화 상자를 비활성화하는 옵션 설정
prefs = {"credentials_enable_service": False, "profile.password_manager_enabled": False}
options.add_experimental_option("prefs", prefs)
options.add_experimental_option("detach", True)
options.add_argument('--load-extension=c:/source/RobotMon/HackTaobao')
# ChromeDriver 서비스
driver = webdriver.Chrome(options=options)

# 크롤링 방지 설정을 undefined로 변경
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
            Object.defineProperty(navigator, 'webdriver', {
                get: () => undefined
            })
            """
})


wait = WebDriverWait(driver, 30)
#########################################
url = 'https://login.taobao.com/member/login.jhtml'
driver.get(url=url)
driver.maximize_window();

id_input = wait.until(EC.presence_of_element_located((By.ID, "fm-login-id")))
id_input.send_keys('xxxxx')

pw_input = wait.until(EC.presence_of_element_located((By.ID, "fm-login-password")))
pw_input.send_keys('xxxxx')

time.sleep(random.randint(1, 3))
wait.until(EC.presence_of_element_located((By.CLASS_NAME, "fm-button"))).click()

#로그인대기
time.sleep(random.randint(1, 3))


#검색할 영상을 clipbord에 복사한다.
##############################################################333
image_url="https://thumbnail6.coupangcdn.com/thumbnails/remote/230x230ex/image/vendor_inventory/27bb/e09dc0e1e3e611f76774ab21b1eb2746eaf02848cb2153ac3e10d50eb2c2.jpg"
# URL에서 이미지 다운로드
response = requests.get(image_url)
image = Image.open(io.BytesIO(response.content))

# 이미지를 바이트 형식으로 변환
output = BytesIO()
image.convert("RGB").save(output, "BMP")
data = output.getvalue()[14:]
output.close()

# 클립보드에 이미지 복사
send_to_clipboard(win32clipboard.CF_DIB, data)

   
#영상을 검색한다.
#####################################################################################################
url="https://world.taobao.com"

driver.get(url)
time.sleep(3)

inputBox = driver.find_element(By.CLASS_NAME, "rax-textinput")   
# inputBox에 클립보드에 저장한 이미지를 붙여넣는다.
inputBox.send_keys(Keys.CONTROL, 'v')
SearchBtn = driver.find_element(By.CLASS_NAME, "component-preview-button") 
SearchBtn.click();
###################################################################################################


              
class_name = "rax-view-v2 list--item--26w71PF"
elements=wait.until(EC.presence_of_element_located((By.CLASS_NAME, class_name)))

for element in elements:
    # 작업 수행
    try:
        product_url=element.get_attribute("href");
        print(product_url);
    except Exception:
        pass 

다양한 방법을 해 봤는데, 내공이 부족한지 아직도 못하고 있네요^^