셀레니움 headless chrome으로 사이트 접속시 Access Denied 문제가 발생합니다.

기존의 셀레니움 방식의 크롤링이 아닌,

이미 제가 사용하고 있는 크롬창에서 셀레니움으로 크롤링을 하고 있습니다.

아래 코드를 추가하니 크롬창 재사용이 가능하더라구요.

options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")

headless chrome으로 웹사이트를 띄워놓고 원격으로 디버깅을 하는데,

이상하게 특정 사이트에 접속이 안되는 문제가 생깁니다.

headless chrome 모드를 끄고 일반적인 셀레니움으로만 사용하면

해당 사이트에 접속이 가능한데,

headless chrome을 적용하기만 하면

아래와 같은 메시지와 함께 접속제한이 생기네요.

Access Denied

You don't have permission to access "http://www.coupang.com/" on this server."

Reference #18.57da2317.1583518355.74a9211

혹시 이런 경우가 한번 발생하면, 해당 사이트는 headless chrome으로 접속을 계속 못하게 되는건가요??

구글링과 해외 개발자 커뮤니티 등 닥치는대로 해결방법을 찾고 적용해보는데 도통 해결이 되지않아 이렇게 질문 올립니다.

인터넷에 알아보니 user-agent를아래와 같이 변경하라고 해서 적용해봤지만

유독 쿠팡 사이트만 계속 Access Denied가 뜹니다.

아래는 사용중인 크롬창에서의 headless chrome 테스트용 코드입니다.

from selenium.webdriver.chrome.options import Options
from selenium import webdriver
import time

path = '/Users/yoons/Documents/chrome/chromedriver'
options = Options()

options = webdriver.ChromeOptions()
options.add_argument('headless')
options.add_argument('window-size=1920x1080')
options.add_argument('lang=ko_KR')
options.add_argument(f'user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36')
options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")

driver = webdriver.Chrome(path, options=options)

TEST_URL = 'https://www.google.com/search?ei=ZspgXu77K8KnoATe3qCgCQ&q=basketball&oq=basket&gs_l=psy-ab.3.0.0l10.274346.277887..278777...2.3..0.337.1834.1j6j1j2......0....1..gws-wiz.....0..0i71j0i67j0i273.cDhByzynOnk'
TEST_URL2 = 'https://www.coupang.com/'

driver.get(TEST_URL)
title_test = driver.find_elements_by_css_selector('#rso > div > div > div > div > div > div.r > a > h3')[0].text
time.sleep(2)

driver.switch_to.window(driver.window_handles[-1])
driver.get(TEST_URL2)

print(title_test)

from selenium.webdriver.chrome.options import Options
from selenium import webdriver
import time

# path = '/Users/yoons/Documents/chrome/chromedriver'
options = Options()

options = webdriver.ChromeOptions()
options.add_argument('headless')
options.add_argument('window-size=1920x1080')
options.add_argument('lang=ko_KR')
options.add_argument(f'user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36')
# options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
# driver = webdriver.Chrome(path, options=options)
driver = webdriver.Chrome(chrome_options=options)

TEST_URL = 'https://www.google.com/search?ei=ZspgXu77K8KnoATe3qCgCQ&q=basketball&oq=basket&gs_l=psy-ab.3.0.0l10.274346.277887..278777...2.3..0.337.1834.1j6j1j2......0....1..gws-wiz.....0..0i71j0i67j0i273.cDhByzynOnk'
TEST_URL2 = 'https://www.coupang.com/'

# driver.get(TEST_URL)
# title_test = driver.find_elements_by_css_selector('#rso > div > div > div > div > div > div.r > a > h3')[0].text
# time.sleep(2)

# driver.switch_to.window(driver.window_handles[-1])
driver.get(TEST_URL2)

# print(title_test)
print(driver.page_source)