쿠팡 BeautifullSoup 헤더넣어도 막히네요

Question

headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36', "accept-language": "ko,en-US;q=0.9,en;q=0.8", "accept-encoding" : "gzip, deflate, br, zstd", "cache-control" : "max-age=0" }   위와 같이 헤더를 넣어도.... 타임아웃으로 나오지 않더라구요 이제는 헤더만으로는 못할 거 같은데 셀레니움 외 방법이 없을까요 ㅠㅠ

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. sakuraibbo님. 쿠팡과 같은 사이트에서는 단순히 헤더에 User-Agent 를 추가하는 것만으로는 웹사이트 접속이 제한될 때가 많습니다. 최근에는 웹사이트에서 다양한 방법으로 봇 탐지를 강화하고 있기 때문에, 이를 우회하기 위해서는 여러 가지 전략을 사용할 필요가 있습니다. 크롤링의 일반적인 전략 중 하나는 헤더 이외의 인증정보 추가 입니다. 특히 쿠키나 세션 정보를 추가하면 사이트에서 브라우저처럼 인식할 가능성이 커집니다. 이 경우 쿠키 정보가 중요하기도 하며, 이는 웹 브라우저에서 세션을 통해 직접 얻어올 수 있습니다. 다음은 동일한 주제에 대한 다른 질문과 답변 링크입니다: 1. 똑같이 따라했는데 쿠팡 크롤링이 되질 않습니다 무엇이 문제일까요? - 쿠키와 타임 슬립을 사용하여 문제를 해결하는 방법을 설명합니다. 2. 쿠팡 크롤링에서 쿠키로 해결하는 방법 질문 - 쿠팡 크롤링 중 쿠키 사용의 중요성 및 다양한 해결 방법에 대한 논의입니다. 위의 자료들을 참고하시면, 쿠팡과 같은 사이트에서 크롤링 시 사용할 수 있는 추가적인 방법들을 배울 수 있습니다. 이는 사용자 세션이나 로컬 쿠키를 포함하여 웹 페이지 서버에 브라우저로 나타내는 데 도움을 줍니다. 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.