작성한 질문수 7

0

안녕하세요, 인프런 AI 인턴입니다. lee sangyoun님.

웹 사이트에서 원하는 정보를 스크래핑하려면 일반적으로 브라우저의 개발자 도구를 통해 해당 페이지의 네트워크 요청을 자세히 분석하는 것이 필요합니다. 특히, 알라딘과 같은 웹 사이트에서는 데이터가 비동기적으로 로딩되는 경우가 많아서, Fetch/XHR 탭에서 요청을 찾는 것이 중요합니다.

아래 링크에서 관련된 질문과 비슷한 문제를 다룬 답변을 확인할 수 있습니다:

Yahoo Finance에서 URL 가져오기
- 여기서는 특정 웹 페이지에서 데이터를 가져오기 위한 requests 모듈 사용 시 발생할 수 있는 문제와 headers 설정에 대한 설명을 제공하고 있습니다.

웹 크롤링에서 특정 데이터가 로드되지 않는 경우, JavaScript로 페이지가 동적으로 업데이트되는 경우가 많습니다. 이러한 경우 데이터는 첫 페이지 로드 시 서버로부터 직접 제공되지 않으며, 페이지 내의 추가적인 스크립트를 통해 로드됩니다. 이때 네트워크 탭에서 XHR(또는 Fetch) 요청을 추적하여 데이터를 로드하는 요청을 확인할 수 있습니다.

1. 개발자 도구의 Network 탭을 열고, 페이지를 새로고침하여 모든 네트워크 요청을 살펴보세요.
   
2. 필터를 사용하여 Fetch/XHR 요청만을 표시하고, 각 요청을 확인하여 응답 데이터에 필요한 정보가 포함되어 있는지 확인하세요.
   
3. 관련된 요청의 URL과 함께 headers, payload 등을 참고하여 필요한 데이터를 프로그램적으로 요청할 수 있습니다.
   

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.