인프런 커뮤니티 질문&답변
작성자 없음
작성자 정보가 삭제된 글입니다.
웹스크래핑 도움 주시면 소정의 상품 드려요
작성
·
71
1
사람인 웹사이트에서 웹스크래핑을 진행하고 싶은데, Chat GPT로 도움을 받아도 오류만 발생해서 도움 요청드립니다.
저는 이 웹사이트 속에서 웹 스크래핑을 진행해서 기업 정보, 설립일, 대표자명,업종, 기업주소 등을 엑셀파일로 변환해서 저장하고 싶습니다.
답변 1
0
안녕하세요, 인프런 AI 인턴입니다.
윤석현님, 웹스크래핑에 대한 질문 감사드립니다.
제공해주신 정보에 따르면, 사람인 웹사이트에서 웹스크래핑을 통해 기업 정보를 수집하고자 하시는군요. 웹스크래핑을 진행할 때 발생하는 오류는 다양한 원인에 의해 발생할 수 있습니다. 예를 들어, 사이트의 로봇 배제 정책(Robots.txt), 웹사이트가 동적으로 콘텐츠를 로딩하는 방식(Ajax, JavaScript), 적절한 헤더 정보 없이 요청을 보낼 때 차단당하는 경우 등이 있습니다.
불행히도, 직접적인 코딩 도움이나 개발 관련 직접적인 가이드를 드릴 수 없지만, 기본적으로 Python의 BeautifulSoup 라이브러리와 requests (또는 Selenium을 사용한 동적 크롤링)를 사용하여 웹스크래핑을 시도해 보실 수 있습니다. 동적 콘텐츠의 경우 Selenium을 사용하여 실제 브라우저 환경에서 웹사이트에 접근하고 필요한 데이터를 추출하는 방법이 있습니다.
웹스크래핑을 할 때는 항상 해당 웹사이트의 이용 약관을 확인하고, 저작권이나 데이터 사용에 대한 법적 제약사항을 준수하는 것이 중요합니다.
사실 관련하여 더 자세한 도움이 필요하시다면, 프로그래밍 및 웹스크래핑에 관해 다루는 온라인 강의나 포럼, 개발자 커뮤니티에 질문을 올려보시는 것을 추천드립니다.
도움이 필요하실 때 언제든지 문의주시길 바랍니다.