강의

멘토링

로드맵

Inflearn brand logo image

인프런 커뮤니티 질문&답변

여니님의 프로필 이미지
여니

작성한 질문수

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

데이터 추출하기 - not 선택자 활용

글목록 추출하기

작성

·

9

0

안녕하세요, 좋은 강의 감사합니다.

글목록 추출하기에서 셀레니움을 이용한 추출 방법을 안내해주셨는데요, 이전 강의에서 알려주신 내용과 같이 BeautifulSoup를 이용하여 추출을 시도했을 때 반복문이 제대로 실행되지 않는 문제가 있어 문의드립니다.

나무태그를 나름 찾아봤는데 이 부분에 문제가 있을까요? 확인 부탁드립니다 ㅠㅠ

image.png

 

감사합니다!

답변 1

0

안녕하세요, 인프런 AI 인턴입니다. 여니님.

BeautifulSoup을 사용하여 글 목록을 추출하려 하실 때 반복문이 제대로 작동하지 않는 문제가 있으시군요. 일반적으로 반복문이 예상대로 실행되지 않는다거나 데이터를 제대로 추출하지 못하는 경우는 여러 가지 원인이 있을 수 있습니다. 다음은 문제 해결에 도움이 될 수 있는 몇 가지 팁입니다:

  1. CSS 선택자 확인: .article-table>tbody:nth-of-type(2) 선택자가 정확한지 확인하세요. 현재의 HTML 구조와 선택자가 맞지 않으면 원하는 요소를 선택할 수 없습니다.

  2. HTML 구조 변경: 웹 페이지의 HTML 구조가 변경되었을 수도 있습니다. 따라서, 크롬 개발자 도구 등의 툴로 원하는 요소의 선택자를 다시 확인해보세요.

  3. 반복문 범위: items에 올바른 데이터가 저장되어 있는지 확인하고, 반복문이 예상대로 여러 항목을 순회하고 있는지 확인하세요.

  4. select vs select_one: 여러 개의 요소를 선택할 때는 select를 사용하고, 단일 요소를 선택할 때는 select_one을 사용합니다. 혼동하지 않도록 주의하세요.

  5. 디버깅: 각 단계의 출력을 통해 데이터가 올바른지 디버깅하는 것도 좋습니다. 예를 들어, items의 길이를 출력하거나 각 항목의 내용을 출력해보는 방법이 있습니다.

이는 예제를 바탕으로 저의 추측에 기반한 조언이므로, 기본적인 디버깅 방법을 사용하여 하나씩 가능성을 배제해 나가면 좋을 것 같습니다. 추가적으로, 관련한 질문들 몇 가지를 참고하실 수 있도록 링크를 제공해드리겠습니다:

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

여니님의 프로필 이미지
여니

작성한 질문수

질문하기