• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

동적 웹사이트에서 element가 선택되지 않는 문제에 관해 질문드립니다

22.12.23 17:30 작성 22.12.23 17:36 수정 조회수 473

0

안녕하세요~

동적 웹사이트에 대한 강의를 듣고 동적 웹페이지라는 개념은 이해가 됐는데, 실습을 하는 중에 동적 html과 관련된 듯한 문제에 실제로 직면하니 당최 해결이 안 되어 질문드려 봅니다.

네이버 댓글 작성자의 이전 댓글도 수집해보려고 작성자 아이디를 클릭하면 개발자 도구에서 새로운 script가 생성됩니다. 동적 html인가 보다 하고 스크래핑을 하려 했으나 이 놈의 element가 셀레니움 메서드로 선택되지가 않습니다.

아래 첨부한 그림에서처럼, 유저 아이디를 클릭하면 개발자 도구에 나타나지 않던 section이 새롭게 나타나고 저 안에 이 유저의 지난 댓글에 관한 html 정보가 있는데, 셀레니움 find 계열 메서드를 사용하면 아무 것도 걸리지 않는 걸로 볼 때 selenium이 저 동적 html을 아직 인식하지 못한 상태인 것 같습니다.

원래는 기사에 달린 댓글 자체도 셀레니움의 메서드로 선택되지 않다가 구글링으로 iframe 때문인 걸 발견해서 이 문제는 해결했거든요. 이 문제도 제가 알지 못하는 동적 html 구성 방식?과 관련이 있는 듯 한데 실마리조차 찾기가 힘드네요 ㅜㅜ

짚이시는 점이라도 알려주시면 넘 감사하겠습니다~!

  • 최초 개발자 도구 화면

before.png----------------------------------------------------------------------------------------------

  • 아이디 클릭 후 개발자 도구 화면

after2.png

답변 1

답변을 작성해보세요.

0

안녕하세요. 답변도우미입니다.

정확하게는 딱 떠오르지는 않는데요. <noscript> 이 부분은 태그가 아니라, javascript 코드와 관련된 부분이라서, 태그와는 관련 없는 부분이라 element 로 가져와지지 않는 것이 아닐까 하는데, 이 부분이 단초가 될 수 있었으면 좋겠습니다.

감사합니다.

ktsfrank님의 프로필

ktsfrank

질문자

2022.12.23

언급하신 부분 잘 참고하겠습니다!

빠른 답변 감사드립니다!

아, 하나만 더 여쭤볼게요.

스크레피를 사용하면 지금 이슈와 같은 부분을 다루기가 더 쉽나요?

스크레피에 구현된 기능이 저런 이슈들을 잘 처리해주는지, 아니면 스크레피 역시 크롤링의 효율성을 높여줄 뿐 저런 이슈를 해결하기 위해서는 관련 지식이 있어야만 하는지 궁금합니다.

스크레피가 제가 질문드렸던 문제의 해결에 직접적으로 도움이 될 수 있느냐 없느냐를 떠나 동적 웹페이지를 다루는 부분에 있어서도 좀 더 용이한 부분이 있다고 생각하시는지 선생님의 의견이 궁금하네요