• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 분석

  • 해결 여부

    미해결

크롤링 하다가 궁금한게 있어서 질문 드려요

19.11.28 14:01 작성 조회수 219

0

대부분의 사이트는 selenium을 사용했을때 잘 되는데 

1개 사이트는 Chrome 접속 접속시 Login-Pop up이 뜨는데

selenium으로 접속시는 Login-Pop Up이 보이지 않습니다.

그래서 beatiful soup으로 연동해서 찍으니  아래와 같이 tag 정보가 없습니다.

이럴때 어떻게 하면 Login Page를 볼수 있는지 궁금합니다

<그림1: 일반 Chrome 접속시>

그냥 chrome 접속

<아래그림2:Selenium으로 자동 Login하기 위해 접속시 >

selenium

<아래 그림3:Beautiful soup으로 궁금해서 Tag를 찍었을때 정보 >

<아래 그림4:Beautiful soup으로 궁금해서 연동시 

html

답변 1

답변을 작성해보세요.

0

안녕하세요.

특정사이트마다 DOM을 렌더링하는 방식이 다를 수가 있어서 정확한 답변은 힘들 것 같습니다.

어느정도 시간이 지난다음에 로그인창이 로딩이 된다던가 또는 마우스 움직임 또는 로그인 클릭 시에 나타나게

프로그램을 구현해 놨다면 그런 규칙을 찾아서 Selenium에서 이벤트를 줘서 찾아내야 하는 작업 같습니다.

감사합니다.