크롤링 하다가 궁금한게 있어서 질문 드려요
393
작성한 질문수 2
대부분의 사이트는 selenium을 사용했을때 잘 되는데
1개 사이트는 Chrome 접속 접속시 Login-Pop up이 뜨는데
selenium으로 접속시는 Login-Pop Up이 보이지 않습니다.
그래서 beatiful soup으로 연동해서 찍으니 아래와 같이 tag 정보가 없습니다.
이럴때 어떻게 하면 Login Page를 볼수 있는지 궁금합니다
<그림1: 일반 Chrome 접속시>
<아래그림2:Selenium으로 자동 Login하기 위해 접속시 >
<아래 그림3:Beautiful soup으로 궁금해서 Tag를 찍었을때 정보 >
<아래 그림4:Beautiful soup으로 궁금해서 연동시
답변 1
0
안녕하세요.
특정사이트마다 DOM을 렌더링하는 방식이 다를 수가 있어서 정확한 답변은 힘들 것 같습니다.
어느정도 시간이 지난다음에 로그인창이 로딩이 된다던가 또는 마우스 움직임 또는 로그인 클릭 시에 나타나게
프로그램을 구현해 놨다면 그런 규칙을 찾아서 Selenium에서 이벤트를 줘서 찾아내야 하는 작업 같습니다.
감사합니다.
현재 예제에서 error 발생
0
367
3
유튜브 동영상 다운로드
0
1448
2
Atom 에디터 관련
0
337
1
위시켓 폼데이터
0
274
1
스케줄러 사용 관련 질문 드립니다
0
627
1
selenium 에러
0
428
1
Progress bar 쓰레드 관련
0
489
1
Install Package 관련 문의
0
328
1
tkinter 샘플 코드 실행 오류 건
0
1267
1
4-7-6 네이버 & 카카오 주식 정보 가져오기
0
381
1
네이버자동로그인_by_selenium
0
876
1
위시캣 로그인 처리 및 크롤링 질문
0
345
1
2-8-1 네이버이미지 크롤링 질문
1
604
3
li:nth-of-type 질문
0
350
2
에러가 뜨는데 잘 모르겠어요ㅠ
0
401
2
Install Packages 항목이 안보이는 이유가 뭘까요?
0
400
2
환경변수 Path 설정 방법
0
631
1
웹 브라우저 없는 스크랩핑 및 파싱 실습(1) - 인프런
0
333
1
웹 브라우저 없는 스크랩핑 및 파싱 실습(1) -git주소
0
475
3
download2-8-1. py질문
0
203
1
ip 차단 당하는 거 같은데 아무리 랜덤주고, sleep 줘도 안 되는데 다른 방법 더 있을까요??
0
645
1
인프런 환경이 바뀌어서 제나름대로 하는데
0
196
1
다시올려주신 예제파일로하는데
0
190
1
아직도 에러가뜨나보네요?
0
584
1