셀레니움 추가 질문합니다.

Question

현재 Log-in이 필요한 웹사이트를 크롤링하고 있습니다. 제가 ID와 비번을 5개 정도 가지고 있는데요. 동일한 코드에 URL만 바꿔서 5개의 ID와 비번을 동시에 사용해서 크롤링을 하고 싶은데요 ㅠ 혹시 도움이 될 만한 패키지나 사이트 있으면 좀 추천부탁드려요.

niceman · Answer

감사합니다. ㅠ.ㅠ

Seongmin Lee · Answer

선생님 감사합니다! Multi-processing 등 여러가지 알아보다가 역시 선생님께서 알려주신 방법이 최고군요. ㅠㅠ 깊게 가니 힘듭니다,,, 부디 저희들에게 올바른 길을 새로운 강의를 통해 인도해주싶시요 ㅠ

niceman · Answer

네 안녕하세요.
만약 제가 구현한다면 각각 5개 아이디에 대해서 py 파일을 5개 만들어서
스케쥴러를 활용해서 각각 시간차를 두고 실행하는 방법이 좀더 좋을 것 같습니다.
또는
1개의 파일에 작성한다면, 로그인 -> 크롤링 -> 로그아웃 후 다시 다른 아이디 로그인 ...
이런 패턴으로 가야할텐데 아시다시피 대형 포털사이트 등 보안이 잘되어 있는 사이트는
해당 작업에 대한 보안이 잘되어 있어 방지될 가능성이 있습니다. (주로 이미지 문자를 입력하는 화면 등장)
각각 셀레니움으로 브라우저 마다 header 값을 다르게 하셔서 5개의 파일로 윈도우나 맥 에 스케쥴러로
실행하는 것을 권장해 드립니다.
크롤링의 세계에 깊게 들어가시는 군요.
감사합니다.