-
질문 & 답변
카테고리
-
세부 분야
데이터 분석
-
해결 여부
미해결
ip 차단 당하는 거 같은데 아무리 랜덤주고, sleep 줘도 안 되는데 다른 방법 더 있을까요??
22.05.24 09:24 작성 조회수 408
0
안녕하세요 현재 도매상에서 물품 검색으로 크롤링 이용하려고 해서 강의를 수강하였습니다.
크롤링 대상 사이트는 총 4개이고, webdriver은 크롬을 사용하였습니다.
크롤링 대상 사이트 중 A도매상이 물품 20개 정도씩 15분 간격으로 검색하게 코드를 짰었습니다.
나머지 3개 도매상은 10개 미만 정도구요..
그리고 하루에 한번은 A도매상에서 전체 물품이 구매가능한지도 돌려봤었습니다. (200개 정도, 약품당 sleep 1초 정도)
근데 이게 chrome만 차단인가 했더니 IE, 웨일 다 안 되더라구요
모두 로그인 창은 뜨는데 로그인을 하면 흰 화면만 나왔습니다.
그리고 크롤링 하는 컴퓨터 뿐만이 아니라 해당 공유기와 연결된 컴퓨터도 흰 화면만 나왔습니다.
공유기로 들어가서 ip갱신 눌러도 안 들어가져서, MAC주소인가를 바꾸고 나서야 해결이 됬었습니다.
그 이후로는 15분 간격이 아닌 20~60분 중 랜덤하게 돌릴 때마다 간격을 다르게 했고,
물품리스트에서도 물품 검색 순서도 랜덤하게,
물품 200개 정도도 줄여서 170...; 정도를 sleep 3~10 초 중 랜덤하게 이건 정말 차단 당해서 한번 정도만 돌린거 같습니다.
그런데도 일주일정도 되니 차단 당했습니다 ㅠㅠ
돌리는 횟수도 굉장히 적었는데도 왜 차단당했는지 모르겠습니다 ㅠ
근데 이리 쓰면서 보니 차단 당하는 날이 다 월요일인거 같습니다..
다른 도매상은 검색하는 물품 수가 적어서 그런지 아무런 조치도 없는데
왜 저기만 저러는지 도저히 모르겠습니다.
솔직히 사이트가 그렇게 대단한 보안 사이트도 아닌데... 무슨 로직에 이리 걸려서 차단당하는지 모르겠습니다.
우선은 선생님이 말씀하신 코드 중 하나는 실행하지 않았습니다.
from fake_useragent import UserAgent
우선은 desktop으로만 실행되어야 하고.. 그리고 fake_useragent로 하나의 ip에서 여러 기기가 나오면 더 이상해보일 거 같아서 안 넣었는데요...;;;; 지금 ip를 보고 차단하는거 같은데 fake_useragent를 쓰면 해결이 될까요?? ㅠ
그리고 여기 A도매상이 정말 이상한게
제가 모바일로도 도매상 검색을 했던 적이 있는데
모바일은 정말 복불복처럼 들어가지더라구요 그래서 그때는 모바일 웹페이지가 아니어서 그런가 했었습니다. (로그인하면 흰화면만 나옴)
근데 이리 차단당해보니, 그때 모바일은 이미 차단을 당한거고(why...) 위치가 달라져 ip가 달라지니 로그인이 됬던 것이었던 것 같습니다.
의심이 드는게 바로바로 로그아웃을 안하고 웹페이지를 살려두다가 다시 접속하면 차단하는 프로세스인가란 생각도 드는데..
그래서 이번에는 물품 검색 후 driver.quit()을 넣고 20~60분 sleep한 후에 다시 코드를 돌려보면 해결 될까요 ㅠㅠ
솔직한 맘으로는 입고알림을 해주면 다 해결될 일인데.. 자기네 사이트가 그런 걸 해줄만큼 사이트에 공 들이지도 않을거고..
이리 계속 차단만 하니 맘 같아선 왜 차단하냐고 따지고는 싶은데 ㅠㅠ
아 추가적으로.. ID차단은 아니어서 진짜 A도매상 주로 주문하는 PC의 IP는 차단당하지 않고 있습니다. (이거 차단당하면 정말 아무것도 하나도 모르는 척 흰 화면만 나와서 주문을 할 수가 없네요 할 예정입니다.)
이게 차단하는 프로세스가 되게 간단할 거 같은데 제 짧은 식견으로는 회피경로를 어떻게 해야할 지 모르겠습니다 ㅠ
그렇다고 mac 주소 변경을 무한정 할 수 있는 입장도 아니라서.. (유플러스에서 10개 정도만 바꾸게 해줘서 ㅠㅠ)
선생님의 고견을 여쭈어 봅니다
감사합니다 ^^
답변을 작성해보세요.
0
좋은사람
지식공유자2022.05.24
안녕하세요.
글쎄요..
주로 쇼핑몰 마다 일반적으로 트래픽 이상 감지 및 헤더 값 분석등을 통해서
크롤링을 판단하고 있어요. 그만큼 데이터가 중요하기 때문에요.
보통 sleep으로는 해결은 쉽지 않습니다.
별다른 도움을 못드리는 점 양해 부탁드려요.
Se Na
질문자2022.05.24
답변 감사합니다 ^^
암것도 안한 다음주 월요일에도 차단되어있으면 전화해야겠네요. 그냥 직접 IP 차단하지 말라고 말하는게 유일한 해결이라고 생각해야겠습니다.
답변 1