ip 차단을 피하려면 어떻게 해야 하나요?

안녕하세요.

사실 웹크롤링이 데이터를 수집하는 목적으로 사용되긴 하는데요. 

너무 많은 요청을 하거나, 또는 데이터 수집을 허용하고 싶지 않은 서비스들은 최대한 크롤링을 차단하려고 하거든요. 이 기법중 하나로 아마 IP 자체를 막는 것 같은데요.

여러가지 막는 기법이 있어서, 각 서비스마다 이를 뚫는 것은 다를 수 있는데요.

이게 좀 사실 해킹이나 유사한 느낌이 들 수밖에 없거든요. 그래서, 이런 부분은 사실 좀 데이터 수집을 위한 크롤링 기술을 익히는 범위를 좀 넘어서긴 해요. 저도 크롤링을 막는 서비스를 강제로 우회해서 뚫는 시도는 사실 하고 있지 않거든요. 

selenium 을 사용하면, 거의 사용자 환경을 그대로 구현하는 것이라서 조금 나을 것은 같은데요. 그렇지 않다면, 너무 이게 해킹과 유사한 느낌이라 저도 조금 애매합니다. 우선은 selenium 으로 한번 시도해보시는 것까지는 한번 해보시면 좋을 것 같고요. 그 후에도 또다시 크롤링이 발견되면, 다시 계속 막을 수 있으므로, 이 정도라면, 공식적으로 해당 서비스측에 요청해보시거나 ,아니시면, 너무 무리하게 하지는 않는 방안을 곰니해보시면 어떠실까 합니다.

감사합니다.

빠른 답변 감사합니다~ 

그쵸. 특히 서비스를 담당하시는 분이라면 웹스크래핑이 달갑지 않거나 골칫거리일 수도 있을 것 같긴 합니다.

근데 똑같이 나쁜 의도가 없더라도, 구글 같은 기술력이 뛰어난 기업이나 IT 지식이 많은 사람은 이런 장애물을 피해갈 수 있고,  그렇지 못한 기업이나 사람은 이 장애물에 가로막힐 수도 있는 현실이 좀 씁씁하네요 ㅜ

무튼 일단 selenium으로 한 번 시도해봐야겠네요.

감사합니다!