크롤링을 할 수 있는 사이트와 할 수 없는 사이트를 한번에 구별할... - 인프런

[신규 개정판] 이것이 진짜 크롤링이다 - 실전편 (인공지능 수익화)

나만 알고 싶은 효과적인 외주 마케팅 루트 (+ 필승 상담 노하우)

크롤링을 할 수 있는 사이트와 할 수 없는 사이트를 한번에 구별할 수 있는 방법이 있나요?

작성

136

수정됨

상담을 진행할 때, 작업이 일단 가능한지 확인을 해야하는데 크롤링을 할 수 있는 사이트와 할 수 없는 사이트를 한번에 구별할 수 있는 방법이나 꿀팁이 있나요? (어떤 오류를 갖고 캡차가 뜨는지 궁금합니다.)

답변 2

질문자

아하! 일단 정확한 답은 없고, 제가 직접 하면서 저한테 맞는 방법을 찾아야겠네요. 답변 감사합니다 ㅎㅎ

지식공유자

결론부터 말씀 드리자면 직접 테스트해 봐야 합니다.

저는 이런식으로 빠르게 테스트해봅니다.

그리고 데이터를 하나라도 가져올 수 있다면, 일단 가능하다고 말하고 진행합니다.

아직 이런 경우는 없었지만, 진행중에 작업이 어려워지는 상황이 나오면 환불을 해드리는 방식을 사용합니다.

그래서 다양한 경험이 중요해요 ㅎㅎ