크롤링을 할 수 있는 사이트와 할 수 없는 사이트를 한번에 구별할 수 있는 방법이 있나요?

아하! 일단 정확한 답은 없고, 제가 직접 하면서 저한테 맞는 방법을 찾아야겠네요. 답변 감사합니다 ㅎㅎ