Response 403??

이런 저런 사이트를 크롤링해보려고 하는 중에, 특정 사이트(에브리타임)을 크롤링하려하자 잘 안되더군요.

res = requests.get('https://everytime.kr/')

print(res)

리턴 값으로 이게 나옵니다 "resresponse 403"

이 말은 셀레니움을 쓰지 않는 한 저 사이트를 크롤링하지 못한다는 의미일까요???

검색해보니 headers={"User-Agent" : "Mozilla/5.0"}

이런 헤더를 추가하면 정상 작동 된다고 하여 적용해보니 되긴 되더라구요. 리스폰스 200으로 나왔습니다.

제가 한 가지 걱정되는건, 헤더에 저런걸 추가해줬을 경우 그 사이트에서 저를 알아볼 수 있는 방법은 없나요?

제가 저 헤더를 사용하면 저는 일반 사용자로 인식되기 때문에 제가 추후에 차단당할 가능성은 없는 것일까요??

안녕하세요. 이 부분은 다음 공지와 함께 양해를 부탁드립니다.

말씀하신 헤더정도는 일반적인 헤더라서, 딱히 관련 정보만 가지고, 해당 사이트가 특정인을 구별하기는 어려울 것 같습니다.

-------------------

안녕하세요. 잔재미코딩 Dave Lee 입니다.

오늘은 한가지 공지를 드려요~~

그동안 정말 다양하고 많은 분들께서 수강을 해주고 계시는데요. 그러다보니, 질문/답변 란에 동일한 이야기를 드릴 때가 많아서 공유를 드려요.

질문/답변 란에, 각자 원하시는 크롤링 코드 관련 문의를 해주시는 경우가 꽤 있었는데요. 그 때마다, 가급적 배려를 드리는 차원으로, 가볍게 볼 수 있는 부분에 대해서만 답변을 드리기는 했습니다. 하지만, 해당 질문/답변 란은 본 강의 영상과 관련한 질문이 있을 때를 답변해드리는 것이 기본 취지인 것 같아요.

온라인 수학 강의를 수강하면서, 강의에 나온 수학공식을 사용하는 강의 외에 각자 풀고 있는 수학 문제를 질문하고, 이를 풀어드리는 강의는 본 적이 없는데요. 마찬가지로 본 강의를 수강하시면서, 각자의 코드나, 각자 원하시는 크롤링 코드를 작성해드리거나, 함께 풀어나가는 것은 현실적으로 큰 무리가 있습니다.

더군다나 본 강의가 평생 수강이 가능하기 때문에, 이를 지원해드릴 경우, 본 강의를 들으면 내가 원하는 크롤링 코드는 모두 해결해드려야 하는 오해 아닌 오해도 생길 수 있고요. 심지어, 저도 실제 코드를 작성해봐야 해서, 코드를 작성하느라 답변이 늦어지면, 다른 답변이 늦어질 수도 있어서, 다른 수강생분들께도 문제가 될 수 있을 것 같습니다.

그래서, 질문/답변란에 문의를 주실 때에는 각자의 원하시는 크롤링 코드 관련 문의는 안해주시면 감사하겠습니다. 이 부분 꼭 양해를 부탁드립니다.

또한 가능하다면,

1) 어느 챕터의 몇분(:몇초)정도에서 이 부분이 이해가 안간다 와 같은 식으로 질문을 해주시면,

2) 강의에서 나온 코드는 이미지 캡쳐보다, 코드 자체를 텍스트로 질문에 붙여주시면,

훨씬 저도 이해가 빨라서, 빠르게 지금과 같이 상세하게 답변드릴 수 있을 것 같습니다.

인프런 커뮤니티 질문&답변