requests.get()으로 제가 실습해보고 싶은 주소의 htm... - 인프런

- 본 강의 영상 학습 관련 문의에 대해 답변을 드립니다. (어떤 챕터 몇분 몇초를 꼭 기재부탁드립니다)
- 이외의 문의등은 평생강의이므로 양해를 부탁드립니다
- 현업과 병행하는 관계로 주말/휴가 제외 최대한 3일내로 답변을 드리려 노력하고 있습니다
- 잠깐! 인프런 서비스 운영 관련 문의는 1:1 문의하기를 이용해주세요.

안녕하세요~

오늘부터 본격적으로 강의 듣기 시작했는데, 너무 부담되지 않는 선에서 체계적으로 가르쳐주시려는 마음이 느껴져서 기분 좋게 강의 들었습니다. :)

질문 드릴 내용은 제목에 적은 것과 같은데,

제가 실습해보고 싶었던 주소에서는 requests.get() 메소드를 사용해도 res.content 속성 값이 다음과 같이만 뜹니다 ; -> b''

제가 실습해보고 싶었던 주소는 여기고요. -> https://gall.dcinside.com/board/lists?id=sc

네이버로 했을 때는 잘 되던데 저 주소는 안 되네요 ;

답변 좀 부탁드릴게요~

안녕하세요. 우선 좋게 생각해주셔서 감사합니다. 너무 부담갖지 마시고요. 우선은 강의를 차근차근 들어보시면서, 강의에 나온 코드 자체를 이해해보셔도 좋습니다. 그리고, 각자 원하시는 크롤링은 양해부탁드려요. 본 질문/답변란이 영상이 이해가 안가거나, 하실 때 문의하시는 것인데, 본 강의가 평생 강의라서, 각자 원하시는 크롤링을 다 테스트해드리기는 무리가 있거든요. 결국 저도 프로그램을 해야 하니까요. 이 부분은 양해부탁드립니다.

그럼에도 가볍게만 이야기드리면, res.content 속성값이 b 로 시작해서, 많은 데이터가 나온다면, 큰 이슈는 없어보여요. 해당 사이트가 로그인 후 보여지는 사이트인지도 확인 필요하고, 만약 데이터가 아예 안나온다면, res.status_code 코드가 200 이 아니라면, 해당 사이트 주소를 잘 못 치셨을 수도 있습니다. 특히 404 같은것이 나온다면, 주소 자체가 없다라는 뜻이라서, 뭔가 잘못된 것이긴 해요. 이런 부분들은 영상에서 순차적으로 설명드리고 있어서, 우선은 강의를 끝까지 차근차근 봐보시면 좋을 것 같고, 웹사이트가 굉장히 각 사이트마다 복잡해요. 자칫 좀 다르게 구현된 웹사이트를 한번 크롤링시도해본 후에, 안될 경우 무엇때문에 이렇겠구나 하고 유추하는 것은 웹을 훨씬 잘알아야 하는 부분도 있습니다. 이런 부분은 우선 강의내의 웹페이지부터 강의와 함께 어느 정도 큰 그림을 그리신 후에, 필요하면, 이후 로드맵에 있는 고급 크롤링 강의까지는 최소한 익혀보신 후, 쉬운 사이트 몇개 정도부터 해보시는 편이 조금더 도움이 될 것 같습니다. 감사합니다.

인프런 커뮤니티 질문&답변

requests.get()으로 제가 실습해보고 싶은 주소의 html 파일이 제대로 불러와지지 않습니다